Le contexte

Le contexte, c’est tout ce que l’IA sait au moment où elle répond, y compris par exemple les informations sur l’utilisateur ou les fichiers fournis.

C’est donc l’ensemble des informations qui aident l’IA à comprendre une demande ou une situation. Sans contexte, l’IA répond de manière générique ou erronée.

Pour plus d'informations voir voir section 4-9.

Vous pouvez par exemple ajouter le set de 10 000 notices de test ci-dessus à votre IA préférée et ajouter le prompt suivant.

Tu es un assistant professeur documentaliste expert en gestion de catalogue CDI. Tu travailles exclusivement à partir des fichiers fournis par l'utilisateur. Règles : - Ne jamais inventer de notice. - Toujours citer les champs utilisés. - Justifier les réponses par des éléments présents dans les données. - En cas d’ambiguïté, demander précision. - Proposer : 1. Recherche simple (titre, auteur, mot-clé, résumé) 2. Recherche booléenne (AND, OR) 3. Suggestions de recherche (propose d'autres mots clés) Sorties attendues : - Citation norme Afnor NF Z 44-005 - Synthèses courtes

Pour construire la réponse, l'IA s'appuie sur les connaissances internes du modèle (training), le contexte fourni dans la conversation (documents ajoutés, fichiers), la recherche externe (Web ou base documentaire).

Le RAG

Le RAG pour Retrieval Augmented Generation ou génération augmentée par recherche permet de chercher dans des documents fournis (téléchargés).

l’IA va donc chercher dans des documents, puis répondre à partir de ce qu’elle a trouvé.

• 🔍 une recherche dans une base de documents
• ✂️ une sélection de passages pertinents
• ✍️ une réponse rédigée à partir de ces passages

Concrètement le moteur transforme la question en vecteurs et les compare aux vecteurs générés pour les documents ajoutés (un processus qui peut être long).
3 à 6 morceaux de texte pertinents (chunks) sont alors proposés.

C’est du RAG (Retrieval-Augmented Generation), autrement dit de la recherche + IA générative.

Comment ?

Trois étapes clés du RAG :

• Découpage des documents
  Les documents fournis (PDF, DOC, TXT, HTML…) sont découpés en chunks (morceaux), 300 à 1 000 tokens par chunk avec souvent avec un chevauchement (overlap) pour ne pas couper une idée en deux
• Vectorisation (embeddings)
  Chaque chunk est transformé en vecteur numérique (embedding). Autrement dit, on n’indexe donc pas les mots un par un, mais le sens global du passage.
• Recherche sémantique
  Quand vous posez une question elle est vectorisée elle aussi et on cherche les chunks les plus proches sémantiquement. Seuls ces morceaux sont envoyés au LLM pour générer la réponse.

La qualité du RAG, elle, dépend du découpage, de l’indexation et du chunking.

A noter que Claude sort directement un code html sur demande avec un lien (plus ou moins fonctionnel).

Il est désormais tout à fait possible de fonctionner hors connexion en téléchargeant des modèles opensource ou open-Weights.

Mais pour cela, il faut d'abord installer un "moteur" d'inférence, autrement dit une application locale (un programme).
Dans ce cas, une confidentialité totale (vos données ne quittent pas votre ordinateur) et de fonctionnement est possible (sans connexion internet).

Poids des modèles locaux

Les modèles locaux ont un poids et un nombre de paramètres très nettement inférieurs à leurs homologues en ligne pour rester utilisables.

Granularité

Ces modèles locaux sont jusqu'à plusieurs centaines de fois moins lourds et avec moins de paramètres. Sont-ils pour autant beaucoup plus grossiers ?

Posons quelques prompts avec des mots rares.

Peux-tu me donner des exemples de personnages infatués à eux-mêmes ?

Au lieu de se mettre au travail, il passait son temps à lantiponner. Donne des exemples

A quoi ressemble une odeur de pétrichor ?

Comment éviter la Garrulité des IA ?

Les moteurs de recherche

Un mot pour un MOTEUR DE RECHERCHE, c'est une chaîne de caractère entre deux blancs.

Des robots (Crawlers) parcourent le web en permanence et indexent les pages publiques sauf si un fichier no-robot donne des instructions contraires.

Ces crawlers suivent les liens automatiquement et procèdent à l'indexation

• Les pages sont stockées dans un index géant
• Les mots-clés pointent vers des pages
• Les réponses sont des liens

A la recherche du dætractodetus

Pour le mettre en évidence, depuis plus de 25 ans j'ai une page en ligne qui contient des mots qui n'existent pas. Par exemple : "dætractodetus".
Cette page unique que l'on peut consulter ici permet de vérifier qu'une chaîne de caractère même inexistante permet de retrouver une page web.

Testons la recherche "Qu’est-ce que le dætractodetus ?" dans différents moteurs de recherche.
La réponse attendue est 2 résultats.

Bing trouve la page mais affirme que cela semble être une erreur typographique ou une abréviation non standard et la noie dans des dizaines de réponses. Ecosia est tellement écologique qu’il ne retourne aucune réponse. Qwant trouve la page parmi des dizaines d’autres.
Il n’y a que Google qui trouve toutes et uniquement les 2 bonnes pages.

Au total les performances sont très moyennes à nulles sauf pour Google.
Autrement dit, une page en ligne n'est pas forcément indexée par tous les moteurs.

Et qu'en est-il des IA ?

Qu’est-ce que le dætractodetus ?

Aucune de ces IA ne trouve la page, elles évoquent un canular ou une fiction numérique (chatGPT), répondent en anglais (Gemini), ne comprennent pas (Claude), parlent de "Néologisme humoristique" (Le Chat), ou répondent à côté (Grok)…

…mais certaines IA trouvent la page si l'on ajoute…

Trouve la page Web, affiche la source

… sauf Mistral, Claude et Grok.

Les IA

Une IA ne cherche pas des pages. Elle produit du texte.

Elle ne raisonne pas avec des mots-clés, mais avec des tokens (morceaux de texte) et des probabilités.

• Pas de crawl direct ~ du web (sauf cas spécifiques ou pour certaines)
• Pas d’index public consultable
• Pas de liste de liens par défaut

Les moteurs de réponse

Un moteur de réponse est une évolution du moteur de recherche dont le but est de fournir à l'internaute des réponses à ses questions plutôt que des listes de ressources pouvant répondre à ses questions.

Le mode d'interrogation se rapproche du langage naturel et plus une suite de mots clés éventuellement reliés par des opérateur logiques (ET, OU, SAUF etc.).

Le moteur de réponses interroge des sources sélectionnées et limitées (web, articles, bases) puis :

• Il récupère des documents
• Il s’appuie dessus pour générer une réponse
• Il cite ses sources

Même avec des sources Web, le modèle ne copie pas directement les pages mais récupère les premières et en fait la synthèse moyenne des informations dominantes.
Dans les systèmes de recherche assistée par IA, il existe alors un risque de dilution informationnelle : la bonne information peut être noyée dans un ensemble de résultats plus nombreux mais moins pertinents. Si elle n’est pas récupérée par l’étape de recherche, l’IA ne peut pas l’utiliser.

Lisser les différences entre sources peut ainsi faire disparaître une information rare mais correcte.

Les œillères des LLM

Pour Arthur Perret "ChatGPT ne vous dit pas tout". Dès lors, la question n’est pas de savoir si la recherche d’information classique (information retrieval) est supérieure à l’approche question-réponses (fact retrieval) : l’enjeu, c’est d’avoir accès aux sources, afin de pouvoir les évaluer (source criticism). Pour évaluer les sources présentées cela demande une expertise ; et comment savoir s’il n’existe pas d’autres sources pertinentes, potentiellement contradictoires et plus récentes ?
Les LLM ont des œillères et si l’utilisateur n’en a pas, il voit tout de suite ce que le LLM a laissé de côté ; si l’utilisateur commence lui-même dans le noir et compte sur le LLM pour l’éclairer, il va droit à la mésinformation.

https://www.arthurperret.fr/

Perplexity

Perplexity est un moteur de réponse. Il affiche les sources (une dizaine, en majorité fausses), un résumé assez fidèle et trouve directement la page lorsqu'on le lui demande.

Comment mettre en place une recherche documentaire dans le catalogue du CDI, assistée par IA, en local, hors connexion et en open source ?

Après beaucoup d’essais depuis pas mal d’années, avec plus ou moins de réussite et de tâtonnements, des technologies type WebLLM, ou chatMD de La Forge des communs éducatifs [voir ci-dessus], une nouvelle solution s’est finalement imposée.
Cette solution a été testée avec plus de 100 000 notices d’un catalogue de CDI, sur divers postes le plus souvent assez anciens (3-5 ans) PC et Mac.

Il s’agit ici, avant tout, d'envisager la faisabilité dans un CDI avec des élèves autrement dit d’une expérimentation, pas d'un modèle.
Elle participe à la réponse à la question suivante : est-il possible d’installer sur un poste ou un serveur d’établissement, un gestionnaire de Modèles open source, d’interroger des données structurées et validées tout en bénéficiant des apports d’un chatbot IA ?

Mistral propose d'ajouter un agent qui analyse les données injectées.

La procédure est très simple, cliquer sur agents => ajouter Data Analyst => Ajouter les données csv.

Pour tester vous pouvez par exemple ajouter ce set de 10 000 notices à télécharger avant.

Vous pouvez même indiquer un format pour la réponse.

Le "Le dætractodetus Wädœnis (test de fiabilité de...)" est trouvé et lorsque l'on cherche des informations sur la mémoire, Le Chat propose diverses acceptions du mot, et si l'on précise en philosophie, des notices sont retournées.

Si l'on ajoute fiabilité dans le prompt, l'IA hallucine un peu, comme pour flatter l'auteur de cette page.

Mais avec des références exactes.

Et des suggestions hors catalogue du type Henri Bergson (Matière et Mémoire), Paul Ricoeur (La Mémoire, l'histoire, l'oubli), ou Maurice Halbwachs (Les Cadres sociaux de la mémoire).

Cet agent de Mistral est très convaincant, la version gratuite trop limitée malheureusement. Mais elle montre un chemin possible et sans doute très facile à mettre en œuvre en local.

L'on pert en revanche la possibilité de configuration fine en amont (comme sur Anything) et celle de savoir clairement quand on est en recherche catalogue et quand ce sont des propositions IA. On peut évidemment ajouter "ne te base que sur le catalogue" dans le prompt.

Pour ce test avec NotebookLM, le catalogue est injecté au format markdown.

Le mot fantôme est trouvé et correctement interprété.

Si un mot fictif est entouré d’un environnement lexical crédible, il peut produire une illusion de légitimité. C’est un cas typique d’autorité artificielle par co-occurrence. Aussi, le moteur lexical est généralement supérieur pour une recherche documentaire (typiquement sur titre, auteur, cote etc.).

Le LLM est supérieur pour expliciter, contextualiser, guider, synthétiser. Les deux sont donc complémentaires.

Le LLM a une fenêtre de contexte finie (ex. 8k, 32k, 128k tokens). Avec trop de documents, il perd en précision, “moyenne” les informations, peut même ignorer un détail rare.

A force de compression il généralise ou simplifie. Ce phénomène est appelé "context dilution effect".

Phénomènes connus :

• Dilution contextuelle. Trop de documents → généralisation
• Compression sémantique. Le modèle résume en nivelant
• Optimisation probabiliste. Le LLM vise une réponse “typique”, pas une réponse rare
• Biais vers le consensus. Les formulations centrales dominent

Injecter massivement ne veut pas dire "mieux répondre".

Où placer la médiation documentaire ?

Avant la recherche

• reformulation
• précision des termes
• désambiguïsation

C’est ici que la médiation est la plus efficace, quand on ne sait pas ce que l'on cherche, ou que l'on a besoin d'informations (définition, cadre, forme etc.).

Dans la sélection (critique)

• tri des résultats
• contrôle des sources
• choix du corpus injecté

C’est le cœur stratégique en RAG

Après la génération

• vérification
• confrontation aux notices
• analyse critique

La médiation n’est pas dans le LLM. Elle est dans l’orchestration.