Les cinq exigences d’un RAG sérieux

On a cru que les fenêtres de contexte géantes rendraient la recherche inutile, mais un modèle lit un long contexte de façon inégale : le RAG revient, sous une forme plus exigeante. Reste à dire ce que « plus exigeante » veut dire. Car le mot RAG, depuis la vague ChatGPT de 2023, désigne n’importe quel assemblage de la même recette : découper les PDF en morceaux de taille fixe, calculer des vecteurs, récupérer les cinq morceaux les plus proches de la question et les donner au modèle.

Le mot ne garantit rien

L’étude Hallucination-Free?, menée par des chercheurs de Stanford et de Yale et publiée en 2025 dans le Journal of Empirical Legal Studies, a évalué en 2024, sur plus de 200 questions juridiques, trois outils de recherche juridique des deux plus grands éditeurs du marché, LexisNexis et Thomson Reuters, tous construits sur une architecture RAG : chacun produisait des hallucinations entre 17 % et 33 % du temps. Ces outils hallucinaient moins que GPT-4 utilisé seul, ce qui confirme l’intérêt de l’architecture. Mais écrire RAG sur une plaquette commerciale garantit peu de chose : la qualité dépend de la manière dont le système est construit, puis évalué.

Les métiers du renseignement décrivent le travail sur l’information comme un cycle : on oriente la recherche, on collecte, on exploite ce qu’on a trouvé, on diffuse le résultat, et ce résultat réoriente la recherche suivante. Dans ce cycle, le RAG correspond aux étapes de collecte et d’exploitation. Sa qualité se construit à cinq endroits.

Les cinq endroits où se construit la qualité

1. Une ingestion reproductible. Un même document produit le même index à chaque traitement, et les résultats deviennent reproductibles. La structure compte autant que le texte : titres, tableaux, numéros de page, annexes, images. Un article de contrat sorti de sa section perd la moitié de son sens.
2. Des passages enrichis. Chaque passage porte ses métadonnées : date, auteur, type de document, période de validité, version. C’est ce qui permet de répondre « selon le contrat en vigueur » plutôt que « selon un contrat ».
3. Une recherche hybride. Elle combine la proximité de sens et la correspondance exacte des termes, car un numéro d’article, un nom propre ou une référence de norme se retrouvent mieux mot pour mot. Un second passage reclasse ensuite les résultats par pertinence réelle. Le sens trouve les idées, la lettre trouve les références.
4. Un ancrage au passage. Chaque affirmation de la réponse renvoie au passage exact qui la fonde, ouvert d’un clic. C’est la condition de toute vérification.
5. Les données structurées comme sources. Une partie de la connaissance vit dans des tableaux et des bases de données. On les interroge par des requêtes, et leurs résultats portent la même traçabilité que les passages de texte. Un chiffre sourcé vaut une phrase sourcée.

Mises en regard de la recette de 2023, ces exigences en montrent les manques. Un morceau de taille fixe ignore la section dont il sort ; les deux premières exigences rendent au passage sa structure et son contexte, sa date et sa version. Des vecteurs seuls trouvent ce qui est proche par le sens ; la troisième y ajoute la lettre, qui retrouve les références. Les deux dernières tiennent la promesse d’origine du RAG, celle de montrer le passage qui fonde chaque réponse, et l’étendent aux tableaux et aux bases de données.

Un modèle plus compact, bien servi

Ces cinq exigences ont une conséquence stratégique, qui touche à la taille des modèles.

Quand la qualité se construit dans la recherche, un modèle plus compact, bien servi, peut suffire à de nombreux usages.

C’est notre conviction, et elle se vérifie usage par usage. Sa portée dépasse pourtant la seule performance. Quand la connaissance vit dans les sources, le modèle devient un composant remplaçable. Une organisation qui possède son corpus, son index et ses jeux d’évaluation peut changer de modèle en quelques jours, tester le nouveau sur ses propres questions et comparer les résultats avant de basculer. Travailler avec des modèles plus compacts, bien servis par la recherche, réduit la dépendance aux quelques modèles de pointe et à leurs éditeurs.

Tout part de la source, et c’est aussi ce qui garde l’organisation libre.