RAG
Le RAG n’est pas mort : ce que montrent les fenêtres de contexte géantes
Lost in the Middle, NoLiMa, Context Rot : pourquoi un million de tokens de contexte n’a pas rendu la recherche inutile, et ce qui fait revenir le RAG.
En février 2024, Google présente Gemini 1.5, capable de traiter un million de tokens en une seule requête, et d’autres éditeurs suivent. Un récit s’installe : puisqu’on peut tout donner au modèle, chercher devient inutile, et le RAG est mort. LightOn, éditeur français spécialisé dans la recherche documentaire, retrace cette période où les articles annonçant sa mort se sont multipliés.
L’argument avait sa logique. Il reposait pourtant sur une hypothèse fragile, que des travaux publiés dès 2023 remettaient déjà en question : qu’un modèle lit tout son contexte avec la même attention.
Une idée juste, mal mise en œuvre
En 2020, une équipe de Facebook AI Research publie un article au titre aride, Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. L’idée tient en une phrase. Avant de générer une réponse, le modèle va chercher les passages pertinents dans un corpus indexé, puis il rédige à partir de ce qu’il a trouvé.
Les auteurs visaient deux faiblesses des modèles de langage : la difficulté à indiquer d’où vient une réponse, et la difficulté à mettre à jour leurs connaissances. Avec le RAG, la connaissance vit dans le corpus. On la met à jour en ajoutant un document, et on peut montrer le passage qui fonde chaque réponse.
En 2023, la vague ChatGPT transforme cette idée en tutoriel du week-end. On découpe les PDF en morceaux de taille fixe, on calcule des vecteurs, on récupère les cinq morceaux les plus proches de la question et on les donne au modèle. Des centaines de produits « discutez avec vos documents » apparaissent. Le mot RAG finit par désigner n’importe quel assemblage de cette recette, et les déceptions suivent.
L’étude Hallucination-Free?, menée par des chercheurs de Stanford et de Yale et publiée en 2025 dans le Journal of Empirical Legal Studies, est l’une des rares évaluations indépendantes et préenregistrées sur le sujet. Elle a évalué en 2024, sur plus de 200 questions juridiques, trois outils de recherche juridique des deux plus grands éditeurs du marché, LexisNexis et Thomson Reuters, tous construits sur une architecture RAG. Chacun produisait des hallucinations entre 17 % et 33 % du temps. Lexis+ AI répondait correctement à 65 % des questions, Westlaw AI-Assisted Research à 42 %.
Ces outils hallucinaient moins que GPT-4 utilisé seul, ce qui confirme l’intérêt de l’architecture. Leurs résultats montrent aussi qu’écrire RAG sur une plaquette commerciale garantit peu de chose : la qualité dépend de la manière dont le système est construit, puis évalué.
Ce qu’un modèle fait d’un long contexte
Trois séries de travaux montrent les limites de l’hypothèse, sur les modèles et les tâches qu’elles ont évalués.
Le premier signal date de 2023. L’étude Lost in the Middle, menée par Liu et ses coauteurs, montre qu’un modèle exploite bien une information placée au début ou à la fin de son contexte, et nettement moins bien quand elle se trouve au milieu. Autrement dit, ce qu’on verse dans le contexte est lu de façon inégale.
En 2025, le benchmark NoLiMa, présenté à la conférence ICML par des chercheurs d’Adobe Research et de l’université LMU de Munich, mesure l’ampleur du phénomène. Il teste treize modèles qui revendiquent tous au moins 128 000 tokens de contexte. Dès 32 000 tokens, onze d’entre eux perdent plus de la moitié de leur performance en contexte court. GPT-4o, l’un des plus robustes, passe de 99,3 % à 69,7 % de réussite.
La même année, le rapport Context Rot de Chroma étend l’observation à dix-huit modèles récents, répartis sur plusieurs expériences : les performances se dégradent à mesure que le contexte s’allonge, y compris sur des tâches simples.
Cette dernière source appelle une précision. Chroma commercialise une base de données vectorielle, et l’analyste Cobus Greyling a relevé que ce résultat sert son écosystème. C’est pour cela qu’elle vient en dernier, après deux travaux académiques qui vont dans le même sens.
Chercher avant de solliciter le modèle
NoLiMa apporte une nuance précieuse. Les modèles s’effondrent surtout quand la question et le passage recherché partagent peu de mots. La ressemblance littérale les aide beaucoup, la déduction à travers un long contexte beaucoup moins. C’est précisément le rôle de la recherche documentaire : aller chercher le bon passage avant de solliciter le modèle. Son efficacité, elle, se mesure usage par usage.
Les arguments d’entreprise complètent le tableau. Le corpus d’une organisation se mesure en milliers ou en millions de documents, et dépasse de très loin n’importe quelle fenêtre. Chaque token envoyé au modèle se paie à chaque requête, donc remplir la fenêtre coûte cher. Le corpus évolue chaque jour et doit rester à jour. Enfin, une réponse tirée d’un contexte massif se rattache mal à un passage précis, alors que la traçabilité est justement ce qu’on cherche.
L’intuition de 2020 reste juste. Tout ce qui s’est passé depuis tient à la manière dont on l’a mise en œuvre.
Le RAG revient donc, sous une forme plus exigeante. Donner moins au modèle, mais lui donner exactement ce qu’il faut.