Architecture · Systèmes à base de LLM
Le pipeline RAG, de l’indexation à la réponse
Un modèle de langage ne connaît que ce que contiennent ses paramètres : sa mémoire est figée à la fin de l’entraînement, et il ne peut pas en indiquer la provenance. La génération augmentée par récupération (Retrieval-Augmented Generation, RAG) lui adjoint une mémoire externe consultable : avant de répondre, le système va chercher des passages pertinents et les fournit au modèle1.
Mémoire paramétrique
Les poids du modèle. Vaste, mais figée, sans provenance, et coûteuse à mettre à jour.
Mémoire non paramétrique
Un index de documents. On peut le corriger ou l’étendre sans réentraîner le modèle1.
Le lien entre les deux
Un récupérateur qui, pour chaque question, sélectionne les quelques passages à placer sous les yeux du modèle.
Deux phases, deux moments
Indexation (hors ligne) et requête (en ligne)
- Flux d’indexation (une fois par document)
- Flux de requête (à chaque question)
- Lecture de l’index
- Modèles neuronaux
- Texte envoyé au modèle
- Découper — Chaque document est scindé en fragments assez courts pour porter une idée, assez longs pour rester compréhensibles hors contexte.
- Vectoriser et stocker — Un modèle de plongement associe à chaque fragment un vecteur ; vecteur, texte et provenance sont rangés dans l’index.
- Vectoriser la question — À l’arrivée d’une question, le même modèle la projette dans le même espace vectoriel.
- Récupérer — L’index renvoie les fragments dont le vecteur est le plus proche de celui de la question.
- Reclasser — Un modèle plus coûteux relit chaque couple question-fragment et ne garde que les plus pertinents.
- Générer — L’invite réunit la consigne, les passages retenus et la question ; le modèle rédige la réponse en s’appuyant sur ces passages.
Retrouver les bons passages
Question et passage sont projetés dans un même espace ; leur proximité se mesure par un produit scalaire. Les vecteurs des passages sont calculés à l’avance, si bien qu’une requête se réduit à une recherche de plus proches voisins2.
| Symbole | Signification | Unité |
|---|---|---|
| Question | ||
| Passage (fragment de document) | ||
| Encodeur des questions, qui renvoie un vecteur de dimension | ||
| Encodeur des passages, de même dimension |
Sources :2
BM25 compte les mots de la question présents dans le document, en donnant plus de poids aux mots rares et en corrigeant l’effet de la longueur3. Il reste difficile à battre sur les termes exacts : noms propres, références, codes.
| Symbole | Signification | Unité |
|---|---|---|
| -ième terme de la requête | ||
| Nombre d’occurrences de dans le document | ||
| Fréquence inverse de document : élevée pour un terme rare dans le corpus | ||
| Longueur du document | mots | |
| Longueur moyenne des documents du corpus | mots | |
| Paramètres libres : saturation de la fréquence et normalisation par la longueur |
Sources :3
Similarité question-fragment
| Critère | Lexicale (BM25) | Dense (plongements) | Hybridecourant |
|---|---|---|---|
| Apparie | les mêmes mots | le même sens | les deux |
| Point fort | termes exacts, identifiants, sigles | paraphrases, synonymes | robustesse |
| Point faible | vocabulaire différent entre question et document | termes rares ou absents de l’entraînement | deux index à maintenir, fusion des scores à régler |
| Modèle requis | aucun | modèle de plongement4 | modèle de plongement |
Lexicale (BM25)
- Apparie
- les mêmes mots
- Point fort
- termes exacts, identifiants, sigles
- Point faible
- vocabulaire différent entre question et document
- Modèle requis
- aucun
Dense (plongements)
- Apparie
- le même sens
- Point fort
- paraphrases, synonymes
- Point faible
- termes rares ou absents de l’entraînement
- Modèle requis
- modèle de plongement4
Hybridecourant
- Apparie
- les deux
- Point fort
- robustesse
- Point faible
- deux index à maintenir, fusion des scores à régler
- Modèle requis
- modèle de plongement
VerdictLes deux familles se trompent sur des cas différents ; c’est pourquoi on les combine souvent, puis on confie le tri final à un reclasseur5.
Générer à partir des passages
Le passage récupéré est traité comme une variable latente : la probabilité de la réponse est une moyenne sur les meilleurs passages, pondérée par leur score de récupération1. Insérer les passages dans l’invite d’un modèle de langage en est une version simplifiée, où le modèle lit tous les passages à la fois.
| Symbole | Signification | Unité |
|---|---|---|
| Entrée (la question) | ||
| Séquence générée, de jetons | ||
| Passage récupéré | ||
| Récupérateur, de paramètres | ||
| Générateur, de paramètres |
Sources :1
Consigne
Répondre à partir des passages fournis ; dire qu’on ne sait pas si l’information n’y figure pas.
Passages numérotés
Chaque passage porte un identifiant et sa provenance, afin que la réponse puisse y renvoyer.
Question
La question d’origine, telle que posée.
Réponse citée
Chaque affirmation renvoie au passage qui la soutient, ce qui rend la réponse vérifiable.
Où le pipeline casse
| Étape | Symptôme | Cause probable | Piste de correction |
|---|---|---|---|
| Corpus | Le modèle répond « je ne sais pas » ou invente | L’information n’est tout simplement pas dans l’index | Compléter le corpus ; faire refuser plutôt qu’inventer |
| Découpage | Réponse partielle ou hors contexte | Le fragment coupe un tableau, une liste ou un raisonnement | Découper selon la structure ; chevauchement ; rattacher le titre de section |
| Récupération | Le bon passage existe mais n’est pas remonté | Écart de vocabulaire, trop petit, question ambiguë | Recherche hybride ; augmenter ; reformuler la question |
| Reclassement | Le bon passage est récupéré puis écarté | Seuil trop strict ou budget de contexte trop court | Garder plus de passages ; mesurer avant et après reclassement |
| Génération | La réponse contredit ou ignore les passages | Passages contradictoires, trop nombreux, ou consigne trop vague | Moins de passages, mieux triés ; exiger des citations ; vérifier la fidélité |
| Index | Réponse exacte hier, fausse aujourd’hui | Index périmé ou versions concurrentes d’un même document | Réindexation incrémentale ; dates et versions en métadonnées |
Mesure de la seule récupération : parmi les passages qu’il fallait trouver, quelle part figure dans les premiers ? Elle se calcule sans appeler le modèle de langage.
| Symbole | Signification | Unité |
|---|---|---|
| Ensemble des passages pertinents pour la question (annotés à la main) | ||
| Ensemble des passages renvoyés par le récupérateur |
Vérifier sa compréhension
QuestionUn assistant RAG répond mal à une question. En inspectant les journaux, on constate que le passage contenant la réponse figurait bien dans l’invite. Où chercher d’abord ?
- ADu côté de la génération : consigne, nombre et ordre des passages, passages contradictoires.
- BDu côté du modèle de plongement, qu’il faut remplacer.
- CDu côté du découpage, en réduisant la taille des fragments.
Voir la réponse
- A — Bonne réponse. Exact : la récupération a fait son travail ; c’est l’usage du passage qui a échoué.
- B — Mauvaise réponse. Le passage a été retrouvé : le plongement n’est pas en cause pour cette question.
- C — Mauvaise réponse. Possible si le fragment était tronqué, mais ce n’est pas la première piste quand la réponse est entièrement dans l’invite.
Le RAG supprime-t-il les hallucinations ?
Non. Il les réduit quand les bons passages sont fournis et que le modèle s’y tient ; l’article d’origine observe des générations plus factuelles et plus précises qu’avec un modèle purement paramétrique1. Mais le modèle peut encore mal lire un passage, en combiner deux à tort, ou compléter de mémoire ce qui manque.
Quelle taille de fragment choisir ?
Il n’y a pas de valeur universelle : c’est un compromis à mesurer sur vos propres questions. Trop petit, le fragment perd son contexte ; trop grand, son vecteur mélange plusieurs sujets et le passage utile se dilue. Suivre la structure du document (sections, paragraphes) est un meilleur point de départ qu’un nombre fixe de caractères.
Erreur fréquente : changer de modèle de plongement sans réindexer
Les vecteurs de deux modèles différents ne vivent pas dans le même espace : comparer une question encodée par l’un à des fragments encodés par l’autre n’a aucun sens. Tout changement de modèle de plongement impose de recalculer l’index entier.
Un très grand contexte rend-il le RAG inutile ?
Pour un petit corpus stable, tout placer dans l’invite peut suffire. Au-delà, la récupération reste utile : elle limite le coût par requête, permet de tenir à jour un corpus qui change, applique des droits d’accès par document et indique d’où vient chaque information.
Références
- (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. arXiv:2005.11401. arxiv.org/abs/2005.11401
- (2020). Dense Passage Retrieval for Open-Domain Question Answering. Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), 6769–6781. doi:10.18653/v1/2020.emnlp-main.550
- (2009). The Probabilistic Relevance Framework: BM25 and Beyond. Foundations and Trends in Information Retrieval, 4(1–2), 1–174. doi:10.1561/1500000019
- (2019). Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), 3980–3990. doi:10.18653/v1/D19-1410
- (2023). Retrieval-Augmented Generation for Large Language Models: A Survey. arXiv:2312.10997. arxiv.org/abs/2312.10997