Aller au contenu

IARecherche d’informationArchitectureIntermédiaire

Par · Publiée le · 11 min de lecture

Sommaire
  1. Deux phases, deux moments
  2. Retrouver les bons passages
  3. Générer à partir des passages
  4. Où le pipeline casse
  5. Vérifier sa compréhension

Après cette fiche, vous saurez

  • Distinguer la phase d’indexation de la phase de requête.
  • Expliquer comment une question est appariée à des passages, par recherche dense ou lexicale.
  • Situer chaque défaillance typique à l’étape qui la cause.
  • Choisir les mesures qui évaluent séparément la récupération et la génération.

Formulaire

Les équations de la fiche, d’un coup d’œil

  1. 01Recherche densesim(q,p)=EQ(q)⊤EP(p)\mathrm{sim}(q, p) = E_Q(q)^{\top} E_P(p)
  2. 02Recherche lexicale : BM25score(D,Q)=∑i=1nIDF(qi)⋅f(qi,D) (k1+1)f(qi,D)+k1(1−b+b ∣D∣avgdl)\mathrm{score}(D, Q) = \sum_{i=1}^{n} \mathrm{IDF}(q_i) \cdot \frac{f(q_i, D)\,(k_1 + 1)}{f(q_i, D) + k_1 \left(1 - b + b\,\frac{|D|}{\mathrm{avgdl}}\right)}
  3. 03Modèle RAG-SequencepRAG-Sequence(y∣x)  ≈∑z ∈ top-k(pη(⋅∣x))pη(z∣x)∏i=1Npθ(yi∣x,z,y1:i−1)p_{\text{RAG-Sequence}}(y \mid x) \;\approx \sum_{z \,\in\, \text{top-}k\left(p_\eta(\cdot \mid x)\right)} p_\eta(z \mid x) \prod_{i=1}^{N} p_\theta\big(y_i \mid x, z, y_{1:i-1}\big)
  4. 04Rappel à kRecall@k=∣ R∩Tk ∣∣ R ∣\mathrm{Recall@}k = \frac{\left|\,\mathcal{R} \cap \mathcal{T}_k\,\right|}{\left|\,\mathcal{R}\,\right|}

Exemple de démonstration — non révisé par l'auteur

Architecture · Systèmes à base de LLM

Le pipeline RAG, de l’indexation à la réponse

Un modèle de langage ne connaît que ce que contiennent ses paramètres : sa mémoire est figée à la fin de l’entraînement, et il ne peut pas en indiquer la provenance. La génération augmentée par récupération (Retrieval-Augmented Generation, RAG) lui adjoint une mémoire externe consultable : avant de répondre, le système va chercher des passages pertinents et les fournit au modèle1.

  • Mémoire paramétrique

    Les poids du modèle. Vaste, mais figée, sans provenance, et coûteuse à mettre à jour.

  • Mémoire non paramétrique

    Un index de documents. On peut le corriger ou l’étendre sans réentraîner le modèle1.

  • Le lien entre les deux

    Un récupérateur qui, pour chaque question, sélectionne les quelques passages à placer sous les yeux du modèle.

Deux phases, deux moments

Indexation (hors ligne) et requête (en ligne)

Schéma en deux bandes. Bande du haut, indexation : les documents sont découpés en fragments, chaque fragment est converti en vecteur par un modèle de plongement, puis stocké dans un index vectoriel. Bande du bas, requête : la question est convertie en vecteur par le même modèle, le récupérateur interroge l’index et renvoie les k fragments les plus proches, un reclasseur les réordonne, l’invite assemble question et passages, le modèle de langage génère une réponse accompagnée de ses sources.INDEXATION · HORS LIGNEREQUÊTE · EN LIGNEDocumentsPDF, pages, tickets…Découpagefragments + métadonnéesModèle de plongementfragment → vecteurIndex vectorielvecteurs + texte + sourceQuestionModèle de plongementquestion → vecteurRécupérationk plus proches voisinsReclassementfacultatif, plus précisAssemblage de l’inviteconsigne + passages +questionModèle de langageRéponse sourcéeécriturelecturek candidatsles meilleursquestion d’origine
  • Flux d’indexation (une fois par document)
  • Flux de requête (à chaque question)
  • Lecture de l’index
  • Modèles neuronaux
  • Texte envoyé au modèle
  1. Découper — Chaque document est scindé en fragments assez courts pour porter une idée, assez longs pour rester compréhensibles hors contexte.
  2. Vectoriser et stocker — Un modèle de plongement associe à chaque fragment un vecteur ; vecteur, texte et provenance sont rangés dans l’index.
  3. Vectoriser la question — À l’arrivée d’une question, le même modèle la projette dans le même espace vectoriel.
  4. Récupérer — L’index renvoie les kk fragments dont le vecteur est le plus proche de celui de la question.
  5. Reclasser — Un modèle plus coûteux relit chaque couple question-fragment et ne garde que les plus pertinents.
  6. Générer — L’invite réunit la consigne, les passages retenus et la question ; le modèle rédige la réponse en s’appuyant sur ces passages.
L’indexation se fait une fois par document ; la requête se rejoue à chaque question. Les deux phases doivent utiliser le même modèle de plongement.

Retrouver les bons passages

Recherche dense
sim(q,p)=EQ(q)⊤EP(p)\mathrm{sim}(q, p) = E_Q(q)^{\top} E_P(p)

Question et passage sont projetés dans un même espace ; leur proximité se mesure par un produit scalaire. Les vecteurs des passages sont calculés à l’avance, si bien qu’une requête se réduit à une recherche de plus proches voisins2.

Variables
SymboleSignificationUnité
qqQuestion
ppPassage (fragment de document)
EQE_QEncodeur des questions, qui renvoie un vecteur de dimension dd
EPE_PEncodeur des passages, de même dimension

Sources :2

Recherche lexicale : BM25
score(D,Q)=∑i=1nIDF(qi)⋅f(qi,D) (k1+1)f(qi,D)+k1(1−b+b ∣D∣avgdl)\mathrm{score}(D, Q) = \sum_{i=1}^{n} \mathrm{IDF}(q_i) \cdot \frac{f(q_i, D)\,(k_1 + 1)}{f(q_i, D) + k_1 \left(1 - b + b\,\frac{|D|}{\mathrm{avgdl}}\right)}

BM25 compte les mots de la question présents dans le document, en donnant plus de poids aux mots rares et en corrigeant l’effet de la longueur3. Il reste difficile à battre sur les termes exacts : noms propres, références, codes.

Variables
SymboleSignificationUnité
qiq_iii-ième terme de la requête QQ
f(qi,D)f(q_i, D)Nombre d’occurrences de qiq_i dans le document DD
IDF(qi)\mathrm{IDF}(q_i)Fréquence inverse de document : élevée pour un terme rare dans le corpus
∣D∣|D|Longueur du documentmots
avgdl\mathrm{avgdl}Longueur moyenne des documents du corpusmots
k1, bk_1,\, bParamètres libres : saturation de la fréquence et normalisation par la longueur

Sources :3

Similarité question-fragment

Matrice de trois questions par cinq fragments. Chaque question a une similarité élevée avec un ou deux fragments traitant du même sujet et faible avec les autres ; avec $k = 2$, on retiendrait les deux cases les plus foncées de chaque ligne.DONNÉES ILLUSTRATIVESRetoursLivraisonGarantieBatterieCarrièresDélai de retour ?Frais de livraison ?Garantie batterie ?0,860,410,330,120,050,380,840,150,100,060,290,130,810,770,040,040,86
Valeurs illustratives, choisies à la main : elles montrent ce qu’on attend d’un bon modèle de plongement, pas la sortie d’un modèle réel.
CritèreLexicale (BM25)Dense (plongements)Hybridecourant
Apparieles mêmes motsle même sensles deux
Point forttermes exacts, identifiants, siglesparaphrases, synonymesrobustesse
Point faiblevocabulaire différent entre question et documenttermes rares ou absents de l’entraînementdeux index à maintenir, fusion des scores à régler
Modèle requisaucunmodèle de plongement4modèle de plongement

Lexicale (BM25)

Apparie
les mêmes mots
Point fort
termes exacts, identifiants, sigles
Point faible
vocabulaire différent entre question et document
Modèle requis
aucun

Dense (plongements)

Apparie
le même sens
Point fort
paraphrases, synonymes
Point faible
termes rares ou absents de l’entraînement
Modèle requis
modèle de plongement4

Hybridecourant

Apparie
les deux
Point fort
robustesse
Point faible
deux index à maintenir, fusion des scores à régler
Modèle requis
modèle de plongement

VerdictLes deux familles se trompent sur des cas différents ; c’est pourquoi on les combine souvent, puis on confie le tri final à un reclasseur5.

Générer à partir des passages

Modèle RAG-Sequence
pRAG-Sequence(y∣x)  ≈∑z ∈ top-k(pη(⋅∣x))pη(z∣x)∏i=1Npθ(yi∣x,z,y1:i−1)p_{\text{RAG-Sequence}}(y \mid x) \;\approx \sum_{z \,\in\, \text{top-}k\left(p_\eta(\cdot \mid x)\right)} p_\eta(z \mid x) \prod_{i=1}^{N} p_\theta\big(y_i \mid x, z, y_{1:i-1}\big)

Le passage récupéré zz est traité comme une variable latente : la probabilité de la réponse est une moyenne sur les kk meilleurs passages, pondérée par leur score de récupération1. Insérer les passages dans l’invite d’un modèle de langage en est une version simplifiée, où le modèle lit tous les passages à la fois.

Variables
SymboleSignificationUnité
xxEntrée (la question)
yySéquence générée, de jetons y1,…,yNy_1, \dots, y_N
zzPassage récupéré
pη(z∣x)p_\eta(z \mid x)Récupérateur, de paramètres η\eta
pθp_\thetaGénérateur, de paramètres θ\theta

Sources :1

  1. Consigne

    Répondre à partir des passages fournis ; dire qu’on ne sait pas si l’information n’y figure pas.

  2. Passages numérotés

    Chaque passage porte un identifiant et sa provenance, afin que la réponse puisse y renvoyer.

  3. Question

    La question d’origine, telle que posée.

  4. Réponse citée

    Chaque affirmation renvoie au passage qui la soutient, ce qui rend la réponse vérifiable.

Où le pipeline casse

Modes de défaillance typiques, rangés par étape. Synthèse de pratique d’ingénierie5.
ÉtapeSymptômeCause probablePiste de correction
CorpusLe modèle répond « je ne sais pas » ou inventeL’information n’est tout simplement pas dans l’indexCompléter le corpus ; faire refuser plutôt qu’inventer
DécoupageRéponse partielle ou hors contexteLe fragment coupe un tableau, une liste ou un raisonnementDécouper selon la structure ; chevauchement ; rattacher le titre de section
RécupérationLe bon passage existe mais n’est pas remontéÉcart de vocabulaire, kk trop petit, question ambiguëRecherche hybride ; augmenter kk ; reformuler la question
ReclassementLe bon passage est récupéré puis écartéSeuil trop strict ou budget de contexte trop courtGarder plus de passages ; mesurer avant et après reclassement
GénérationLa réponse contredit ou ignore les passagesPassages contradictoires, trop nombreux, ou consigne trop vagueMoins de passages, mieux triés ; exiger des citations ; vérifier la fidélité
IndexRéponse exacte hier, fausse aujourd’huiIndex périmé ou versions concurrentes d’un même documentRéindexation incrémentale ; dates et versions en métadonnées
Rappel à k
Recall@k=∣ R∩Tk ∣∣ R ∣\mathrm{Recall@}k = \frac{\left|\,\mathcal{R} \cap \mathcal{T}_k\,\right|}{\left|\,\mathcal{R}\,\right|}

Mesure de la seule récupération : parmi les passages qu’il fallait trouver, quelle part figure dans les kk premiers ? Elle se calcule sans appeler le modèle de langage.

Variables
SymboleSignificationUnité
R\mathcal{R}Ensemble des passages pertinents pour la question (annotés à la main)
Tk\mathcal{T}_kEnsemble des kk passages renvoyés par le récupérateur

Vérifier sa compréhension

QuestionUn assistant RAG répond mal à une question. En inspectant les journaux, on constate que le passage contenant la réponse figurait bien dans l’invite. Où chercher d’abord ?

  1. ADu côté de la génération : consigne, nombre et ordre des passages, passages contradictoires.
  2. BDu côté du modèle de plongement, qu’il faut remplacer.
  3. CDu côté du découpage, en réduisant la taille des fragments.
Voir la réponse
  • A — Bonne réponse. Exact : la récupération a fait son travail ; c’est l’usage du passage qui a échoué.
  • B — Mauvaise réponse. Le passage a été retrouvé : le plongement n’est pas en cause pour cette question.
  • C — Mauvaise réponse. Possible si le fragment était tronqué, mais ce n’est pas la première piste quand la réponse est entièrement dans l’invite.
Le RAG supprime-t-il les hallucinations ?

Non. Il les réduit quand les bons passages sont fournis et que le modèle s’y tient ; l’article d’origine observe des générations plus factuelles et plus précises qu’avec un modèle purement paramétrique1. Mais le modèle peut encore mal lire un passage, en combiner deux à tort, ou compléter de mémoire ce qui manque.

Quelle taille de fragment choisir ?

Il n’y a pas de valeur universelle : c’est un compromis à mesurer sur vos propres questions. Trop petit, le fragment perd son contexte ; trop grand, son vecteur mélange plusieurs sujets et le passage utile se dilue. Suivre la structure du document (sections, paragraphes) est un meilleur point de départ qu’un nombre fixe de caractères.

Erreur fréquente : changer de modèle de plongement sans réindexer

Les vecteurs de deux modèles différents ne vivent pas dans le même espace : comparer une question encodée par l’un à des fragments encodés par l’autre n’a aucun sens. Tout changement de modèle de plongement impose de recalculer l’index entier.

Un très grand contexte rend-il le RAG inutile ?

Pour un petit corpus stable, tout placer dans l’invite peut suffire. Au-delà, la récupération reste utile : elle limite le coût par requête, permet de tenir à jour un corpus qui change, applique des droits d’accès par document et indique d’où vient chaque information.

Références

  1. Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, Douwe Kiela (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. arXiv:2005.11401. arxiv.org/abs/2005.11401
  2. Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, Wen-tau Yih (2020). Dense Passage Retrieval for Open-Domain Question Answering. Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), 6769–6781. doi:10.18653/v1/2020.emnlp-main.550
  3. Stephen Robertson, Hugo Zaragoza (2009). The Probabilistic Relevance Framework: BM25 and Beyond. Foundations and Trends in Information Retrieval, 4(1–2), 1–174. doi:10.1561/1500000019
  4. Nils Reimers, Iryna Gurevych (2019). Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), 3980–3990. doi:10.18653/v1/D19-1410
  5. Yunfan Gao, Yun Xiong, Xinyu Gao, Kangxiang Jia, Jinliu Pan, Yuxi Bi, Yi Dai, Jiawei Sun, Meng Wang, Haofen Wang (2023). Retrieval-Augmented Generation for Large Language Models: A Survey. arXiv:2312.10997. arxiv.org/abs/2312.10997

Aussi disponible en anglais

Partager cette fiche

Mots-clés

En vedetteIAApprentissage profond

Mélange d’experts et routage top-k

Un mélange d’experts confie chaque entrée à quelques sous-réseaux choisis par un routeur. Le nombre de paramètres augmente avec le nombre d’experts, mais le calcul par jeton ne dépend que de kk.

Avancé · 11 min de lecture ·

En vedetteIAApprentissage profondEN

Mixture of Experts and top-k routing

A mixture of experts hands each input to a few sub-networks chosen by a router. The parameter count grows with the number of experts, but the computation per token depends only on kk.

Avancé · 11 min de lecture ·

En vedetteÉconométrieFinance

Le modèle GARCH(1,1) et la dynamique de la volatilité

Comment une récurrence à trois paramètres reproduit les grappes de volatilité des rendements financiers, à quelles conditions elle est stationnaire et comment on l’estime par quasi-maximum de vraisemblance.

Intermédiaire · 10 min de lecture ·