IA · Article thématique
Un modèle de langage ne connaît pas automatiquement les documents d’une organisation. La génération augmentée par récupération, ou Retrieval-Augmented Generation, associe donc la recherche d’information à la génération de texte. Cette approche peut rendre les réponses plus vérifiables, mais elle n’élimine pas les erreurs à elle seule. La qualité des passages trouvés, leur actualité et la question de savoir si les sources étayent effectivement la réponse sont déterminantes.
Deux tâches à examiner séparément
La génération augmentée par récupération, abrégée RAG, associe un modèle de langage à un fonds documentaire interrogeable. Un composant de recherche repère d’abord les passages pertinents. Le modèle reçoit ensuite ces passages comme base supplémentaire pour élaborer sa réponse. Les travaux fondateurs de Lewis et de ses collègues ont étudié cette association entre les connaissances paramétriques du modèle et une mémoire externe à travers des tâches langagières mobilisant de nombreuses connaissances. En pratique, la différence avec une conversation ordinaire ne tient pas au fait que le modèle saurait soudain tout. Il se voit plutôt fournir une sélection de documents. Il devient ainsi possible d’actualiser les connaissances spécialisées sans réentraîner l’ensemble du modèle. Il est également possible d’indiquer les sources. La fiabilité de ces références dépend toutefois des documents trouvés et de la rigueur avec laquelle ils sont exploités lors de la génération.
Un résultat de recherche ne constitue pas encore une preuve
La chaîne des erreurs commence souvent avant la rédaction proprement dite. Une recherche peut privilégier un ancien guide, passer à côté d’une exception déterminante ou confondre des termes proches. Même lorsque les résultats sont pertinents, le modèle de langage peut combiner des affirmations dont l’association ne découle pas des sources. Un lien ajouté à la réponse prouve donc, à lui seul, uniquement qu’un document a été cité. Pour permettre une vérification utile, il faut indiquer clairement quel passage étaye quelle affirmation. Il est tout aussi important de distinguer clairement les faits documentés des interprétations complémentaires. Si les documents se contredisent, le système devrait signaler ce conflit. Pour de nombreux processus de travail, une synthèse au style fluide qui mélange tacitement différentes versions est moins utile qu’une réponse explicitement incomplète assortie de références précises aux passages concernés.
Comment mesurer l’utilité au quotidien
Pour un premier test, un corpus limité associé à des questions dont les réponses sont connues convient bien : par exemple, des manuels validés et des questions fréquemment posées au service d’assistance. L’équipe devrait mesurer séparément si les passages pertinents sont trouvés et si leur exploitation produit des réponses correctes. Les tests doivent inclure des questions pour lesquelles aucune réponse ne peut être étayée, ainsi que des cas comportant des documents obsolètes ou contradictoires. Un système utile n’a pas à répondre à toutes les questions ; il doit signaler de manière fiable l’absence d’éléments probants. En pratique, il est judicieux de prévoir des indications de version, un accès direct au passage original et une sélection de documents dont la logique est vérifiable. L’étude d’Anthropic sur les segments de texte enrichis de contexte illustre en outre que la préparation du corpus de recherche peut, à elle seule, faire une différence. Ces résultats ne constituent toutefois pas un label de qualité universel : chaque corpus nécessite ses propres tests, notamment pour la terminologie spécialisée, les droits d’accès et les rares cas d’exception.
Sources et informations complémentaires
- Lewis et al.: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasksmlanthology.org
- Anthropic: Contextual Retrievalanthropic.com
Rédigé avec l’aide de l’IA à partir des sources citées, dans une formulation originale. Le texte distingue les résultats de recherche, les prototypes techniques et les connaissances établies. Cet article thématique n’est pas une actualité du jour.