IA · Article thématique
Une grande fenêtre de contexte permet de fournir de longues entrées, mais ne garantit pas une attention uniforme à l’ensemble de leur contenu. Les recherches sur l’effet dit « Lost in the Middle » montrent pourquoi des informations décisives peuvent passer inaperçues au milieu de nombreux documents. En pratique, la fiabilité dans des tâches concrètes de recherche et de comparaison, au sein du processus de travail concerné, compte donc davantage que le volume de texte annoncé.
La capacité de lecture et l’exploitation du contenu sont deux choses différentes
L’étude Lost in the Middle a examiné la manière dont les modèles de langage exploitent les informations pertinentes dans de longues entrées. Pour cela, l’équipe de recherche s’est notamment penchée sur des questions portant sur plusieurs documents et sur la recherche de paires clé-valeur précises. Pour les modèles étudiés, les performances dépendaient nettement de la position de l’information recherchée. Les résultats étaient souvent meilleurs lorsque celle-ci se trouvait au début ou à la fin plutôt qu’au milieu. Ce résultat ne décrit pas une propriété immuable de tous les systèmes actuels, mais un mode de défaillance observé expérimentalement. Il met toutefois en évidence une distinction importante : un modèle peut techniquement accepter une entrée volumineuse sans en analyser chaque section avec la même fiabilité. L’indication de la longueur maximale du contexte renseigne donc peu sur la fiabilité avec laquelle une exception contractuelle enfouie dans le texte ou une valeur de mesure isolée sera effectivement retrouvée.
Pourquoi des documents supplémentaires peuvent aussi gêner
Une longue annexe ne contient généralement pas que des informations utiles. Les répétitions, les termes similaires et les détails secondaires entrent en concurrence avec les passages décisifs. Ajouter par précaution tous les documents disponibles peut donc compliquer la tâche au lieu de la faciliter. Une recherche effectuée en amont ne résout pas non plus entièrement ce problème : si elle fournit trop de passages similaires, le contexte devient à nouveau difficile à appréhender. La RAG et les grandes fenêtres de contexte ne sont donc pas simplement deux approches opposées. Elles peuvent être combinées judicieusement si la recherche permet de sélectionner les documents pertinents et si le modèle dispose d’un contexte suffisant. Il reste essentiel que les passages abrégés conservent les conditions qui en déterminent la portée. Un chiffre isolé, sans période ni grandeur de référence, est certes facile à retrouver, mais il peut orienter vers une réponse erronée et ainsi engendrer des erreurs supplémentaires.
Un test simple de robustesse pour les assistants documentaires
Les organisations peuvent vérifier, au prix d’un effort raisonnable, dans quelle mesure les résultats dépendent de la position des informations. Pour cela, un même passage pertinent est placé successivement au début, au milieu et à la fin d’un ensemble de documents. La question et toutes les autres informations restent, autant que possible, identiques. Il est ensuite possible de comparer les résultats pour vérifier si la réponse, la citation et la conclusion restent stables. En complément, il convient de répartir plusieurs éléments probants entre différents documents afin de ne pas tester uniquement le simple repérage d’informations. Au quotidien, des questions clairement formulées, des limites visibles entre les documents et une consigne demandant d’indiquer explicitement les passages utilisés facilitent le travail. Ce sont des aides organisationnelles, et non une garantie contre les omissions. Pour les décisions dont les conséquences peuvent être très coûteuses, une personne devrait continuer à vérifier elle-même les passages originaux déterminants, plutôt que de se fier uniquement à une synthèse formulée de manière convaincante.
Sources et informations complémentaires
- Liu et al.: Lost in the Middlearxiv.org
- Lewis et al.: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasksmlanthology.org
Rédigé avec l’aide de l’IA à partir des sources citées, dans une formulation originale. Le texte distingue les résultats de recherche, les prototypes techniques et les connaissances établies. Cet article thématique n’est pas une actualité du jour.