Détecter les hallucinations : ce que révèlent les réponses contradictoires

Toute variation de formulation ne traduit pas une incertitude

Une question peut admettre plusieurs réponses équivalentes sans que le modèle varie sur le fond. Les formulations « Paris est la capitale de la France » et « La capitale de la France s’appelle Paris » diffèrent sur le plan linguistique, mais pas sur le plan factuel. L’étude de Farquhar et de ses collègues publiée dans Nature s’appuie donc sur l’entropie sémantique : plusieurs réponses générées sont regroupées selon leur sens, au lieu de simplement compter les différentes suites de mots. Si les réponses se répartissent entre des significations contradictoires, cela suggère une incertitude. Les chercheurs ont ainsi étudié un sous-ensemble particulier d’hallucinations, appelées confabulations. Il s’agit de productions arbitraires et fausses, susceptibles de varier lorsque la question est posée à plusieurs reprises. Cette méthode est intéressante parce qu’elle n’exige pas de disposer au préalable d’une réponse de référence connue pour chaque question afin de produire un signal d’alerte.

Pourquoi des réponses concordantes peuvent malgré tout être fausses

Un modèle peut répéter la même erreur à chaque fois. La dispersion sémantique est alors faible, bien que l’affirmation soit factuellement fausse. Une question formulée de manière trompeuse peut également orienter systématiquement les réponses dans une même direction. L’entropie sémantique ne mesure donc pas la vérité elle-même, mais une forme d’instabilité. À cela s’ajoute un coût de calcul supplémentaire : il faut générer plusieurs réponses et évaluer les relations de sens entre elles. Cette évaluation peut elle aussi être erronée, notamment lorsqu’il existe des différences subtiles entre des indications de quantité ou des conditions. Le profil de risque du NIST pour l’IA générative traite ainsi les contenus infondés présentés de manière convaincante comme un problème plus large. Une valeur d’incertitude isolée ne remplace ni la vérification des sources ni les tests propres à la tâche, et ne doit pas être interprétée comme un feu vert général pour des décisions sensibles, même lorsque l’interface utilisateur affiche des chiffres très précis.

Intégrer judicieusement les signaux d’alerte aux processus de travail

L’intérêt pratique réside avant tout dans des réactions graduées. En cas de forte incertitude, un système pourrait rechercher des sources supplémentaires, poser une question de clarification ciblée ou signaler la réponse pour qu’elle soit examinée par une personne. Pour cela, les seuils doivent être testés sur des tâches réelles. Trop d’alertes rendent l’outil fastidieux ; trop peu créent un faux sentiment de sécurité. Il est particulièrement instructif de déterminer combien de réponses effectivement fausses passent inaperçues parce que leur valeur d’incertitude ne suscite aucune alerte. L’interface devrait expliquer de façon compréhensible aux utilisateurs ce qui a été mesuré : par exemple, de fortes différences entre plusieurs tentatives de réponse, et non une probabilité prétendument objective que la réponse soit vraie. L’entropie sémantique est donc utile comme moyen de vérification complémentaire. Si elle remplaçait des preuves solides, elle donnerait précisément l’illusion de cette certitude qu’elle est censée remettre en question.

Poursuivre la découverte

• Bien interpréter AlphaFold : les prédictions de structure doivent s’accompagner d’indications d’incertitude
• Descriptions d’images par l’IA : utiles lorsque l’objectif est clair
• Qualité des données : pourquoi leur provenance et leur sélection comptent davantage que leur seule quantité