IA · Article thématique
Les modèles multimodaux associent le texte aux informations visuelles et peuvent ainsi répondre à des questions sur des illustrations. Une explication convaincante ne signifie toutefois pas que tous les axes, toutes les valeurs et toutes les relations ont été correctement lus. Les graphiques, en particulier, exigent de distinguer l’observation de ce qui est visible, l’interprétation spécialisée et les conclusions qui ne peuvent être tirées du seul graphique.
Du signal visuel à la réponse spécialisée
Un modèle de langage multimodal reçoit des informations visuelles sous une forme intégrée à son traitement du texte. Les recherches sur LLaVA-NeXT étudient notamment, à cette fin, les choix d’architecture, les représentations d’images et les stratégies d’entraînement. Répondre à une question sur un graphique exige de réussir plusieurs étapes : lire les annotations, associer correctement les éléments graphiques, comparer les valeurs et situer la question dans son contexte disciplinaire. MMMU a été développé pour évaluer des tâches exigeantes de ce type dans différentes disciplines et pour divers types d’images. De bons résultats sur des photographies courantes renseignent donc peu sur les performances face à des dessins techniques ou à des structures chimiques. De même, un modèle peut identifier correctement une tendance tout en indiquant une période erronée. La performance ne relève pas d’une capacité visuelle unique, mais de l’interaction de plusieurs aptitudes, dont la fiabilité varie selon le type de document.
De petits détails de représentation peuvent être décisifs
Des axes tronqués, des échelles logarithmiques ou des couleurs proches modifient la manière dont un graphique doit être lu. Une faible résolution de l’image peut également rendre des annotations importantes illisibles. Un modèle peut alors compléter les informations manquantes à partir de schémas habituels et fournir ainsi une explication plausible plutôt qu’étayée. Les questions portant sur des valeurs numériques exactes sont particulièrement problématiques lorsque le graphique ne permet qu’une lecture approximative. Une bonne réponse distingue alors la valeur visible, la valeur estimée et l’information impossible à déterminer. Le fait qu’un système puisse parler longuement d’un graphique ne prouve pas la précision de sa perception. Pour prendre des décisions dans un domaine spécialisé, il convient donc de consulter, autant que possible, les données d’origine, des tableaux ou des illustrations de meilleure résolution. L’image reste une source d’information qui a ses propres limites, et non un jeu de données dont tout le contenu serait automatiquement extrait et compris.
De meilleures questions donnent des résultats plus faciles à vérifier
Plutôt que de demander d’emblée une interprétation d’ensemble, il peut être utile de procéder par étapes. Le système commence par identifier les axes, les unités et la légende. Il décrit ensuite uniquement les relations directement visibles. Ce n’est qu’ensuite qu’il propose une interprétation, en explicitant les hypothèses sur lesquelles elle repose. Pour les résultats importants, certaines valeurs sont confrontées aux données d’origine. Les questions de mise à l’épreuve sont également utiles : quelle affirmation, précisément, ne peut pas être déduite de ce graphique ? Un jeu de test devrait comprendre des images de qualités variées et des représentations délibérément trompeuses. Il devient ainsi possible de voir si le modèle réagit avec prudence ou masque les lacunes. Au quotidien, l’IA multimodale peut donc servir de guide de lecture et d’interlocuteur pour discuter d’illustrations. Une validation par un spécialiste exige toutefois toujours de vérifier les détails sur lesquels repose la conclusion proprement dite.
Sources et informations complémentaires
- LLaVA-NeXT: Architecture, Visual Representations and Training Strategiesllava-vl.github.io
- MMMU: Multimodal Understanding and Reasoning Benchmarkmmmu-benchmark.github.io
Rédigé avec l’aide de l’IA à partir des sources citées, dans une formulation originale. Le texte distingue les résultats de recherche, les prototypes techniques et les connaissances établies. Cet article thématique n’est pas une actualité du jour.