IA · Article thématique
Les benchmarks publics facilitent la comparaison des modèles, mais ne répondent pas à toutes les questions du travail quotidien. Un jeu de test de taille raisonnable, soigneusement constitué, peut révéler les erreurs qui comptent réellement. L’essentiel est de définir des critères clairs, d’inclure des contre-exemples difficiles et d’accepter d’évaluer aussi le refus de répondre, les demandes de précisions et l’effort de correction humaine comme autant de composantes de la qualité.
La tâche détermine les critères d’évaluation
Un assistant destiné aux documents internes doit posséder d’autres capacités qu’un partenaire d’écriture créative. L’évaluation devrait donc commencer par une description de l’usage réel auquel le système est destiné. Quelles informations le système est-il autorisé à utiliser, quel format de sortie est requis et quelles erreurs auraient les conséquences les plus lourdes ? Le profil de risque du NIST consacré à l’IA générative fournit un cadre pour examiner les risques dans leur contexte d’utilisation. Des projets ouverts comme OLMo facilitent en outre l’accès aux artefacts de développement et d’évaluation. Une vérification propre à l’usage envisagé reste néanmoins nécessaire. Un score à un benchmark général ne permet pas de déterminer si un fonds documentaire donné est correctement exploité ou si une catégorie interne est reconnue de manière fiable. Un petit test fondé sur des exemples réels, préalablement nettoyés, est souvent plus révélateur qu’un score élevé obtenu sur des tâches qui n’ont guère de rapport avec l’utilisation prévue.
Inclure délibérément des cas d’échec dans le test
Un jeu de test ne devrait pas contenir uniquement des questions simples auxquelles il existe une réponse claire. Les informations manquantes, les pièces contradictoires, les formulations inhabituelles et les documents obsolètes sont tout aussi importants. Ils permettent de voir si le système demande des précisions de manière responsable ou s’il comble les lacunes par des détails inventés. Des critères sont définis à l’avance pour chaque tâche : l’exactitude factuelle, l’appui sur les sources, l’exhaustivité et le respect du format peuvent être évalués séparément. Pour les productions textuelles libres, il faut des règles d’évaluation explicites et compréhensibles et, si possible, plusieurs personnes chargées de l’évaluation. Par ailleurs, le jeu de test ne devrait pas servir en permanence à ajuster les prompts sans que des cas de contrôle indépendants soient conservés à part. Sinon, le système risque de ne s’améliorer que sur les exemples connus. Un bon test évalue la capacité de généralisation et le comportement dans les cas limites, et pas seulement l’aptitude à résoudre de nouveau des tâches familières.
La qualité englobe aussi le fonctionnement en conditions réelles
Au-delà de l’exactitude des réponses, le temps de réponse, les coûts, la protection des données et l’effort de post-traitement comptent également. Un modèle dont le taux de réussite est légèrement supérieur peut se révéler moins bon en pratique si ses erreurs sont plus difficiles à repérer. De même, une demande de précisions honnête peut être plus utile qu’une réponse immédiate, mais non étayée. Les résultats devraient donc être ventilés par type d’erreur et mesurés à nouveau après chaque modification importante. Cela comprend les mises à jour des modèles, les nouvelles méthodes de recherche et les modifications des fonds documentaires. Un bref rapport d’évaluation, dont les versions sont conservées, consigne ce qui a été testé et les limites qui subsistent. Il ne s’agit donc pas d’une certification définitive, mais d’un processus d’apprentissage reproductible. La question centrale n’est pas de savoir quel modèle l’emporte de manière générale, mais quel système accomplit la tâche souhaitée avec une fiabilité suffisante dans des conditions connues et adopte un comportement approprié en cas d’incertitude.
Sources et informations complémentaires
- NIST: Generative Artificial Intelligence Profile (2024)doi.org
- Ai2: OLMoallenai.org
Rédigé avec l’aide de l’IA à partir des sources citées, dans une formulation originale. Le texte distingue les résultats de recherche, les prototypes techniques et les connaissances établies. Cet article thématique n’est pas une actualité du jour.