IA · Article thématique
Davantage de données d’entraînement ne signifie pas automatiquement une meilleure IA. Ce qui compte, c’est la nature des contenus présents, celle des contenus absents et la manière dont ils ont été sélectionnés. La documentation des jeux de données rend ces décisions visibles. Les corpus ouverts comme Dolma permettent des analyses supplémentaires, mais ne dispensent pas de vérifier leur adéquation, les droits applicables, la présence d’informations sensibles et les biais au regard du futur domaine d’utilisation.
Un jeu de données est déjà le fruit d’une sélection
Les données d’entraînement ne se constituent pas de manière neutre par simple collecte. Le choix des sources, des langues et des périodes détermine déjà les perspectives qui seront fréquemment représentées. Les filtres et le nettoyage en modifient ensuite encore la composition. La publication Datasheets for Datasets propose donc une documentation systématique : la motivation, la provenance, la composition, le processus de collecte et les usages recommandés doivent être explicités de manière à pouvoir être examinés. Pour le corpus Dolma, l’Allen Institute for AI décrit également les objectifs, la répartition des sources et la préparation des données. Ces indications aident à étudier le lien entre les données et le comportement du modèle. Elles ne garantissent toutefois pas qu’un jeu de données convienne à toutes les applications. Une collection peut être utile à la recherche générale sur le langage tout en représentant insuffisamment des domaines de spécialité importants, des variantes régionales ou certains groupes de personnes. Sans connaissance de cette sélection, l’évaluation d’un modèle reste inutilement superficielle.
Le nettoyage peut résoudre des problèmes et en créer de nouveaux
La suppression des doublons évite que les contenus fréquemment copiés ne prennent un poids excessif. Les filtres peuvent réduire la présence de spams manifestes ou de certaines données sensibles. Cependant, ces règles intègrent aussi des jugements de valeur et des risques d’erreurs techniques. Un filtre visant des formulations jugées de moindre qualité pourrait défavoriser des graphies inhabituelles ou certains dialectes. Même une description claire des sources ne signifie pas que toutes les questions relatives aux droits sont définitivement réglées. La qualité des données comporte donc plusieurs dimensions : l’utilité du contenu, la représentation, l’actualité, la possibilité d’utilisation sur le plan juridique et la protection des personnes concernées. Ces objectifs peuvent entrer en tension. Une documentation responsable ne mentionne pas seulement les étapes de nettoyage réussies, mais aussi les lacunes connues et les effets indésirables possibles. Les ensembles de données ouverts, en particulier, bénéficient de la possibilité offerte à des tiers de signaler des contenus problématiques et de comprendre les modifications apportées, plutôt que d’une démarche qui considère une publication unique comme un contrôle qualité achevé.
Les questions que les utilisateurs devraient se poser avant un projet
Pour un projet concret, il est utile de commencer par dresser une liste des besoins : quelle langue, quel type de texte et quel degré de spécialisation le modèle doit-il maîtriser ? Il faut ensuite vérifier si les données documentées couvrent effectivement ces domaines de manière plausible. Les échantillons examinés devraient comprendre non seulement des cas typiques, mais aussi des cas rares et difficiles. Pour ses propres jeux de données, la documentation doit préciser la provenance, les consentements ou les autres fondements autorisant l’utilisation, ainsi que les processus de suppression et de mise à jour. Il est tout aussi important de disposer d’un jeu de test distinct, qui ne soit pas intégré au processus de développement sans que l’on s’en aperçoive. Ce travail n’a pas pour but de prétendre que les données sont parfaites. Il permet de repérer les limites en amont et d’apporter des améliorations ciblées. Un ensemble plus restreint et bien documenté peut être plus utile pour une tâche étroitement définie qu’une immense collection dont personne ne peut suffisamment expliquer ou contrôler la composition.
Sources et informations complémentaires
- Gebru et al.: Datasheets for Datasetsdl.acm.org
- Ai2: Dolma Open Corpusallenai.org
Rédigé avec l’aide de l’IA à partir des sources citées, dans une formulation originale. Le texte distingue les résultats de recherche, les prototypes techniques et les connaissances établies. Cet article thématique n’est pas une actualité du jour.