Detectar alucinaciones: lo que revelan las respuestas contradictorias

No toda variación lingüística implica incertidumbre

Una pregunta puede tener varias respuestas equivalentes sin que el modelo varíe en cuanto al contenido. Las formulaciones «París es la capital de Francia» y «La capital de Francia se llama París» difieren en lo lingüístico, no en lo factual. Por ello, el trabajo de Farquhar y sus colegas publicado en Nature recurre a la entropía semántica: se agrupan varias respuestas generadas según su significado, en lugar de limitarse a contar secuencias de palabras diferentes. Si las respuestas se distribuyen entre significados contradictorios, esto apunta a una incertidumbre. Con este método, el equipo investigador estudió un subgrupo concreto de alucinaciones, las llamadas confabulaciones. Se trata de respuestas generadas de forma arbitraria que son falsas y pueden variar al repetir la consulta. El procedimiento resulta interesante porque no necesita disponer de una respuesta de referencia conocida para cada pregunta concreta a fin de emitir una señal de alerta.

Por qué las respuestas coincidentes también pueden ser erróneas

Un modelo puede repetir el mismo error cada vez. En ese caso, se produce poca dispersión semántica, aunque la afirmación sea objetivamente falsa. Una pregunta formulada de manera engañosa también puede orientar sistemáticamente las respuestas en una misma dirección. Por tanto, la entropía semántica no mide la verdad en sí, sino una forma de inestabilidad. A ello se suma un mayor coste computacional: es necesario generar varias respuestas y evaluar las relaciones entre sus significados. Esta evaluación también puede ser errónea, por ejemplo, cuando hay diferencias sutiles en las cantidades o condiciones expresadas. En consonancia con ello, el perfil de riesgos del NIST para la IA generativa aborda los contenidos sin fundamento presentados de forma convincente como un problema más amplio. Un único valor de incertidumbre no sustituye ni la verificación de fuentes ni las pruebas específicas para cada tarea, y no debe interpretarse como una autorización general para tomar decisiones delicadas, aunque la interfaz de usuario muestre cifras muy precisas.

Integrar las señales de alerta de forma útil en los flujos de trabajo

La utilidad práctica reside, sobre todo, en adoptar medidas de respuesta graduadas. Ante una incertidumbre elevada, un sistema podría buscar fuentes adicionales, plantear una pregunta de aclaración específica o marcar la respuesta para su revisión humana. Para ello, es necesario probar los umbrales con tareas reales. Demasiadas alertas hacen que la herramienta resulte engorrosa; demasiado pocas generan una falsa sensación de seguridad. Resulta especialmente revelador preguntarse cuántas respuestas realmente erróneas pasan el filtro pese a presentar un valor que no llama la atención. La interfaz debería explicar a las personas usuarias de manera comprensible qué se ha medido: por ejemplo, diferencias marcadas entre varios intentos de respuesta, no una probabilidad supuestamente objetiva de que la respuesta sea verdadera. Por eso, la entropía semántica es útil como vía adicional de comprobación. Como sustituto de pruebas sólidas, transmitiría precisamente esa falsa certeza que en realidad debería someter a examen crítico.

Seguir descubriendo

• Cómo interpretar correctamente AlphaFold: las predicciones estructurales necesitan información sobre su incertidumbre
• Descripciones de imágenes con IA: útiles cuando el propósito está claro
• Calidad de los datos: por qué la procedencia y la selección importan más que la mera cantidad