IA · Artículo temático
Las pruebas de referencia públicas facilitan la comparación de modelos, pero no responden a todas las preguntas que surgen en el trabajo cotidiano. Un conjunto de pruebas manejable y cuidadosamente elaborado puede mostrar qué errores son realmente relevantes. Lo importante es contar con criterios claros, contraejemplos difíciles y la disposición a evaluar también la negativa a responder, las solicitudes de aclaración y el esfuerzo humano de corrección como componentes de la calidad.
La tarea determina el criterio de evaluación
Un asistente para documentos internos necesita capacidades distintas de las de un colaborador de escritura creativa. Por ello, la evaluación debe comenzar con una descripción del propósito real. ¿Qué información puede utilizar el sistema, qué formato de salida se necesita y qué errores tendrían consecuencias especialmente graves? El perfil de riesgos del NIST para la IA generativa ofrece un marco para analizar los riesgos en el contexto de uso. Además, proyectos abiertos como OLMo facilitan el examen de los artefactos de desarrollo y evaluación. Aun así, sigue siendo necesaria una evaluación propia. Una puntuación general en una prueba de referencia no permite determinar si se procesa correctamente una colección concreta de documentos o si se identifica de forma fiable una categoría interna. Una pequeña prueba con ejemplos reales y depurados suele ser más reveladora que una puntuación elevada obtenida en tareas que apenas guardan relación con el uso previsto.
Los casos de fallo deben incluirse deliberadamente en la prueba
Un conjunto de pruebas no debe contener únicamente preguntas sencillas con una respuesta clara. Son igual de importantes los casos con información ausente, documentos contradictorios, formulaciones inusuales y documentos desactualizados. Así se hace visible si el sistema solicita aclaraciones de forma responsable o rellena las lagunas con detalles inventados. Para cada tarea se establecen criterios de antemano: la exactitud factual, el respaldo en las fuentes, la exhaustividad y el cumplimiento del formato pueden evaluarse por separado. En los textos de respuesta abierta se necesitan reglas de evaluación claras y justificables y, de ser posible, más de una persona evaluadora. Además, el conjunto de pruebas no debe utilizarse continuamente para ajustar los prompts sin reservar casos de control independientes. De lo contrario, es posible que el sistema mejore solo en los ejemplos conocidos. Una buena prueba evalúa la capacidad de generalización y el comportamiento en situaciones límite, no solo la capacidad de volver a resolver tareas conocidas.
La calidad también incluye el funcionamiento
Además de las respuestas correctas, cuentan el tiempo de respuesta, los costes, la protección de datos y el esfuerzo de revisión y corrección posterior. Un modelo con una tasa de aciertos ligeramente superior puede resultar peor en la práctica si sus errores son más difíciles de detectar. Del mismo modo, una solicitud honesta de aclaración puede ser más útil que una respuesta inmediata, pero sin fundamento. Por ello, los resultados deben desglosarse por tipos de error y volver a medirse tras cada cambio significativo. Esto incluye las actualizaciones del modelo, los nuevos métodos de búsqueda y los cambios en las colecciones de documentos. Un informe breve de evaluación, con control de versiones, deja constancia de lo que se ha probado y de las limitaciones que persisten. Así no se obtiene una certificación definitiva, sino un proceso de aprendizaje repetible. La pregunta central no es qué modelo gana en términos generales, sino qué sistema realiza la tarea deseada con suficiente fiabilidad en condiciones conocidas y muestra un comportamiento adecuado ante la incertidumbre.
Fuentes e información adicional
- NIST: Generative Artificial Intelligence Profile (2024)doi.org
- Ai2: OLMoallenai.org
Redactado con asistencia de IA a partir de las fuentes mencionadas y con formulación propia. En el texto se diferencian resultados de investigación, prototipos técnicos y conocimientos consolidados. Este artículo temático no es una noticia de última hora.