IA · Artículo temático
Un modelo de lenguaje no conoce automáticamente los documentos de una organización. Por eso, la generación aumentada por recuperación combina la búsqueda de información con la generación de texto. Esto puede facilitar la verificación del fundamento de las respuestas, pero no elimina los errores por sí solo. Lo decisivo es la calidad de los pasajes encontrados, su actualidad y si las fuentes realmente respaldan la respuesta.
Dos tareas que conviene considerar por separado
La generación aumentada por recuperación, abreviada RAG por sus siglas en inglés, combina un modelo de lenguaje con un conjunto de documentos en el que se pueden realizar búsquedas. Primero, un componente de búsqueda localiza fragmentos de texto pertinentes. A continuación, el modelo recibe esos pasajes como base adicional para elaborar su respuesta. El trabajo de investigación fundacional de Lewis y sus colegas estudió esta combinación de conocimiento paramétrico del modelo y memoria externa mediante tareas de lenguaje que requieren un uso intensivo del conocimiento. La diferencia práctica respecto a un chat convencional no consiste en que el modelo pase de pronto a saberlo todo. Más bien, se le proporcionan documentos seleccionados. Esto permite actualizar el conocimiento especializado sin volver a entrenar todo el modelo. También permite aportar referencias sobre la procedencia de la información. Sin embargo, la solidez de esas referencias depende de qué documentos se hayan encontrado y del cuidado con el que se utilicen durante la generación.
Un resultado de búsqueda no constituye por sí solo una prueba
La cadena de errores suele comenzar antes de la redacción propiamente dicha. Una búsqueda puede dar preferencia a unas instrucciones antiguas, pasar por alto una excepción decisiva o confundir términos similares. Incluso cuando los resultados son pertinentes, el modelo de lenguaje puede combinar afirmaciones que, consideradas en conjunto, no se desprenden de las fuentes. Por eso, un enlace añadido solo demuestra, en principio, que se ha citado un documento. Para que la verificación resulte útil, debe quedar claro qué pasaje respalda cada afirmación. Igual de importante es distinguir claramente entre los hechos documentados y la interpretación complementaria. Si los documentos se contradicen, el sistema debería poner de manifiesto ese conflicto. Para muchos flujos de trabajo, un resumen de redacción fluida que mezcle versiones diferentes sin advertirlo resulta menos útil que una respuesta expresamente incompleta con referencias precisas a los pasajes pertinentes.
Cómo medir la utilidad en el trabajo cotidiano
Para una primera prueba, resulta adecuado un conjunto limitado de documentos con respuestas conocidas, como manuales aprobados y preguntas frecuentes de atención al cliente. El equipo debería medir por separado si se encuentran pasajes relevantes y si a partir de ellos se generan respuestas correctas. Las pruebas deben incluir preguntas sin una respuesta que pueda respaldarse con evidencia, así como casos con documentos obsoletos o contradictorios. Un sistema útil no tiene que responder a todas las preguntas; debe indicar de forma fiable cuándo falta evidencia. En la práctica, conviene incluir información sobre las versiones, enlaces directos al pasaje original y una selección de documentos cuyos criterios puedan verificarse. El estudio de Anthropic sobre fragmentos de texto enriquecidos con contexto ilustra, además, que la propia preparación del conjunto de documentos en el que se realizan las búsquedas puede marcar una diferencia. Sin embargo, estos resultados no constituyen un sello de calidad universal: cada colección necesita pruebas propias, especialmente en lo relativo a la terminología especializada, los permisos de acceso y las excepciones poco frecuentes.
Fuentes e información adicional
- Lewis et al.: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasksmlanthology.org
- Anthropic: Contextual Retrievalanthropic.com
Redactado con asistencia de IA a partir de las fuentes mencionadas y con formulación propia. En el texto se diferencian resultados de investigación, prototipos técnicos y conocimientos consolidados. Este artículo temático no es una noticia de última hora.