Retrieval-Augmented Generation

Los grandes modelos de lenguaje se entrenan con grandes corpus de texto y pueden generar respuestas fluidas y plausibles a casi cualquier pregunta. El problema es que su conocimiento queda congelado en una fecha de corte del entrenamiento, no tienen acceso a los datos propios de la organización y, en ocasiones, generan respuestas con apariencia de seguridad que son factualmente incorrectas, un comportamiento conocido como alucinación.

Para casos de uso empresariales (responder preguntas sobre políticas internas, procesar documentos de proveedores concretos, generar informes fundamentados en datos operativos reales), la alucinación no es un inconveniente menor. Es un bloqueo para producción. RAG lo aborda directamente: en lugar de pedirle al modelo que genere desde la memoria, el sistema primero recupera el material fuente relevante y luego genera una respuesta fundamentada en ese material, con citas.

En producción, RAG implica varios pasos. Las fuentes de conocimiento de la organización (bibliotecas de SharePoint, documentos PDF, registros de bases de datos, notas de CRM) se indexan en un sistema de retrieval, normalmente mediante embeddings vectoriales. Cuando un usuario envía una consulta, el sistema recupera los pasajes más relevantes del índice. El modelo de lenguaje genera entonces una respuesta basada en esos pasajes, citando las fuentes que usó.

Los requisitos empresariales clave son el control de acceso (los usuarios solo deberían recuperar de las fuentes para las que están autorizados), la actualidad (el índice debe mantenerse al día conforme se actualizan los documentos fuente) y la citación (las respuestas deben referenciar la fuente para que la salida se pueda verificar).

Una pregunta habitual es si conviene usar RAG o afinar (fine-tune) un modelo con los datos de la organización. El fine-tuning incorpora el conocimiento a los pesos del modelo: mejora el comportamiento general del modelo en un dominio, pero no le da acceso a documentos específicos y actuales. RAG recupera de una base de conocimiento viva: puede referenciar un documento actualizado esta misma mañana.

Para la mayoría de los casos de uso empresariales que implican conocimiento propio (políticas, contratos, datos de producto, registros de clientes), RAG es la arquitectura adecuada. El fine-tuning es más relevante para cambiar el estilo, el tono o las capacidades específicas de una tarea del modelo, no para fundamentarlo en el contenido de la organización.