Arquitectura RAG en una empresa: de dónde sale cada respuesta

Las cuatro piezas

Y por qué importa el orden: cada una recibe lo que produjo la anterior, así que un fallo arriba no se puede corregir abajo.

El modelo no puede inventar una respuesta correcta si el índice le trajo el fragmento equivocado. Y no puede saber que le trajeron el equivocado.

1 · La fuente, que es donde se decide casi todo

La pregunta que hay que responder antes de indexar nada es cuál es la versión oficial de cada cosa.

Toda empresa mediana tiene la misma política escrita en tres sitios con tres redacciones distintas: el manual, la web y lo que el equipo de atención responde de verdad.

Si los tres entran al índice, el sistema va a responder una de las tres al azar y a convertirla en oficial sin que nadie lo haya decidido.

Hay una decisión práctica que suele destrabar esa conversación cuando se atasca: no hace falta unificar las tres versiones, basta con ordenarlas.

Se declara una como oficial para el índice y las otras dos se quedan fuera. No hay que reescribir nada ni convencer a nadie de que su versión era peor: sólo hay que decidir cuál entra.

La unificación real puede venir después, y normalmente viene sola cuando el sistema empieza a responder siempre lo mismo y las diferencias se vuelven evidentes.

2 · El troceado, la pieza más subestimada

Los documentos se parten en fragmentos porque no cabe todo en cada consulta. Cómo se parten decide qué se puede responder.

El error clásico es partir por número de caracteres. Un fragmento que corta una tabla por la mitad, o que separa la condición de su excepción, produce respuestas incompletas que suenan completas.

• Partir por estructura, no por longitud: por sección, por artículo, por apartado.
• Arrastrar el encabezado en cada fragmento, para que se sepa de dónde salió.
• Mantener juntas condición y excepción. Es donde más se equivoca un sistema mal troceado.
• Guardar la referencia al documento y la sección de origen.

La cuarta es la que permite citar la fuente en la respuesta, y citar la fuente es lo que convierte al sistema en verificable.

3 · El índice y la búsqueda

Aquí es donde se decide qué fragmentos ve el modelo, y por tanto qué puede responder.

La búsqueda por significado, que es la que usa una base de datos vectorial, encuentra fragmentos que hablan del tema aunque no compartan palabras. Es potente y falla en un caso concreto: cuando la consulta contiene un código, una referencia o un nombre propio exacto.

Por eso lo que funciona en empresas casi siempre es combinar las dos búsquedas: por significado y por coincidencia literal. La combinación cubre lo que cada una se pierde.

La otra decisión es cuántos fragmentos se traen. Pocos y falta contexto; muchos y el modelo se pierde entre información irrelevante.

4 · El modelo, que es la pieza intercambiable

Redacta con lo que le llegó. Su trabajo es no salirse de ahí, y eso se consigue con la instrucción y no con el tamaño del modelo.

• Responder sólo con los fragmentos recibidos.
• Decir que no sabe cuando no está en ellos, que es la instrucción más importante y la más ignorada.
• Citar de qué fragmento salió cada afirmación.

La segunda es la que separa un asistente útil de uno peligroso. Un sistema que prefiere inventar antes que admitir que no encontró nada es peor que no tener sistema, porque genera confianza injustificada.

Cómo diagnosticar una respuesta mala

En orden, y sin tocar el modelo hasta el final. Casi siempre se resuelve antes.

Sin este orden, la conversación se va directa al paso cuatro, se cambia de modelo, no mejora nada y se concluye que RAG no funciona.

Una herramienta que ahorra mucho tiempo en este diagnóstico: guardar, junto a cada respuesta, qué fragmentos se recuperaron.

Con eso, el paso dos deja de ser una investigación y se convierte en mirar una lista. Sin eso, cada diagnóstico exige reproducir la consulta y esperar que el resultado sea el mismo.

Es un campo más en el registro y cambia por completo la velocidad de corregir.

Lo que casi nadie diseña: qué pasa cuando el documento cambia

Un sistema RAG se monta con la foto de los documentos del día que se montó. Y los documentos cambian.

Si no hay un proceso de reindexado, el asistente responde con la política del año pasado con total seguridad. No hay señal de error: hay una respuesta obsoleta bien redactada.

• Quién avisa cuando un documento cambia.
• Cada cuánto se reindexa, y si es automático o manual.
• Qué pasa con la versión anterior, que debería salir del índice.

Las tres son de proceso, no de tecnología, y son las que deciden si el sistema sigue siendo fiable a los seis meses.

Permisos: quién puede ver qué

El riesgo específico de RAG en una empresa: el índice no distingue quién pregunta si nadie lo diseñó para distinguirlo.

Si en el índice entran documentos de recursos humanos junto con manuales de producto, cualquiera que pregunte de la forma correcta puede recibir un fragmento que no le correspondía ver.

Se resuelve de dos formas y conviene elegir explícitamente: índices separados por nivel de acceso, o filtrado por permiso del usuario en el momento de la búsqueda. La primera es más simple y más segura; la segunda es más flexible y más fácil de equivocar.

Cuándo RAG no es la respuesta

Se ha convertido en la solución por defecto y hay casos donde es la herramienta equivocada.

• Cuando el dato está en una base y no en documentos. Ahí lo que hace falta es una consulta, no una búsqueda por significado.
• Cuando la respuesta exige calcular. Un modelo redactando sobre fragmentos no es una hoja de cálculo.
• Cuando los documentos son pocos y estables. A veces caben enteros en la consulta y no hace falta índice.
• Cuando lo que falta es que alguien escriba la política. RAG no puede recuperar lo que no existe.

La cuarta es la más frecuente en empresas medianas, y la más incómoda de decir en la reunión donde ya se aprobó el proyecto.

Hay un quinto caso que aparece en empresas medianas y conviene reconocerlo a tiempo: cuando lo que se busca es una sola tabla.

Si toda la pregunta se responde consultando un listado de precios o un catálogo estructurado, montar un índice de texto encima es dar un rodeo caro.

La señal es que las respuestas correctas siempre salen del mismo documento y siempre son un dato puntual. Ahí hace falta una consulta, no una búsqueda.