Un sistema RAG no falla solo por el modelo. Falla por permisos heredados, fuentes de datos amplias, logging accidental, prompts débiles, herramientas conectadas y falta de revisión humana.
Pregunta base: ¿el usuario puede recibir información que no debería ver aunque el documento exista en algún repositorio?
Riesgos a mapear
- Fuentes de datos conectadas y clasificación de sensibilidad.
- Permisos efectivos, no solo permisos esperados.
- Contenido indexado que ya no debería estar disponible.
- Logs que almacenan prompts, respuestas o documentos.
- Herramientas que el agente puede ejecutar.
- Proveedores que retienen o procesan datos.
Controles mínimos
Antes de escalar, define alcance de datos, control de permisos, redacción segura, registro seguro, monitoreo de abuso, revisión humana para acciones sensibles y un proceso para retirar fuentes comprometidas.