La seguridad de LLM es la disciplina que protege los grandes modelos de lenguaje y la stack que los pone en producción —prompts de sistema, guardrails, pipelines de retrieval (RAG), llamadas a herramientas, memoria, plugins y las salidas que alimentan sistemas downstream. A diferencia de las aplicaciones tradicionales, un LLM no separa los datos de las instrucciones: cualquier texto que entra en el contexto puede interpretarse como un comando. Esto difumina la frontera de confianza y crea clases de ataque que no existen en el software convencional.
En la práctica, proteger un LLM significa tratar cada punto donde el texto no confiable se encuentra con el modelo como una superficie de ataque. Un documento recuperado por RAG, el historial de conversación, el contenido de una página que el agente navega, el retorno de una herramienta — todos pueden llevar instrucciones maliciosas. Por eso Berghem evalúa el sistema de extremo a extremo, y no solo el modelo aislado: el riesgo casi siempre está en la forma en que el modelo se integra, se orquesta y se expone.
La seguridad de LLM se apoya en tres frentes complementarios. El frente ofensivo —pentest de LLM y Red Team adversarial— ejercita el sistema con prompt injection, jailbreaks, extracción de prompt de sistema, invocación insegura de herramientas y entradas adversariales, produciendo pruebas de explotación reproducibles. El frente defensivo refuerza los guardrails, valida y sanitiza las salidas, aplica el principio de menor privilegio a las herramientas y limita el consumo de recursos. El frente de gobernanza garantiza que las decisiones, los datos de entrenamiento y los proveedores sean rastreables y auditables.
Cada dimensión requiere sus propios controles. El tratamiento de entrada debe asumir que todo texto en el contexto es hostil hasta que se demuestre lo contrario. El tratamiento de salida debe validar, escapar y nunca ejecutar ciegamente lo que el modelo devuelve. La capa de herramientas debe conceder el menor conjunto de permisos posible y exigir confirmación para acciones sensibles. Los datos de entrenamiento y fine-tuning necesitan procedencia verificable para resistir el envenenamiento. Y el consumo —tokens, llamadas y costo— debe tener límites que eviten el abuso y la denegación de servicio.
El modelo de amenazas de un LLM difiere fundamentalmente del de una API tradicional. En una API, la frontera entre código y datos es rígida y conocida; en un LLM, esa frontera es probabilística y depende del propio contenido. Un atacante no necesita una falla de memoria ni una inyección de SQL —basta con redactar texto lo bastante persuasivo para que el modelo priorice la instrucción maliciosa sobre la política del sistema. La prompt injection indirecta agrava el cuadro: la carga hostil puede estar en un correo, en una página web, en un PDF o en un registro de base de datos que el modelo solo lee. Por eso la superficie de ataque de un LLM incluye todo lo que puede terminar en su contexto, y no solo la interfaz expuesta al usuario final.
El enfoque de Berghem para la seguridad de LLM parte de un relevamiento de arquitectura y flujos de datos, seguido de un modelado de amenazas específico para IA usando el OWASP LLM Top 10, el MITRE ATLAS y la Promptware Kill Chain. A partir de ahí, ejecutamos pruebas ofensivas dirigidas —prompt injection directa e indirecta, jailbreaks, extracción de prompt de sistema, abuso de herramientas y RAG poisoning— y documentamos cada explotación con evidencia reproducible. Cerramos el ciclo con recomendaciones de remediación priorizadas por riesgo y, cuando el cliente lo desea, monitoreo continuo que detecta regresiones y nuevos vectores a medida que el sistema evoluciona. El objetivo no es solo encontrar fallas, sino dejar el sistema mensurablemente más difícil de comprometer.