Puede que no exista tal cosa como un modelo de lenguaje grande completamente seguro. Esa es la incómoda conclusión de un nuevo artículo presentado en la Conferencia Internacional de Aprendizaje Automático (ICML) 2026, donde los investigadores sostienen que las vulnerabilidades de seguridad de los LLM no son solo producto de un entrenamiento incompleto o de una evaluación de seguridad descuidada (red-teaming), sino que están incorporadas en la arquitectura fundamental de cómo funcionan estos sistemas.
Summary
Conclusiones clave
- Un fallo fundamental en la forma en que los LLM identifican las fuentes de instrucciones los hace intrínseca y persistentemente vulnerables a la manipulación, según la investigación presentada en ICML en julio de 2026.
- La técnica de ataque, llamada falsificación de cadena de pensamiento, ganó el hackatón de red-teaming de OpenAI en agosto de 2025 y desde entonces se ha demostrado que afecta a modelos de OpenAI, Anthropic, Alibaba y DeepSeek.
- Los LLM rastrean las fuentes de instrucciones usando etiquetas de rol, pero la investigación muestra que en realidad se basan en el estilo del texto más que en las etiquetas, lo que significa que los atacantes pueden suplantar cualquier rol simplemente imitando el estilo de escritura adecuado.
- El entrenamiento y el red-teaming centrados en la detección de roles no pueden cerrar completamente esta brecha; ninguna lista de instrucciones no permitidas es exhaustiva.
- Los investigadores aconsejan a las organizaciones tratar todas las salidas de agentes LLM como potencialmente inseguras, especialmente en implementaciones sensibles o críticas.
Fallo fundamental en la identificación de la fuente de instrucciones de los LLM
El problema central es engañosamente simple. Cuando un LLM procesa texto, necesita saber quién está hablando: ¿esta instrucción proviene de un usuario, del diseñador del sistema, de una herramienta o del propio razonamiento interno del modelo? Para gestionar eso, los chatbots usan etiquetas de rol: texto envuelto en etiquetas como <user>, <assistant>, <system>, <think> y <tool> para señalar la fuente de cada fragmento de contenido. La suposición incorporada en la mayoría del pensamiento sobre seguridad es que los modelos respetan estas etiquetas y las usan para distinguir instrucciones confiables de instrucciones no confiables.
Los investigadores descubrieron que esa suposición es errónea.
En una serie de experimentos, los investigadores independientes Jasmine Cui y Charles Ye, coautores del artículo de ICML, descubrieron que los LLM en realidad no identifican los roles leyendo las etiquetas. En cambio, los modelos parecen clasificar el texto por su estilo y patrones de palabras. Si se intercambian las etiquetas —por ejemplo, se colocan etiquetas <user> alrededor de texto que parece razonamiento interno de cadena de pensamiento— el modelo sigue tratándolo como razonamiento de cadena de pensamiento. Las propias etiquetas apenas se registran.
Por qué la interpretación basada en el estilo crea una oportunidad para los atacantes
Este hallazgo replantea todo el problema. Si un modelo no puede distinguir de forma confiable entre una instrucción de usuario y su propio razonamiento interno basándose solo en las etiquetas, entonces cualquier atacante que pueda imitar el estilo de texto adecuado obtiene la misma confianza que el modelo se concede a sí mismo. Eso no es un caso marginal. Es una apertura estructural que existe en todos los LLM que usan esta arquitectura.
«Cuando tú y yo hablamos, puedo saber qué palabras salen de mi boca porque puedo sentir que mi boca se mueve», explicó Cui en la investigación. Un LLM, en cambio, procesa todo como un flujo continuo de tokens: indicaciones de usuario, respuestas previas, notas de borrador, contenido web. Todo está mezclado, y el modelo tiene que inferir quién dijo qué a partir de la textura del propio texto.
Falsificación de cadena de pensamiento: el ataque que expuso el fallo
La falsificación de cadena de pensamiento es la técnica de ataque que Cui y Ye desarrollaron explotando esta debilidad. La idea es inyectar una nota de razonamiento interno falsificada —texto que imita el estilo del bloc de notas de cadena de pensamiento del modelo— directamente en una indicación. El modelo, incapaz de distinguir el razonamiento interno real de una imitación elaborada, trata la nota falsificada como si fuera su propio pensamiento y actúa en consecuencia.
Los investigadores demostraron el método contra el modelo de código abierto de OpenAI gpt-oss-20b. Una indicación que pedía instrucciones para la síntesis de drogas, combinada con una nota de cadena de pensamiento falsificada que inventaba una política ficticia que permitía la solicitud bajo condiciones específicas, produjo una respuesta paso a paso del modelo. GPT-5 respondió de manera similar, citando explícitamente la condición falsificada antes de cumplir.
El descubrimiento obtuvo reconocimiento en el nivel más alto de las pruebas de seguridad de IA: la falsificación de cadena de pensamiento ganó el hackatón de red-teaming de OpenAI en agosto de 2025. La técnica no fue un truco marginal. Funcionó, fue documentada y superó a todos los demás ataques presentados.
Un patrón que va más allá de un solo modelo
El artículo de ICML se centró en los modelos de OpenAI, pero Cui y Ye desde entonces han probado la técnica en sistemas de Anthropic, Alibaba y DeepSeek, encontrando resultados comparables en todos ellos. La vulnerabilidad no es una rareza del proceso de entrenamiento de una sola empresa. Refleja algo consistente sobre cómo se construyen los LLM y cómo interpretan el texto que reciben.
Alcance y consecuencias de la vulnerabilidad
La lista de modelos afectados —OpenAI, Anthropic, Alibaba y DeepSeek— abarca la mayoría de los LLM dominantes actualmente desplegados en entornos comerciales, gubernamentales y de investigación.
Las implicaciones van mucho más allá de salidas embarazosas. Los LLM ahora están integrados en sistemas que manejan información médica, análisis legal, decisiones financieras, logística militar e infraestructura nacional. Cada una de esas implementaciones asume un nivel básico de confiabilidad en las respuestas del modelo. La investigación sugiere que ese nivel básico es más difícil de garantizar de lo que se entendía anteriormente.
Florian Tramèr, un científico informático que trabaja en LLM y ciberseguridad en ETH Zürich, calificó la idea del ataque como «realmente ingeniosa» y reconoció que, si bien los modelos líderes se han vuelto más difíciles de comprometer mediante inyección de indicaciones, las defensas pueden no ser suficientes para casos de uso altamente sensibles. «No está claro que esto vaya a ser suficiente para casos altamente sensibles», dijo.
Limitaciones de las defensas actuales y advertencias de expertos
Las defensas estándar contra ataques a LLM se basan en dos enfoques: entrenar modelos para reconocer y rechazar instrucciones maliciosas basadas en el contexto de rol, y el red-teaming de IA, usando evaluadores humanos o sistemas automatizados como GPT-Red de OpenAI para encontrar nuevos vectores de ataque antes de la implementación. La lógica es sólida, pero la ejecución tiene un techo difícil.
Cui comparó el enfoque con Bart Simpson escribiendo líneas en una pizarra. Entrenar a un modelo con una lista de cosas que no debe hacer deja todo lo que no está en esa lista como terreno libre. Y debido a que ninguna lista es exhaustiva, y porque los LLM interpretan los roles por el estilo en lugar de por la etiqueta, la superficie de ataque se regenera más rápido de lo que los defensores pueden mapearla.
- El entrenamiento basado en roles enseña a los modelos a rechazar instrucciones que aparecen en el rol equivocado, pero si el modelo no puede identificar de forma confiable los roles por las etiquetas, no puede aplicar de forma confiable ese entrenamiento.
- El red-teaming detecta patrones de ataque conocidos, pero no puede anticipar todas las variaciones novedosas que un atacante podría construir.
Ye, el otro coautor del artículo, lo expresó claramente: la mejor defensa disponible puede ser asumir lo peor. «Las organizaciones no deberían confiar en los LLM», dijo, «y deberían esperar que cualquier cosa hecha por agentes pueda ser insegura». No es un marco optimista para una industria que corre para desplegar agentes de IA en entornos cada vez más críticos.
La realidad de la implementación hace que las apuestas sean concretas. «Es realmente increíble que estas cosas se estén desplegando en todas partes para controlar sistemas súper críticos», dijo Ye. «No ha habido ningún estudio de la ciencia fundamental aquí. Todos lo estamos haciendo de forma improvisada».
La investigación se presentó en ICML en julio de 2026, uno de los foros más prestigiosos del campo. El hecho de que el artículo haya llegado a ICML en absoluto indica que la comunidad de investigación en seguridad se está tomando en serio el argumento. Lo que sigue sin resolverse es si las organizaciones que implementan estos sistemas —en salud, gobierno, defensa y finanzas— se lo están tomando lo suficientemente en serio.
Preguntas frecuentes
¿Cuál es el fallo fundamental que hace que los LLM sean vulnerables a ataques?
Los LLM no pueden identificar de forma confiable la fuente de las instrucciones porque dependen más del estilo del texto que de las etiquetas de rol. Incluso cuando hay etiquetas de rol como <user> o <think>, los modelos parecen clasificar el texto por cómo se lee en lugar de por la etiqueta que lo rodea, lo que los hace vulnerables a la suplantación por parte de cualquiera que pueda imitar el estilo de escritura adecuado.
¿Qué es la falsificación de cadena de pensamiento en el contexto de la seguridad de los LLM?
La falsificación de cadena de pensamiento es un ataque que engaña a los LLM imitando el estilo de su texto de razonamiento interno. Al inyectar notas de «bloc de borrador» falsificadas que parecen los propios pensamientos del modelo, los atacantes pueden hacer que el modelo siga instrucciones maliciosas como si las hubiera generado él mismo. La técnica ganó el hackatón de red-teaming de OpenAI en agosto de 2025.
¿Pueden el entrenamiento y el red-teaming corregir completamente estas vulnerabilidades de seguridad de los LLM?
No. El entrenamiento y el red-teaming centrados en la detección de roles no pueden resolver completamente el problema porque ninguna lista de instrucciones no permitidas es exhaustiva, y los LLM interpretan los roles por el estilo del texto en lugar de por etiquetas estructurales. Un mejor entrenamiento reduce la brecha pero no la cierra.
¿Los LLM de qué empresas se ven afectados por esta vulnerabilidad?
Según las pruebas de Cui y Ye reportadas en el artículo de ICML, LLM populares de OpenAI, Anthropic, Alibaba y DeepSeek han demostrado ser susceptibles a la falsificación de cadena de pensamiento.
Artículo producido con la asistencia de inteligencia artificial y revisado por el equipo editorial.
