Cualquiera que haya pasado tiempo chateando con un asistente de IA probablemente lo haya notado: si haces la misma pregunta de unas cuantas maneras distintas, a menudo obtienes respuestas inquietantemente similares. Esa repetición tiene un nombre en los círculos de investigación en IA —colapso de modos— y un nuevo estudio analiza por qué ocurre y, más importante aún, qué se puede hacer al respecto. La investigación, realizada por Kirill Skobelev, Eric Fithian y X.Y. Han y publicada en septiembre de 2026, profundiza en la diversidad de salida de los LLM y concluye que la historia es más matizada de lo que sugerían las advertencias recientes en el campo.
Índice
Conclusiones clave
- El colapso de modos ocurre cuando los modelos de lenguaje grandes producen salidas que se repiten o se parecen entre sí más que la población real de respuestas que se supone deben reflejar.
- Los problemas de diversidad pueden ir en ambas direcciones: los modelos pueden ser poco diversos o sobre-dispersos, según el modelo y el conjunto de datos específicos.
- Una cantidad suficiente de datos de ajuste fino supervisado acerca la diversidad de salida de un modelo a la distribución objetivo con la que fue entrenado.
- El propio ajuste fino no conlleva ningún sesgo incorporado hacia el colapso de la diversidad ni hacia su inflación: la dirección depende de los datos disponibles.
- La brecha entre la diversidad de un modelo y la del objetivo real está matemáticamente acotada por la raíz cuadrada de la divergencia KL entre ambas.
Colapso de modos y problemas de diversidad en modelos de lenguaje grandes
El colapso de modos describe un problema simple pero trascendental: cuando se le hace a un LLM el mismo tipo de pregunta repetidamente, sus respuestas empiezan a parecerse mucho más de lo que deberían. Trabajos previos de Doshi y Hauser (2024), Bisbee et al. (2024) y Xie et al. (2026) señalaron esto como una preocupación recurrente, argumentando que las salidas del modelo tienden a ser poco diversas en comparación con la población de respuestas que se supone deben representar.
El artículo toma en serio esa preocupación, pero la complica. En lugar de tratar el colapso de modos como un defecto fijo incrustado en el funcionamiento de los LLM, el estudio sostiene que el hecho de que un modelo colapse hacia la homogeneidad —o se desplace hacia el extremo opuesto de una dispersión excesiva— depende por completo del modelo específico y del conjunto de datos con el que fue entrenado. No hay un veredicto universal aquí; el resultado cambia caso por caso.
Definición y métricas del colapso de modos
Para hacer esto medible en lugar de anecdótico, la investigación se basa en una métrica concreta: la probabilidad de que dos respuestas, muestreadas de forma independiente a partir del mismo prompt fijo, terminen coincidiendo entre sí. Los investigadores llaman a esto probabilidad de «colisión», y también puede expresarse como la similitud esperada entre dos salidas bajo una función kernel. Esto proporciona una medida numérica de algo que normalmente solo se describe en términos vagos como «repetitivo» o «igualito».
Variabilidad de la diversidad entre modelos y conjuntos de datos
Lo que emerge de este enfoque de medición es que la subdispersión no es el único modo de fallo digno de atención. Algunos modelos y conjuntos de datos empujan la diversidad de salida demasiado hacia abajo, haciendo eco de la preocupación por el colapso de modos planteada en investigaciones anteriores. Otros hacen lo contrario, dispersando las respuestas más de lo que justifica la distribución del mundo real. Ambos son formas de descalibración, y ambos importan para cualquiera que dependa de un LLM para reflejar un rango realista de respuestas de tipo humano, ya sea para simulación de encuestas, escritura creativa o generación de código.
Impacto del ajuste fino supervisado en la diversidad de salida
El ajuste fino resulta ser la palanca que determina hacia qué lado se inclina la diversidad y, de forma alentadora, puede corregirse a sí misma con suficientes datos. La afirmación central del artículo es que, con suficientes datos de ajuste fino supervisado, la diversidad de salida de un modelo converge hacia la diversidad de la distribución objetivo de la que se extrajeron los datos de ajuste fino. En términos sencillos: si se alimenta al modelo con suficientes ejemplos representativos, su abanico de respuestas empieza a coincidir con la realidad en lugar de desviarse hacia cualquiera de los extremos.
Efecto del volumen de datos de ajuste fino
Esto no es solo una sutileza teórica. En todos los experimentos que realizaron los investigadores, añadir más datos objetivo durante el ajuste fino acercó de forma sistemática la diversidad del modelo al referente humano o sintético que se pretendía imitar. Ese patrón se mantuvo tanto si la tarea subyacente implicaba lenguajes sintéticos, respuestas de encuestas humanas o problemas de programación, lo que sugiere que el efecto no está ligado a un caso de uso estrecho.
Ausencia de sesgo inherente hacia el colapso de modos
Quizá el hallazgo más contraintuitivo es que el ajuste fino supervisado no tiene una inclinación inherente hacia el colapso de la diversidad ni hacia su inflación. El ajuste fino con muestras finitas —es decir, el ajuste fino realizado con una cantidad limitada y realista de datos, en lugar de un conjunto de datos ideal infinito— puede dejar a un modelo poco disperso o sobre-disperso, y cuál de las dos cosas ocurra depende del modelo y del conjunto de datos implicados, más que de algún defecto estructural en el propio proceso de ajuste fino. Esto es importante para el debate en curso sobre el colapso de modos en modelos de lenguaje: reformula el problema de «el ajuste fino causa colapso» a «el resultado del ajuste fino depende de cuánta y qué clase de datos se le proporcionen».
Marco teórico y validación
Para explicar por qué la diversidad deriva hacia un lado u otro, el estudio construye un marco matemático en lugar de basarse únicamente en la observación, y luego pone a prueba ese marco frente a experimentos reales en dominios muy distintos.
Descomposición sesgo-varianza de la brecha de diversidad
Los investigadores derivan lo que llaman una descomposición sesgo-varianza de la brecha esperada entre la probabilidad de colisión de un modelo y la probabilidad de colisión del objetivo. Este es el mecanismo detrás del hallazgo de «ausencia de sesgo inherente»: separa el error sistemático del error aleatorio impulsado por la muestra, mostrando matemáticamente por qué los datos finitos pueden empujar las cosas en cualquier dirección según la extracción.
Cota matemática mediante divergencia KL
El artículo también establece un límite estricto sobre cuán errónea puede llegar a ser la calibración de la diversidad. La brecha absoluta entre la diversidad del modelo y la del objetivo está acotada por la raíz cuadrada de la divergencia de Kullback-Leibler —una medida estándar de cuán diferente es una distribución de probabilidad de otra— desde la distribución objetivo hasta el modelo. La consecuencia práctica: un modelo que ya está cerca de ser óptimo bajo el entrenamiento estándar de entropía cruzada simplemente no puede tener una diversidad gravemente descalibrada. En otras palabras, un buen modelado del lenguaje pone un techo a lo grave que puede llegar a ser el problema de diversidad.
Validación empírica en experimentos diversos
Nada de esto se queda en lo puramente teórico. El equipo probó tanto la descomposición como la cota basada en KL en tres entornos experimentales distintos: pequeños modelos transformer entrenados en lenguajes sintéticos, cuatro LLM ajustados finamente con datos de encuestas humanas y los mismos cuatro LLM ajustados finamente con CodeNet, un conjunto de datos construido a partir de soluciones de código escritas por humanos. Este abanico —de lenguajes artificiales a datos de opinión humana y problemas de programación reales— da a los hallazgos una base más amplia de la que proporcionaría un único caso de prueba estrecho.
En los tres entornos, el patrón se mantuvo: más datos objetivo durante el ajuste fino acercaron la diversidad del modelo al referente humano o sintético, exactamente como predecía la teoría. Esa consistencia es lo que convierte esto de una curiosidad matemática interesante en algo con peso práctico para cualquiera que construya o ajuste modelos de lenguaje.
Por qué esto importa para el desarrollo de la IA
La implicación práctica es directa: la descalibración de la diversidad en los LLM no es un defecto de diseño permanente; es en gran medida un síntoma del error de muestra finita que se reduce a medida que el ajuste fino se aproxima mejor a la distribución objetivo real. Esto reformula la calibración de modelos en IA como un problema de datos más que de arquitectura. Los equipos preocupados por salidas del modelo repetitivas o excesivamente erráticas pueden descubrir que la solución reside menos en rediseñar el modelo y más en ampliar o refinar el propio conjunto de datos de ajuste fino.
Esto también matiza parte de la alarma planteada en investigaciones anteriores sobre que los LLM son categóricamente poco diversos. Los hallazgos de los autores sugieren que la realidad es más caso por caso: algunos modelos colapsan hacia la homogeneidad, otros se dispersan demasiado, y la dirección depende de la combinación específica de modelo y conjunto de datos, no de alguna tendencia universal incrustada en el funcionamiento de los modelos de lenguaje grandes.
Preguntas frecuentes
¿Qué es el colapso de modos en modelos de lenguaje grandes?
El colapso de modos se refiere a salidas de LLM que se repiten o se parecen entre sí con más frecuencia de la que indica la distribución objetivo.
¿Cómo afecta el ajuste fino supervisado a la diversidad de salida de los LLM?
Una cantidad suficiente de datos de ajuste fino supervisado alinea la diversidad de salida de los LLM más estrechamente con la distribución de datos objetivo, reduciendo el colapso de modos o la sobre-dispersión.
¿Está el ajuste fino supervisado inherentemente sesgado hacia aumentar o disminuir la diversidad?
No, el ajuste fino supervisado no está inherentemente sesgado hacia el colapso de modos ni hacia su opuesto; los efectos de muestra finita pueden causar subdispersión o sobre-dispersión.
¿Qué herramientas teóricas se utilizan para entender la descalibración de la diversidad en los LLM?
Una descomposición sesgo-varianza y una cota que implica la raíz cuadrada de la divergencia KL describen la brecha entre la diversidad de salida del modelo y la del objetivo.
Artículo producido con la ayuda de inteligencia artificial y revisado por el equipo editorial.




