Los modelos de lenguaje grandes pueden fallar una pregunta de opción múltiple en la página y, aun así, contener la respuesta correcta en algún lugar de su propio circuito interno. Esa es la premisa llamativa de un nuevo estudio sobre la alineación consulta-clave, que muestra que la discrepancia entre lo que un modelo «sabe» y lo que realmente produce en tareas de preguntas de opción múltiple, o MCQA, no es un callejón sin salida: es una señal que puede leerse directamente del mecanismo de atención del modelo antes de que se decodifique un solo token.
Índice
Conclusiones clave
- Los modelos de lenguaje grandes a menudo codifican internamente la respuesta correcta de MCQA incluso cuando su salida final es incorrecta.
- Una nueva métrica llamada puntaje Consulta-Clave, o puntaje QK, mide la alineación entre la consulta del último token del modelo y la clave asociada a cada opción de respuesta, calculada antes de que se aplique el embedding posicional rotatorio (RoPE).
- Probado en 24 modelos que van de 1,5B a 72B parámetros, el puntaje QK de una sola cabeza de atención superó la precisión zero-shot del propio modelo hasta en +27,4 puntos porcentuales en HellaSwag y +49,8 puntos en HaluDialogue.
- Una herramienta no supervisada llamada HeadScore puede encontrar estas cabezas críticas sin ningún dato etiquetado, igualando los resultados de métodos supervisados en todos los modelos probados.
- Los investigadores publicaron un script HeadScore de una sola línea listo para usar junto con los índices de cabezas por modelo, de modo que los resultados puedan reproducirse con un solo comando.
Descubriendo conocimiento latente en modelos de lenguaje grandes
El hallazgo central es sencillo de enunciar pero de gran alcance: los LLM fallan de forma rutinaria al producir la opción correcta en tareas MCQA aunque la respuesta correcta esté codificada en alguna parte de sus representaciones internas. Esa brecha entre el «conocimiento» interno y la salida externa ha desconcertado durante mucho tiempo a los investigadores que estudian el comportamiento de los modelos, y plantea una cuestión práctica: si la respuesta está ahí dentro, ¿se puede extraer sin esperar a que el modelo genere texto?
Esto importa porque los benchmarks MCQA son una vara de medición estándar para evaluar el rendimiento de modelos de lenguaje grandes en MCQA, desde rankings académicos hasta evaluaciones en producción. Si los modelos están infravalorando su competencia real debido a peculiaridades de salida en lugar de fallos genuinos de razonamiento, entonces las puntuaciones de precisión basadas únicamente en el texto generado pueden estar engañando a todo el campo sobre lo que estos sistemas realmente entienden.
Puntaje Consulta-Clave y cabezas de atención de seleccionar-y-copiar
Para revelar esta información latente, los investigadores introducen una métrica que denominan puntaje Consulta-Clave, o puntaje QK, que para una cabeza de atención específica se calcula como el producto interno entre la consulta del token final y la clave correspondiente al token de fin de línea que sigue a una opción de respuesta dada, con este cálculo realizado antes de la aplicación del embedding posicional rotatorio. En términos prácticos, es una forma de asomarse a la maquinaria de atención del modelo para ver hacia qué opción se inclina silenciosamente el modelo, independientemente del texto que finalmente imprima.
Tomar el argmax de este puntaje entre las opciones revela algo que el artículo describe como una clase universal de cabezas de atención de seleccionar-y-copiar situadas en las capas intermedias de estos modelos. Estas cabezas realizan la selección de opciones mediante alineación semántica consulta-clave y se comportan de formas que las distinguen mecánicamente de las cabezas de inducción y de supresión de copia documentadas previamente.
Dos propiedades destacan. Primero, estas cabezas son invariantes a los símbolos de etiqueta, lo que significa que no se limitan a rastrear qué letra o número corresponde a una respuesta, sino algo más cercano al contenido semántico de la propia opción. Segundo, resuelven una tarea sintética con solapamiento superficial cero, una prueba diseñada para que ninguna explicación basada en copia posicional pueda dar cuenta del comportamiento. Ambas propiedades, señala el estudio, requieren de forma crítica eliminar RoPE para poder observarse: sin quitar esa capa de codificación posicional, la señal de alineación subyacente permanece oculta.
Mejoras de rendimiento en múltiples modelos
La escala de las pruebas que respaldan estas afirmaciones es amplia. Los investigadores ejecutaron su análisis en 24 modelos que abarcan de 1,5B a 72B parámetros, incluidos LLaMA-2, LLaMA-3, LLaMA-3.1, LLaMA-3.3, Qwen-2.5, Gemma, Phi-3.5 y DeepSeek-R1-Distill. En todo ese rango, el puntaje QK de una sola cabeza superó de forma consistente la precisión zero-shot de cada modelo: hasta en +27,4 puntos porcentuales en el benchmark HellaSwag y +49,8 puntos porcentuales en HaluDialogue.
Esa segunda cifra merece una pausa. Casi una variación de 50 puntos entre lo que produce un modelo y lo que su cabeza de atención interna «dice» mediante la alineación consulta-clave es una brecha sustancial, lo bastante grande como para sugerir que, en ciertas tareas, el cuello de botella no es en absoluto la capacidad de razonamiento, sino algo más cercano a un problema de salida o de decodificación.
Para confirmar que estas cabezas no solo están correlacionadas con las respuestas correctas, sino que en realidad son responsables de producirlas, los investigadores realizaron experimentos de ablación cero causal, desactivando deliberadamente las cabezas identificadas. El resultado: la precisión en MCQA se desplomó hasta niveles casi aleatorios, lo que constituye una fuerte evidencia de que estas cabezas específicas realizan un trabajo causal real en el proceso de selección de respuestas en lugar de simplemente reflejarlo.
HeadScore no supervisado y reproducibilidad
Encontrar las cabezas adecuadas para estudiar suele requerir datos de validación etiquetados, lo que limita cuán práctico puede ser un método fuera de un laboratorio de investigación. Para resolverlo, el equipo introdujo un método no supervisado llamado HeadScore que clasifica las cabezas de atención utilizando solo entradas no etiquetadas. A pesar de no tener acceso a etiquetas de verdad de terreno, HeadScore recuperó con éxito las mismas cabezas de máximo rendimiento identificadas por el enfoque supervisado, y lo hizo en cada uno de los modelos probados.
El estudio también sitúa el puntaje QK junto a técnicas existentes de des-bias posicional como PriDe, Wiegrefe y Wang, que están diseñadas para corregir la tendencia de los modelos a favorecer ciertas posiciones de respuesta independientemente del contenido. El artículo presenta el puntaje QK como complementario, más que competidor, de estas líneas base: los métodos de des-bias funcionan reponderando los logits de salida a posteriori, mientras que el puntaje QK lee la selección del modelo directamente de una cabeza de capa intermedia antes de que ocurra cualquier decodificación. Esa distinción —intervenir en la etapa de salida frente a leer la señal antes de la decodificación— sitúa a ambos enfoques como herramientas que, en principio, podrían utilizarse conjuntamente.
Para la reproducibilidad, los investigadores publicaron un script HeadScore de una sola línea listo para usar junto con los índices de cabezas por modelo, lo que hace posible reproducir cada resultado con un solo comando en los 24 modelos y los cuatro benchmarks analizados en el estudio.
Por qué importa esta línea de investigación
El trabajo de interpretabilidad mecanicista como este tiene menos que ver con construir un mejor chatbot y más con entender qué está ocurriendo realmente dentro de sistemas que ya están desplegados a gran escala. Si la selección de cabezas de atención puede revelar respuestas que la decodificación estándar pasa por alto, eso tiene implicaciones para cómo se interpretan los benchmarks de evaluación: un modelo que obtiene una mala puntuación en un ranking podría seguir calculando internamente la respuesta correcta, pero fallar al exponerla mediante la generación normal.
También abre la puerta a una auditoría de modelos más eficiente. Una herramienta no supervisada como HeadScore implica que los investigadores que estudian la selección de cabezas de atención no necesitan conjuntos de datos etiquetados y curados para identificar qué partes de un modelo están realizando el trabajo pesado en una tarea dada, un atajo práctico significativo para cualquiera que intente sondear los internos de un modelo sin construir conjuntos de evaluación a medida para cada arquitectura.
Artículo producido con la asistencia de inteligencia artificial y revisado por el equipo editorial.




