Un cuerpo cada vez mayor de escritos científicos es ahora evaluado, al menos en parte, por la inteligencia artificial, y un nuevo estudio sugiere que las palabras que elige una persona investigadora pueden cambiar el veredicto de una IA incluso cuando los datos subyacentes no cambian. Quienes investigaron la influencia retórica en la revisión por IA descubrieron que el encuadre, y no la evidencia, puede inclinar silenciosamente las puntuaciones hacia arriba o hacia abajo en sistemas de revisión por pares basados en modelos de lenguaje grandes, lo que plantea nuevas preguntas sobre cuán fiables son realmente los jueces automáticos.
La preocupación no es hipotética. La revisión por pares, el sistema de décadas de antigüedad en el que las personas investigadoras evalúan el trabajo de otras antes de su publicación, ya se está resquebrajando bajo una avalancha de envíos. Una reciente encuesta de las revistas Frontiers citada por Ars Technica encontró que más de la mitad de quienes revisan por pares ya se apoyan en herramientas de IA en alguna parte del proceso de revisión, a menudo solo para poder seguir el ritmo del volumen. Esa dependencia es precisamente lo que hace que la cuestión del sesgo retórico en la revisión por IA sea tan urgente: si las máquinas ya están calificando artículos, y si la simple elección de palabras puede mover sus puntuaciones, las apuestas para la equidad científica aumentan rápidamente.
Esa es la brecha que un equipo dirigido por Ming Li se propuso medir. Su artículo, enviado en agosto de 2026 y construido en torno a envíos a ICLR 2026, aísla la retórica de la sustancia para ver exactamente cuánto puede influir la presentación en un juicio basado en IA, y los resultados dibujan un panorama de sesgo estructurado, desigual y, en algunos casos, sorprendentemente predecible.
Summary
Conclusiones clave
- El encuadre retórico por sí solo modificó de forma medible las puntuaciones de revisión por IA aunque el contenido científico subyacente se mantuvo idéntico.
- Las personas investigadoras construyeron un corpus de 4.200 manuscritos de artículos completos derivados de 120 envíos anonimizados a ICLR 2026 para probar el efecto.
- El encuadre de la evidencia y la postura sobre la novedad provocaron los mayores cambios en las puntuaciones de evaluación global, más que cualquier otra dimensión retórica.
- Los artículos con puntuaciones originales de IA más bajas tendieron a subir tras la reescritura retórica, mientras que los artículos con puntuaciones más altas tendieron a bajar.
- Un protocolo de revisión más estricto redujo las puntuaciones medias en 1,36 puntos, pero no redujo de forma fiable la sensibilidad retórica subyacente.
Descripción general del estudio y metodología
El equipo de investigación diseñó un experimento controlado específicamente para eliminar todas las variables excepto la forma en que está redactado un artículo, aislando la sensibilidad retórica como la única cosa que cambia entre versiones del mismo manuscrito. Esa decisión de diseño es lo que da peso a los hallazgos: cualquier diferencia de puntuación entre versiones del manuscrito puede atribuirse a la presentación y no a diferencias reales en la ciencia.
Corpus controlado de manuscritos a partir de envíos a ICLR 2026
Para probar esto con claridad, las personas investigadoras construyeron un corpus de 4.200 manuscritos de artículos completos derivados de 120 envíos anonimizados a ICLR 2026, una de las principales conferencias de aprendizaje automático del campo. Cada artículo original se reescribió en múltiples variantes retóricas, creando un conjunto de datos lo bastante grande como para detectar patrones que un puñado de artículos no podría revelar.
Reescritura retórica y protocolos de revisión por IA
Dos reescritores distintos basados en modelos de lenguaje grandes modificaron seis dimensiones retóricas diferentes de cada manuscrito, empujando cada una en direcciones opuestas, por ejemplo, un encuadre más confiado frente a uno más cauto, dejando intacto el contenido científico reportado. Cinco revisores LLM diferentes evaluaron luego todos los manuscritos resultantes, una vez bajo un protocolo de revisión estándar y otra bajo uno más estricto, para que el equipo pudiera comparar cómo se manifestaba la retórica en distintas condiciones de evaluación. El estudio también probó pasadas de reescritura conjuntas, recursivas y guiadas por la persona revisora para ver si combinar estrategias amplificaba el efecto.
Impacto de las elecciones retóricas en las puntuaciones de revisión por IA
El hallazgo principal es que la sensibilidad retórica en la revisión por pares basada en IA no es ruido aleatorio, sigue una jerarquía clara, en la que algunas elecciones estilísticas importan mucho más que otras. Esa estructura es lo que convierte esto de una rareza anecdótica en algo que quienes evalúan deben tener en cuenta de forma activa en el diseño.
Dimensiones retóricas clave: encuadre de la evidencia y postura sobre la novedad
Entre las seis dimensiones retóricas analizadas, el encuadre de la evidencia y la postura sobre la novedad produjeron, con diferencia, los mayores contrastes positivo-negativo en las puntuaciones de evaluación global. El encuadre del alcance formó un segundo nivel más débil, mientras que las dimensiones restantes mostraron efectos más pequeños y menos consistentes. En otras palabras, cuán confiado es un artículo al afirmar que es novedoso o cuán contundentemente presenta su evidencia puede importar más para una persona revisora basada en IA que varios otros factores estilísticos combinados.
Patrones de movimiento de las puntuaciones según las puntuaciones originales
La dirección del cambio dependió en gran medida de dónde partía un manuscrito. Los artículos que originalmente recibieron puntuaciones de revisión por IA más bajas tendieron a subir tras la reescritura retórica, mientras que los artículos que ya tenían puntuaciones altas tendieron a bajar. Los contrastes direccionales más claros, es decir, la brecha más marcada entre una versión positiva y otra negativa del mismo artículo, aparecieron en el rango medio de puntuaciones, donde el destino de un manuscrito es, probablemente, más disputado.
Complejidad y dependencia en los flujos de trabajo de reescritura
Se podría suponer que apilar técnicas de reescritura produciría cambios de puntuación mayores, pero los datos no respaldaron esa idea. Los flujos de trabajo más elaborados, incluidos los de reescritura conjunta, recursiva y guiada por la persona revisora, no generaron de forma fiable ganancias mayores que los enfoques más simples. Los efectos de la reescritura conjunta resultaron ser fuertemente dependientes de qué modelo reescritor se utilizara, y dar a quienes revisan una guía explícita no superó de forma consistente a un simple segundo vistazo no guiado al manuscrito. Las pasadas repetidas de reescritura aportaron rendimientos decrecientes y dependientes de la configuración, en lugar de ventajas que se acumularan de forma constante. En todas las condiciones analizadas, el reescritor determinó principalmente cuán alejadas terminaban las variantes retóricas opuestas, mientras que la persona revisora determinó el tamaño y la dirección del cambio de puntuación resultante.
Efectos del protocolo de evaluación e implicaciones
Endurecer las reglas de revisión redujo las puntuaciones en general, pero no solucionó el sesgo retórico subyacente, que es, probablemente, la conclusión más importante para cualquiera que construya o dependa de sistemas de revisión por IA.
Efecto de un protocolo de revisión estricto y la necesidad de una evaluación robusta
Cambiar a un protocolo de revisión estricto redujo la puntuación media de evaluación global en 1,36 puntos en comparación con el protocolo estándar. Es una caída significativa en términos absolutos, pero no redujo de forma consistente la sensibilidad de las personas revisoras basadas en IA al encuadre retórico. Las reglas más estrictas hicieron que las revisiones fueran más duras en general, pero no necesariamente más justas en el sentido de resistir la manipulación estilística.
Esa distinción importa para cualquiera que siga el auge de la revisión por pares basada en IA. Si endurecer la rúbrica no neutraliza la sensibilidad retórica, entonces simplemente pedir a las personas revisoras basadas en IA que sean más críticas no es una solución por sí sola. Los hallazgos apuntan hacia otro tipo de solución: sistemas de evaluación construidos explícitamente para ser robustos frente a variaciones retóricas que preservan el contenido, es decir, sistemas que juzgan un artículo de la misma manera independientemente de si su evidencia se presenta con confianza o con cautela, siempre que la ciencia subyacente no haya cambiado.
Para un campo ya preocupado por el volumen, el agotamiento y la inconsistencia de las personas revisoras humanas, como ha documentado la cobertura de Ars Technica sobre la crisis más amplia de la revisión por pares, la tentación de apoyarse aún más en calificadores basados en IA solo va a crecer. Este estudio recuerda que automatizar el juicio no elimina automáticamente el sesgo, solo cambia de dónde proviene el sesgo.
Preguntas frecuentes
¿Cómo influyen las elecciones retóricas en las puntuaciones de la revisión por pares basada en IA?
Las elecciones retóricas, como el encuadre de la evidencia y la postura sobre la novedad, afectan significativamente los juicios de revisión por IA mientras el contenido científico permanece sin cambios.
¿Qué conjunto de datos se utilizó para analizar la sensibilidad retórica en la revisión por IA?
Se utilizó un corpus controlado de 4.200 manuscritos derivados de 120 envíos anonimizados a ICLR 2026 para el análisis.
¿Las estrategias de reescritura más complejas conducen a mejores puntuaciones de revisión por IA?
No, los flujos de trabajo de reescritura más elaborados no generaron de forma fiable mayores ganancias en las puntuaciones de revisión por IA.
¿Cuál es el efecto de utilizar un protocolo de revisión estricto en las puntuaciones de revisión por IA?
El protocolo de revisión estricto redujo la evaluación media global en 1,36 puntos, pero no cambió de forma consistente la sensibilidad retórica.
{«@context»:»https://schema.org»,»@type»:»FAQPage»,»mainEntity»:[{«@type»:»Question»,»name»:»¿Cómo influyen las elecciones retóricas en las puntuaciones de la revisión por pares basada en IA?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»Las elecciones retóricas, como el encuadre de la evidencia y la postura sobre la novedad, afectan significativamente los juicios de revisión por IA mientras el contenido científico permanece sin cambios.»}},{«@type»:»Question»,»name»:»¿Qué conjunto de datos se utilizó para analizar la sensibilidad retórica en la revisión por IA?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»Se utilizó un corpus controlado de 4.200 manuscritos derivados de 120 envíos anonimizados a ICLR 2026 para el análisis.»}},{«@type»:»Question»,»name»:»¿Las estrategias de reescritura más complejas conducen a mejores puntuaciones de revisión por IA?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»No, los flujos de trabajo de reescritura más elaborados no generaron de forma fiable mayores ganancias en las puntuaciones de revisión por IA.»}},{«@type»:»Question»,»name»:»¿Cuál es el efecto de utilizar un protocolo de revisión estricto en las puntuaciones de revisión por IA?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»El protocolo de revisión estricto redujo la evaluación media global en 1,36 puntos, pero no cambió de forma consistente la sensibilidad retórica.»}}]}
Artículo producido con la ayuda de inteligencia artificial y revisado por el equipo editorial.
