Un nuevo estudio publicado por el AI Disclosures Project plantea preguntas cruciales sobre la transparencia y la ética de los métodos de entrenamiento adoptados por OpenAI. En el centro de la investigación está GPT-4o, el modelo lingüístico más reciente de la empresa, acusado de reconocer y utilizar contenidos protegidos por derechos de autor, provenientes de material confidencial del editor O’Reilly Media.
Summary
Una investigación para aumentar la transparencia en la carrera hacia la inteligencia artificial
El estudio se ha realizado en el ámbito del AI Disclosures Project, una iniciativa liderada por el tecnólogo Tim O’Reilly y el economista Ilan Strauss. El objetivo del proyecto es claro: promover una mayor responsabilidad en el sector de la inteligencia artificial, poniendo énfasis en la necesidad de prácticas transparentes por parte de las empresas que desarrollan LLM (Large Language Models).
El documento, un working paper, analiza cómo la actual falta de obligaciones formales en la divulgación de los datos utilizados para entrenar estos modelos puede crear serios problemas de confianza y legalidad. Los investigadores sostienen que, así como en los mercados financieros surgieron reglas de divulgación para favorecer mercados robustos, también en el campo de la IA se necesita una regulación similar para evitar abusos y daños sistémicos.
OpenAI realiza pruebas en contenidos cubiertos por derechos de autor: los datos hablan claro
Para llevar a cabo su investigación, los investigadores utilizaron un conjunto de datos legalmente obtenido de 34 libros protegidos por derechos de autor publicados por O’Reilly Media. A través de una técnica conocida como DE-COP membership inference attack, midieron si los modelos lingüísticos eran capaces de distinguir textos escritos por humanos de versiones parafraseadas generadas por LLM. Los resultados señalan con el dedo a GPT-4o.
Las puntuaciones AUROC (una métrica que mide la capacidad de un modelo para distinguir dos clases) hablan claro:
- GPT-4o obtuvo una puntuación del 82% en la capacidad de reconocer contenidos no públicos extraídos de O’Reilly Media — un valor que indica una alta probabilidad de que esos contenidos hayan sido incluidos en los datos de entrenamiento.
- A modo de comparación, el modelo GPT-3.5 Turbo mostró un reconocimiento mucho más débil (alrededor del 50%), mientras que GPT-4o Mini, una versión más ligera del modelo, no reconoció ni contenidos públicos ni no públicos.
- Los datos muestran además que GPT-4o reconoce mejor materiales no accesibles públicamente (82% AUROC) en comparación con contenidos O’Reilly disponibles libremente (64% AUROC).
- Al contrario, GPT-3.5 Turbo muestra una mayor familiaridad con los contenidos públicos (64%) en comparación con los reservados (54%).
Una posible fuente de acceso a los contenidos cubiertos por derechos de autor, sugieren los investigadores, podría ser LibGen, una conocida plataforma en línea que alberga copias digitales no autorizadas de libros protegidos por derechos de autor. Todos los libros analizados en el estudio están de hecho presentes en esa biblioteca virtual.
La industria de la IA entre legalidad, economía y sostenibilidad de los contenidos
Los resultados plantean una cuestión más amplia: el uso sistemático de datos protegidos por derechos de autor para entrenar los modelos lingüísticos podría comprometer la sostenibilidad económica de los profesionales que crean contenidos originales. Si las empresas no son compensadas por el uso de sus publicaciones, todo el ecosistema de la información —incluida la edición— corre el riesgo de empobrecerse.
Según el informe, el uso no autorizado de datos propietarios sin compensación contribuye a la reducción de la calidad y la diversidad de los contenidos en línea. Y no se trata solo de una cuestión ética sino también económica: sin ingresos, las editoriales y los creadores profesionales no pueden continuar produciendo contenidos de valor.
La preocupación de los investigadores: los modelos saben más de lo que declaran
Otro aspecto destacado por el estudio es la mejora de la capacidad de los modelos lingüísticos más recientes para comprender y reproducir las sutiles diferencias entre el lenguaje humano y el lenguaje generado por inteligencias artificiales. Además, los investigadores subrayan la posible presencia de un “sesgo temporal”, ya que los idiomas evolucionan con el tiempo. Para neutralizar este tipo de distorsión, las pruebas se realizaron en dos modelos (GPT-4o y GPT-4o Mini) entrenados durante el mismo período temporal.
A pesar de que las pruebas están limitadas a un caso específico — OpenAI y los textos O’Reilly — los autores consideran que el fenómeno podría ser generalizado y sistémico en el sector de la inteligencia artificial generativa.
¿Hacia un mercado legal para los datos de entrenamiento?
El estudio concluye con una reflexión más amplia: es necesario construir un sistema en el que los sviluppatori di IA puedan acceder legalmente a datos para el entrenamiento, a través de acuerdos de licencia y compensaciones transparentes para los creadores de contenido.
Algunas empresas ya están desarrollando modelos de negocio en esta dirección. Es el caso de Defined.ai, una plataforma que vende datos para el entrenamiento garantizando el consenso de los autores y eliminando toda la información personal identificable. Una industria regulada podría representar una alternativa legal y sostenible a los comportamientos opacos actuales de algunas grandes empresas de la IA.
El papel de la política: Europa puede ser pionera
El informe también ofrece una perspectiva normativa: la entrada en vigor del nuevo AI Act de la Unión Europea, que prevé obligaciones de divulgación para el entrenamiento de los modelos, podría desencadenar una espiral virtuosa. Si las reglas están bien especificadas y realmente aplicadas, los titulares de derechos finalmente podrán saber cuándo y cómo se utilizan sus obras.
Se trataría de un paso fundamental para la creación de mercados legales en los que los contenidos de los creadores sean efectivamente reconocidos como bienes económicos utilizados por las IA.
No solo OpenAI: un estudio que señala una práctica cada vez más frecuente
A través de un análisis detallado de 34 libros del editor O’Reilly Media, los investigadores han proporcionado evidencias empíricas que sugieren cómo OpenAI probablemente ha entrenado su modelo GPT-4o también en datos no públicos y protegidos por copyright.
Si se confirma, se trataría de una violación potencialmente grave no solo de las normas sobre copyright, sino también de los principios de transparencia, consentimiento y equidad que las grandes empresas tech deberían respetar en una época en la que la inteligencia artificial incide cada vez más profundamente en nuestra sociedad y en nuestra economía.
