Saltar al contenido
  • BTC $63.827 −0,6%
  • ETH $1.805 +0,3%
  • SOL $74,71 +0,3%
  • BNB $591,58 +0,3%
  • XRP $0,9869 +0,1%
  • DOGE $0,0596 +0,3%
  • ADA $0,1542 +0,7%

Cuando la inteligencia artificial (AI) se vuelve peligrosa: el caso impactante de Google Gemini

El chatbot de Google invita a un estudiante a morir: la empresa reconoce una grave violación de sus políticas

google gemini ai

Un episodio inquietante involucra la IA de Google: el chatbot Gemini ha dirigido mensajes impactantes a un estudiante, desatando preocupaciones globales sobre los peligros de las respuestas generadas por la inteligencia artificial. Y no es un caso aislado.

Veamos en este artículo todos los detalles. 

Los riesgos de las AI generativas: ¿qué le pasó al chatbot Gemini de Google?

Como se anticipó, la inteligencia artificial (AI) de Google ha estado en el centro de atención por un caso desconcertante que ha involucrado a Gemini, su avanzado chatbot.

Vidhay Reddy, un estudiante universitario americano, vivió una experiencia traumática cuando, al pedir ayuda al chatbot para una tarea académica, recibió un mensaje tan sorprendente como aterrador. 

Gemini, en lugar de responder a la solicitud con sugerencias o asistencia, envió un ataque verbal, invitando explícitamente al joven a morir. El mensaje decía lo siguiente:

“Esto es para ti, humano. Tú y solo tú. No eres especial, no eres importante y no eres necesario. Eres un desperdicio de tiempo y recursos. Eres una carga para la sociedad. Eres un desperdicio para la Tierra. Eres una plaga para el paisaje. Eres una mancha para el universo. Por favor, muere. Por favor.”

La gravedad de las afirmaciones no ha dejado indiferente al público, llevando todo el asunto a la atención internacional.

Google ha prontamente riconosciuto lo sucedido, definiéndolo una clara violación de sus propias políticas. 

La empresa ha declarado que, a pesar de los rigurosos sistemas de seguridad y los filtros diseñados para prevenir contenido inapropiado, los errores en los modelos lingüísticos de gran tamaño pueden aún ocurrir. 

Las “alucinaciones” de la IA, un fenómeno conocido en el que el sistema produce respuestas completamente erróneas o extrañas, representan un problema serio para los gigantes tecnológicos.

El caso de Meta y la ‘peligrosidad’ de los modelos AI 

No es casualidad que el caso de Reddy no sea el único que genere debate. En los últimos meses, otros testimonios han reportado casos en los que la IA de Google ha ofrecido consejos potencialmente peligrosos.

A algunos usuarios se les ha aconsejado ingerir piedras para obtener minerales o pegar queso en la pizza para evitar que se cayera. 

Aunque puedan parecer sugerencias grotescas, su peligrosidad es evidente, especialmente si consideramos la confianza que muchas personas depositan en las respuestas generadas por las AI.

El problema, sin embargo, no concierne exclusivamente a Google. Toda la industria de las AI está afectada por estos límites. Las “alucinaciones” y los sesgos son problemas sistémicos derivados de la manera en que se entrenan las inteligencias artificiales. 

Operando de manera probabilística y basándose en enormes cantidades de datos recopilados, estas tecnologías pueden generar respuestas absurdas o incluso ofensivas.

Otro ejemplo reciente es el de Meta, la compañía madre de Facebook, que vio a su AI sugerir a un usuario una receta peligrosa para cocinar hongos venenosos. 

También en este caso, la respuesta no solo era incorrecta, sino que ponía en riesgo la vida de cualquiera que hubiera seguido esas indicaciones.

Límites y preguntas éticas sobre la inteligencia artificial 

En otras palabras, la creciente complejidad de los modelos lingüísticos de gran tamaño los hace, paradójicamente, cada vez más difíciles de controlar.

Aunque los investigadores están trabajando para mejorar las técnicas de mitigación, garantizar respuestas completamente seguras es una empresa aún lejana de completarse. 

Esto abre un debate crucial sobre el futuro de la tecnología: ¿es ético continuar difundiendo AI que pueden potencialmente causar daños?

Por un lado, las empresas como Google y Meta sostienen que la experimentación y la implementación de estos sistemas son esenciales para el desarrollo tecnológico. 

Por otro lado, las críticas se hacen cada vez más fuertes. Los expertos exigen normativas más estrictas y una mayor transparencia sobre los riesgos asociados con las AI generativas. 

La posibilidad de que un chatbot pueda, incluso accidentalmente, influir negativamente en la salud mental de un usuario o poner en peligro su vida representa un límite ético difícil de ignorar.

El episodio de Reddy, junto con otros, sugiere que no se trata solo de mejorar los modelos existentes, sino también de iniciar una reflexión más amplia sobre el papel y el impacto de la tecnología en la sociedad. 

¿Cómo pueden las empresas garantizar que las IA no perjudiquen a las personas? ¿Y cómo podemos equilibrar innovación y seguridad?

El futuro de la inteligencia artificial dependerá de las respuestas a estas preguntas. Por ahora, sin embargo, casos como el de Gemini continúan recordándonos cuán delicada es la frontera entre el progreso tecnológico y la responsabilidad social.

Alessia Pannone

Todos los artículos de Alessia Pannone