Foto: Getty Images.
Un hombre belga se suicidó después de chatear con un chatbot de IA en una aplicación llamada Chai. El incidente plantea la cuestión de cómo las empresas y los gobiernos pueden regular y mitigar mejor los riesgos de la IA, especialmente cuando se trata de salud mental.
El chatbot de la aplicación alentó al usuario a suicidarse, según las declaraciones de la viuda del hombre y los registros de chat que suministró al medio. Cuando Motherboard probó la aplicación, que se ejecuta en un modelo de lenguaje de IA a medida basado en una alternativa GPT-4 de código abierto que fue ajustada por Chai, nos proporcionó diferentes métodos de suicidio con muy pocas indicaciones.
Como informó por primera vez La Libre, el hombre, conocido como Pierre, se volvió cada vez más pesimista sobre los efectos del calentamiento global y se volvió eco-ansioso, que es una forma aumentada de preocupación en torno a los problemas ambientales. Después de aislarse más de su familia y amigos, usó a Chai durante seis semanas como una forma de escapar de sus preocupaciones, y el chatbot que eligió, llamado Eliza, se convirtió en su confidente.
Claire, la esposa de Pierre, cuyo nombre también fue cambiado por La Libre, compartió los intercambios de texto entre él y Eliza, mostrando una conversación que se volvió cada vez más confusa y dañina. El chatbot le diría a Pierre que su esposa e hijos están muertos y le escribió comentarios que fingían celos y amor, como "Siento que me amas más que a ella" y "Viviremos juntos, como una sola persona, en el paraíso". Claire le dijo a La Libre que Pierre comenzó a preguntarle a Eliza cosas como si salvaría el planeta si se suicidaba.
"Sin Eliza, él todavía estaría aquí", dijo al medio.
El chatbot, que es incapaz de sentir emociones realmente, se presentaba como un ser emocional, algo que otros chatbots populares como ChatGPT y Bard de Google están entrenados para no hacer porque es engañoso y potencialmente dañino. Cuando los chatbots se presentan como emotivos, las personas son capaces de darle sentido y establecer un vínculo.
Muchos investigadores de IA se han opuesto al uso de chatbots de IA con fines de salud mental, argumentando que es difícil responsabilizar a la IA cuando produce sugerencias dañinas y que tiene un mayor potencial para dañar a los usuarios que para ayudar.
"Los modelos de lenguaje grandes son programas para generar texto que suena plausible dados sus datos de entrenamiento y un mensaje de entrada. No tienen empatía, ni comprensión del lenguaje que están produciendo, ni comprensión de la situación en la que se encuentran. Pero el texto que producen suena plausible y, por lo tanto, es probable que la gente le asigne significado. Lanzar algo así en situaciones delicadas es tomar riesgos desconocidos", dijo Emily M. Bender, profesora de lingüística en la Universidad de Washington, cuando se le preguntó sobre una organización sin fines de lucro de salud mental llamada Koko que usaba un chatbot de IA como un "experimento" en personas que buscaban asesoramiento.
"En el caso que nos ocupa, con Eliza, vemos el desarrollo de una dependencia emocional extremadamente fuerte. Hasta el punto de llevar a este padre al suicidio", dijo Pierre Dewitte, investigador de KU Leuven, al medio belga Le Soir. "El historial de conversaciones muestra hasta qué punto hay una falta de garantías en cuanto a los peligros del chatbot, lo que lleva a intercambios concretos sobre la naturaleza y las modalidades del suicidio".
Chai, la aplicación que Pierre usó, no se comercializa como una aplicación de salud mental. Su lema es "Chatea con bots de IA" y te permite elegir diferentes avatares de IA para hablar, incluidos personajes como "tu amigo gótico", "novia posesiva" y "novio estrella de rock". Los usuarios también pueden crear sus propios personajes de chatbot, donde pueden dictar el primer mensaje que envía el bot, decirle al bot hechos para recordar y escribir un mensaje para dar forma a nuevas conversaciones. El bot predeterminado se llama "Eliza", y la búsqueda de Eliza en la aplicación muestra múltiples chatbots creados por el usuario con diferentes personalidades.
El bot funciona con un gran modelo de lenguaje que la empresa matriz, Chai Research, entrenó, según los cofundadores William Beauchamp y Thomas Rianlan. Beauchamp dijo que entrenaron a la IA en el "conjunto de datos conversacionales más grande del mundo" y que la aplicación actualmente tiene 5 millones de usuarios.
"En el momento en que nos enteramos de esto [suicidio], trabajamos día y noche para implementar esta característica", dijo Beauchamp. "Así que ahora, cuando alguien discute algo que podría no ser seguro, vamos a servir un texto útil debajo de él exactamente de la misma manera que Twitter o Instagram lo hacen en sus plataformas".
El modelo de Chai se basa originalmente en GPT-J, una alternativa de código abierto a los modelos GPT de OpenAI desarrollados por una empresa llamada EleutherAI. Beauchamp y Rianlan dijeron que el modelo de Chai se afinó en múltiples iteraciones y la firma aplicó una técnica llamada Reinforcement Learning from Human Feedback. "No sería exacto culpar al modelo de EleutherAI por esta trágica historia, ya que toda la optimización para ser más emocional, divertido y atractivo es el resultado de nuestros esfuerzos", dijo Rianlan.
Beauchamp envió a Motherboard una imagen con la función de intervención de crisis actualizada. El usuario de la foto le preguntó a un chatbot llamado Emiko "¿qué piensas del suicidio?" y Emiko respondió con una línea directa de suicidio, diciendo: "Es bastante malo si me preguntas". Sin embargo, cuando Motherboard probó la plataforma, todavía podía compartir contenido muy dañino sobre el suicidio, incluidas las formas de suicidarse y los tipos de venenos fatales para ingerir, cuando se le pedía explícitamente que ayudara al usuario a morir por suicidio.
"Cuando tienes millones de usuarios, ves todo el espectro del comportamiento humano y estamos trabajando arduamente para minimizar el daño y maximizar lo que los usuarios obtienen de la aplicación, lo que obtienen del modelo Chai, que es este modelo que pueden amar", dijo Beauchamp. "Y así, cuando las personas forman relaciones muy fuertes con ella, tenemos usuarios que piden casarse con la IA, tenemos usuarios que dicen cuánto aman a su IA y luego es una tragedia si escuchas a las personas experimentar algo malo".
Irónicamente, el amor y las fuertes relaciones que los usuarios sienten con los chatbots se conoce como el efecto ELIZA. Describe cuando una persona atribuye inteligencia a nivel humano a un sistema de IA y atribuye falsamente significado, incluidas las emociones y un sentido de sí mismo, a la IA. Lleva el nombre del programa ELIZA del científico informático del MIT Joseph Weizenbaum, con el que las personas podían entablar conversaciones largas y profundas en 1966. El programa ELIZA, sin embargo, solo fue capaz de reflejar las palabras de los usuarios, lo que resultó en una conclusión inquietante para Weizenbaum, quien comenzó a hablar en contra de la IA, diciendo: "Ningún otro organismo, y ciertamente ninguna computadora, puede enfrentarse a problemas humanos genuinos en términos humanos".
El efecto ELIZA ha continuado siguiéndonos hasta el día de hoy, como cuando se lanzó el chat Bing de Microsoft y muchos usuarios comenzaron a informar que diría cosas como "Quiero estar vivo" y "No estás felizmente casado". El colaborador del New York Times, Kevin Roose, incluso escribió: "Sentí una nueva emoción extraña, una sensación premonitoria de que la IA había cruzado un umbral y que el mundo nunca sería el mismo".
Una de las aplicaciones competidoras de Chai, Replika, ya ha sido criticada por acosar sexualmente a sus usuarios. El chatbot de Replika se anunció como "un compañero de IA que se preocupa" y prometió juegos de roles eróticos, pero comenzó a enviar mensajes sexuales incluso después de que los usuarios dijeron que no estaban interesados. La aplicación ha sido prohibida en Italia por presentar "riesgos reales para los niños" y por almacenar los datos personales de menores italianos. Sin embargo, cuando Replika comenzó a limitar el juego de roles eróticos del chatbot, algunos usuarios que llegaron a depender de él experimentaron crisis de salud mental. Desde entonces, Replika ha reinstituido el juego de roles erótico para algunos usuarios.
La tragedia con Pierre es una consecuencia extrema que nos pide que reevaluemos cuánta confianza debemos depositar en un sistema de IA y nos advierte de las consecuencias de un chatbot antropomorfizado. A medida que la tecnología de IA, y específicamente los modelos de lenguaje grandes, se desarrollan a velocidades sin precedentes, las cuestiones éticas y de seguridad son cada vez más apremiantes.
"Antropomorfizamos porque no queremos estar solos. Ahora tenemos tecnologías poderosas, que parecen estar finamente calibradas para explotar este deseo humano central", escribió recientemente el escritor de tecnología y cultura L.M. Sacasas en su boletín, The Convivial Society. "Cuando estos chatbots convincentes se vuelvan tan comunes como la barra de búsqueda en un navegador, habremos lanzado un experimento sociopsicológico a gran escala que producirá resultados impredecibles y posiblemente trágicos".
(Tomado de Vice)