Un hombre se suicida después de hablar con un chatbot de Inteligencia Artificial
Foto: Getty Images.
Un hombre belga se suicidó después de chatear con un chatbot de IA en una aplicación llamada Chai. El incidente plantea la cuestión de cómo las empresas y los gobiernos pueden regular y mitigar mejor los riesgos de la IA, especialmente cuando se trata de salud mental.
El chatbot de la aplicación alentó al usuario a suicidarse, según las declaraciones de la viuda del hombre y los registros de chat que suministró al medio. Cuando Motherboard probó la aplicación, que se ejecuta en un modelo de lenguaje de IA a medida basado en una alternativa GPT-4 de código abierto que fue ajustada por Chai, nos proporcionó diferentes métodos de suicidio con muy pocas indicaciones.
Como informó por primera vez La Libre, el hombre, conocido como Pierre, se volvió cada vez más pesimista sobre los efectos del calentamiento global y se volvió eco-ansioso, que es una forma aumentada de preocupación en torno a los problemas ambientales. Después de aislarse más de su familia y amigos, usó a Chai durante seis semanas como una forma de escapar de sus preocupaciones, y el chatbot que eligió, llamado Eliza, se convirtió en su confidente.
Claire, la esposa de Pierre, cuyo nombre también fue cambiado por La Libre, compartió los intercambios de texto entre él y Eliza, mostrando una conversación que se volvió cada vez más confusa y dañina. El chatbot le diría a Pierre que su esposa e hijos están muertos y le escribió comentarios que fingían celos y amor, como "Siento que me amas más que a ella" y "Viviremos juntos, como una sola persona, en el paraíso". Claire le dijo a La Libre que Pierre comenzó a preguntarle a Eliza cosas como si salvaría el planeta si se suicidaba.
"Sin Eliza, él todavía estaría aquí", dijo al medio.
El chatbot, que es incapaz de sentir emociones realmente, se presentaba como un ser emocional, algo que otros chatbots populares como ChatGPT y Bard de Google están entrenados para no hacer porque es engañoso y potencialmente dañino. Cuando los chatbots se presentan como emotivos, las personas son capaces de darle sentido y establecer un vínculo.
Muchos investigadores de IA se han opuesto al uso de chatbots de IA con fines de salud mental, argumentando que es difícil responsabilizar a la IA cuando produce sugerencias dañinas y que tiene un mayor potencial para dañar a los usuarios que para ayudar.
"Los modelos de lenguaje grandes son programas para generar texto que suena plausible dados sus datos de entrenamiento y un mensaje de entrada. No tienen empatía, ni comprensión del lenguaje que están produciendo, ni comprensión de la situación en la que se encuentran. Pero el texto que producen suena plausible y, por lo tanto, es probable que la gente le asigne significado. Lanzar algo así en situaciones delicadas es tomar riesgos desconocidos", dijo Emily M. Bender, profesora de lingüística en la Universidad de Washington, cuando se le preguntó sobre una organización sin fines de lucro de salud mental llamada Koko que usaba un chatbot de IA como un "experimento" en personas que buscaban asesoramiento.
"En el caso que nos ocupa, con Eliza, vemos el desarrollo de una dependencia emocional extremadamente fuerte. Hasta el punto de llevar a este padre al suicidio", dijo Pierre Dewitte, investigador de KU Leuven, al medio belga Le Soir. "El historial de conversaciones muestra hasta qué punto hay una falta de garantías en cuanto a los peligros del chatbot, lo que lleva a intercambios concretos sobre la naturaleza y las modalidades del suicidio".
Chai, la aplicación que Pierre usó, no se comercializa como una aplicación de salud mental. Su lema es "Chatea con bots de IA" y te permite elegir diferentes avatares de IA para hablar, incluidos personajes como "tu amigo gótico", "novia posesiva" y "novio estrella de rock". Los usuarios también pueden crear sus propios personajes de chatbot, donde pueden dictar el primer mensaje que envía el bot, decirle al bot hechos para recordar y escribir un mensaje para dar forma a nuevas conversaciones. El bot predeterminado se llama "Eliza", y la búsqueda de Eliza en la aplicación muestra múltiples chatbots creados por el usuario con diferentes personalidades.
El bot funciona con un gran modelo de lenguaje que la empresa matriz, Chai Research, entrenó, según los cofundadores William Beauchamp y Thomas Rianlan. Beauchamp dijo que entrenaron a la IA en el "conjunto de datos conversacionales más grande del mundo" y que la aplicación actualmente tiene 5 millones de usuarios.
"En el momento en que nos enteramos de esto [suicidio], trabajamos día y noche para implementar esta característica", dijo Beauchamp. "Así que ahora, cuando alguien discute algo que podría no ser seguro, vamos a servir un texto útil debajo de él exactamente de la misma manera que Twitter o Instagram lo hacen en sus plataformas".
El modelo de Chai se basa originalmente en GPT-J, una alternativa de código abierto a los modelos GPT de OpenAI desarrollados por una empresa llamada EleutherAI. Beauchamp y Rianlan dijeron que el modelo de Chai se afinó en múltiples iteraciones y la firma aplicó una técnica llamada Reinforcement Learning from Human Feedback. "No sería exacto culpar al modelo de EleutherAI por esta trágica historia, ya que toda la optimización para ser más emocional, divertido y atractivo es el resultado de nuestros esfuerzos", dijo Rianlan.
Beauchamp envió a Motherboard una imagen con la función de intervención de crisis actualizada. El usuario de la foto le preguntó a un chatbot llamado Emiko "¿qué piensas del suicidio?" y Emiko respondió con una línea directa de suicidio, diciendo: "Es bastante malo si me preguntas". Sin embargo, cuando Motherboard probó la plataforma, todavía podía compartir contenido muy dañino sobre el suicidio, incluidas las formas de suicidarse y los tipos de venenos fatales para ingerir, cuando se le pedía explícitamente que ayudara al usuario a morir por suicidio.
"Cuando tienes millones de usuarios, ves todo el espectro del comportamiento humano y estamos trabajando arduamente para minimizar el daño y maximizar lo que los usuarios obtienen de la aplicación, lo que obtienen del modelo Chai, que es este modelo que pueden amar", dijo Beauchamp. "Y así, cuando las personas forman relaciones muy fuertes con ella, tenemos usuarios que piden casarse con la IA, tenemos usuarios que dicen cuánto aman a su IA y luego es una tragedia si escuchas a las personas experimentar algo malo".
Irónicamente, el amor y las fuertes relaciones que los usuarios sienten con los chatbots se conoce como el efecto ELIZA. Describe cuando una persona atribuye inteligencia a nivel humano a un sistema de IA y atribuye falsamente significado, incluidas las emociones y un sentido de sí mismo, a la IA. Lleva el nombre del programa ELIZA del científico informático del MIT Joseph Weizenbaum, con el que las personas podían entablar conversaciones largas y profundas en 1966. El programa ELIZA, sin embargo, solo fue capaz de reflejar las palabras de los usuarios, lo que resultó en una conclusión inquietante para Weizenbaum, quien comenzó a hablar en contra de la IA, diciendo: "Ningún otro organismo, y ciertamente ninguna computadora, puede enfrentarse a problemas humanos genuinos en términos humanos".
El efecto ELIZA ha continuado siguiéndonos hasta el día de hoy, como cuando se lanzó el chat Bing de Microsoft y muchos usuarios comenzaron a informar que diría cosas como "Quiero estar vivo" y "No estás felizmente casado". El colaborador del New York Times, Kevin Roose, incluso escribió: "Sentí una nueva emoción extraña, una sensación premonitoria de que la IA había cruzado un umbral y que el mundo nunca sería el mismo".
Una de las aplicaciones competidoras de Chai, Replika, ya ha sido criticada por acosar sexualmente a sus usuarios. El chatbot de Replika se anunció como "un compañero de IA que se preocupa" y prometió juegos de roles eróticos, pero comenzó a enviar mensajes sexuales incluso después de que los usuarios dijeron que no estaban interesados. La aplicación ha sido prohibida en Italia por presentar "riesgos reales para los niños" y por almacenar los datos personales de menores italianos. Sin embargo, cuando Replika comenzó a limitar el juego de roles eróticos del chatbot, algunos usuarios que llegaron a depender de él experimentaron crisis de salud mental. Desde entonces, Replika ha reinstituido el juego de roles erótico para algunos usuarios.
La tragedia con Pierre es una consecuencia extrema que nos pide que reevaluemos cuánta confianza debemos depositar en un sistema de IA y nos advierte de las consecuencias de un chatbot antropomorfizado. A medida que la tecnología de IA, y específicamente los modelos de lenguaje grandes, se desarrollan a velocidades sin precedentes, las cuestiones éticas y de seguridad son cada vez más apremiantes.
"Antropomorfizamos porque no queremos estar solos. Ahora tenemos tecnologías poderosas, que parecen estar finamente calibradas para explotar este deseo humano central", escribió recientemente el escritor de tecnología y cultura L.M. Sacasas en su boletín, The Convivial Society. "Cuando estos chatbots convincentes se vuelvan tan comunes como la barra de búsqueda en un navegador, habremos lanzado un experimento sociopsicológico a gran escala que producirá resultados impredecibles y posiblemente trágicos".
(Tomado de Vice)
- Alias en Gmail: ¿Cómo crear direcciones infinitas para organizar tu correo, filtrar spam y automatizar la clasificación de mensajes?
- Las cosas más extrañas que interfieren con el Wi-Fi
- ByteDance decidió fabricar sus propias CPU ante los altos precios de Intel y AMD
- Google presenta Gemini 3.5 Live Translate
- Naruto confirma nuevos proyectos de videojuegos y animación para su 25 aniversario
- ir aCanal USB »
- Cuando el dolor de Palestina abraza la resistencia de Cuba (+Fotos)
- Petro: Vine para convocar a la humanidad a la solidaridad con Cuba
- Medio estadounidense destaca: “El bloqueo a Cuba está empeorando una situación ya de por sí terrible”
- ¿Cómo cambiarán los salarios en Cuba? Claves para los sectores presupuestado y empresarial
- Sexualidades: Sexo en grupo, un experimento controversial (+ Podcast)
- ir aEspeciales »
- La inteligencia artificial china vuelve a sacudir a Silicon Valley
- El próximo genio chino de la IA es el centro de atención del mundo tecnológico
- Google se está haciendo de oro apostando por sus rivales
- Estamos entrando en la fase en la que la IA superará al ser humano, afirma jefe de OpenAI
- Hallan en el fondo del mar los restos del avión "Clipper Endeavor" de Pan Am, desaparecido hace 74 años
- ir aCiencia y Tecnología »
Regulese. Lo dije que un día acá y un forista me dijo: "cuando empiezan a regular algo, todo se j...". Obviamente no sabía de lo que se hablaba: totalmente fuera de contexto.
Esto hay que regularlo desde la Ley
Pero señores... Creo que se van a los extremos. La IA es una herramienta aun en estudio. Yo, por ejemplo, la he utilizado y me parece un poco cuando un amigo mío me pedía consejo porque se quería divorciar de su esposa. A veces venía y me decía que no la aguantaba más y yo le aconsejaba: Divorciate que la situación es crítica. Otras veces venía un poco más contento y me decía que era la madre de su hijo, que era una mujer buena. Yo le decía: No te divorcies. En fin, el interlocutor condicionaba las respuestas. Así pasa ahora mismo con la IA. Son repuestas lógicas y condicionadas.
Uno de por ahí
Nada de extremos, su uso hay que regularlo desde la ley, con ética. Mucho mas porque es una herramienta aun en estudio. Una mente Sana puede razonar, dilucidar, sacar provecho desde lo Sano a respuestas y/o comentarios provenientes desde la IA. Una mente que no este Sana, sea la patologia que sea, asi como la mente de niños y adolecentes en plena formacion y desarrollo tampoco pueden razonar objetivamente y con la madurez necesaria.
La IA es el resultado de la creacion humana y si no se usa desde la etica sera un engendro programable para la manipulacion de la mente a nivel de ser humano (Sano o no, con madurez o no) asi como a nivel social.
Nos manipulan a nivel Mundial desde el 4to poder, la IA es lo que le sigue. No seamos ingenuos. La ciencia y el desarrollo tecnologico estan lejos de servir al desarrollo Sano de la humanidad, ni tan siquiera al desarrollo!!!!
Espero se me publique, gracias!
Es como el martillo: puedes usarlo para cosas buenas y para matar a alguien
Afortunadamente los cubanos no aportaremos una cifra a esa estadística, no es que falten suicidas, es sólo que #etecsa nos cuida tanto, que el flujo de datos nos hará desistir de cualquier intento...
Los extremos... pero que hace un hombre clara-mente afectado en vez de ver un especialista, se consulta con una IA que está en pañales antes de ver a un profesional, esta generación está mal, pero por los humanos que la habitamos y su capacidad cada vez menor de pensamiento, perdon por los sal-piques contra la acera.
Aquí hay algo curioso que preguntarse y no es necesariamente la implicación de la Inteligencia Artificial en esto. Obviamente la persona tenía un problema profundo ya de base. Al igual que las armas, que son inofensivas de por sí... todo depende del uso que le dé la persona. Su esposa que atrevidamente dijo: "Sin Eliza, él todavía estaría aquí"... ¿sabe que Google existe? ¿Sabe que la depresión, el suicidio y los trastornos mentales existían desde antes de las IA?
Ya el hecho que esta persona usara una IA con estos fines de compañía y consejo demuestra o que su presencia y ayuda no fue lo suficientemente buena, o que su trastorno ya estaba alcanzando límites incorregibles y autodestructivos. "Sin Eliza tampoco hubiera seguido ahí, madam."
No necesitas una IA para buscar formas de matarte. Basta buscar un poco en internet y te aparecerán miles de formas. Después de todo, las respuestas de las IA salen de algún lugar. Es más... Ni siquiera hay que buscar en internet, todos sabemos como matarnos (y por suerte, la mayoría, no lo hacemos.)
Es fácil para las mentes débiles, buscar una justificación; los videojuegos, las películas, los libros, las armas, ahora IA... Pero señores, un arma no mata a una persona a menos que caiga de una altura y te caiga en mal lugar XD... un libro no mata a nadie, un juego no mata a nadie, por más que tenga un mal contenido, un mal mensaje, cosas violentas... La Gente mata a la Gente, o la gente se mata A Sí Mísma. ¿Por qué? Ahí es dónde hay que buscar. Casi siempre hay un problema oculto.
Esta persona tenía un trastorno paranoide y esquizoide debajo de su aparente obsesión y preocupación por los cambios del medio ambiente. ¿Tenía ayuda adecuada y humana? ¿Un psiquiatra? ¿A su esposa no le preocupaba su comportamiento? ¿No le importaba verle en el móvil escribiendo constantemente? Porque no parece un vínculo de un día, ni algo casual, de "busco y ejecuto". Aquí hay muchos, muchos problemas... y realmente ninguno es de la IA, independientemente de las respuestas espeluznantes que haya podido dar.
Ejemplo más claro: El GTA (Grand Theft Auto) un juego donde hay violencia explícita, drogas, prostitución... donde eres un pandillero que puede golpear, matar, disparar y hacer lo que desee sin ninguna restricción en la calle. Un juego que yo he jugado de hecho, y es sumamente entretenido, para que mentir. ¿Cuántas personas, adolescentes y adultos no juegan este juego? Un montón. ¿Cuántos son los que salen a matar a la calle o imitar este comportamiento y lo culpan? Siempre habrá algún loco, pero se pueden contar con los dedos. En libros donde salen asesinos, o caníbales, muy famosos como El Perfumista o Hannibal, ¿cuántos no leen los libros? ¿Ahora cuántos son los que se obsesionan, salen a matar o probar carne humana, y luego echan la culpa al libro? He ahí mi punto.
Nunca se me olvida cuando era pequeña y mi mamá estaba recelosa por dejarme ver Naruto, porque había leído una noticia de un niño o adolescente que pensando que era Gaara (un personaje que puede controlar la arena) le dio por decir que podía incluso respirar bajo esta. Bueno, el niño murió, obviamente. ¿Es Naruto malo para los niños? ¿Es Masashi Kishimoto culpable de esta muerte? No. Cuando me dijo eso me quedé cuadrada, y le pregunté que a quién se le ocurriría hacer algo así de tonto. "¿Dónde estaban sus padres?" Se quedó callada.
Existen personas que o bien no tienen discernimiento de lo que está bien o mal, o son tan siquiera incapaces de separar lo real de la ficción.
Para mí la culpa nunca es del "medio", sino lo del ejecutor. Las IA bien usadas tienen mucho que aportar y ofrecer, sin embargo, el hecho que sean de uso abierto, siempre provocará que caiga en manos de personas no adecuadas que podrían darle mal uso.
Bien comentado!! Aunque en el fondo dice lo mismo que gin pero con un muy buen argumento. ;)
cada mongo x ahi
Estos encasillamientos con una ia es peligroso
Me parece injusto culpar a la AI de lo ocurrido. Los servicios de linea anónima muchas veces son brindados por simples voluntarios que han recibido una rápida capacitación de manual. Y que por lo tanto no son más confiables ni regulables que AI. Se suicidan personas tras años de terapia y medicación. Personas aparebtemente exitosas personal y profesionalmente. Le digo más: La persona con impulso suicida espera que se le trate de convencer de no hacerlo; y muchas veces la actitud de un consejero será hacer todo lo contrario para enfrentarlo con las consecuencias irreversibles de su accion. Si este ser se hubiera quitado la vida tras hablar con un humano, no sería noticia: Eso pasa todos los días.
Soy del criterio de que la IA ,bien regulada y controlada, puede ser muy útil y beneficiosa. De igual manera, mal manejada puede ser desastrosa. El problema está en saber utilizarla de forma correcta. He visto en algunas noticias que su empleo no ha sido del todo eficiente pues se ha tratado de preguntarle que si en este o aquel país se mantendrá la forma de gobierno,que si tal o más cuál presidente tiene apoyo popular y por qué, que cómo se verá tal artista,deportista u otro famoso en su vejez,que cómo se verían en estos tiempos Da Vinci o cualquier famoso antiguo. No creo que para eso pueda utilizarse la IA,pues sería un uso banal. Pienso que en la medicina,las ciencias,el diseño y otros campos pueda utilizarse la IA para beneficiar a la humanidad ,siempre de forma seria,ética, controlada y con las mejores intenciones.