Sora. Imagen: Captura de pantalla de openai.com.
El típico video de Sora, creado en la aplicación de OpenAI y difundido en TikTok, Instagram, X y Facebook, está diseñado para ser lo suficientemente divertido como para que hagas clic y compartas.
Podría ser la Reina Isabel II rapeando o algo más ordinario y creíble. Un género popular de la plataforma es el de falsos videos de cámaras de timbre que captan algo ligeramente inquietante, como una boa constrictor en el porche o un caimán acercándose a un niño imperturbable, y termina con un leve sobresalto, como una abuela gritando mientras golpea al animal con una escoba.
Sin embargo, cada vez más grupos de defensa, académicos y expertos han hecho sonar la alarma sobre los peligros de permitir que las personas creen videos de IA sobre casi cualquier cosa que puedan escribir en una indicación, lo que lleva a la proliferación de imágenes no consensuadas y deepfakes (ultrafalsos) realistas en un mar de “bazofia de IA” menos dañina.
OpenAI ha tomado medidas contra las creaciones de IA de figuras públicas, entre ellas Michael Jackson, Martin Luther King Jr. y Mister Rogers, haciendo cosas extravagantes, pero solo después de que los herederos de los afectados y un sindicato de actores emitieran protestas.
En carta enviada el martes a la empresa y al CEO, Sam Altman, la organización sin fines de lucro Public Citizen ha exigido que OpenAI retire Sora 2 del público.
Public Citizen dijo que el lanzamiento apresurado de la aplicación para adelantarse a los competidores muestra un “patrón constante y peligroso en el que OpenAI se apresura a salir al mercado con un producto que es inherentemente inseguro o carece de las salvaguardias necesarias”.
Según la misiva, Sora 2 muestra un “imprudente desprecio” por la seguridad del producto y por el derecho de las personas a su propia imagen y la estabilidad de la democracia. El grupo también envió la carta al Congreso de Estados Unidos.
Hasta el martes, OpenAI no había respondió a una solicitud de comentarios de la AP.
“Nuestra mayor preocupación es la amenaza potencial a la democracia”, dijo en una entrevista J.B. Branch, defensor de políticas tecnológicas de Public Citizen.
“Creo que estamos entrando en un mundo en el que la gente realmente no puede confiar en lo que ve. Y comenzamos a ver estrategias en la política donde la primera imagen, el primer video que se publica, es lo que la gente recuerda”, agregó.
Branch, autor de la carta enviada el martes, también ve preocupaciones más amplias sobre la privacidad de las personas, las cuales afectan desproporcionadamente a las poblaciones vulnerables en línea.
OpenAI bloquea la desnudez, pero Branch dijo que “las mujeres son acosadas en línea” de otras maneras, como con contenido fetichizado de nicho que elude las restricciones de las aplicaciones. El medio de comunicación 404 Media informó el viernes sobre una avalancha de videos hechos con Sora de mujeres siendo estranguladas.
OpenAI introdujo su nueva aplicación Sora en iPhones hace más de un mes. Se lanzó en teléfonos Android la semana pasada en Estados Unidos, Canadá y varios países asiáticos, entre ellos, Japón y Corea del Sur.
Gran parte de la oposición más fuerte se ha producido en Hollywood y otras áreas del entretenimiento, como la industria del manga japonés.
OpenAI anunció sus primeros grandes cambios pocos días después del lanzamiento, diciendo que “la moderación excesiva es superfrustrante” para los usuarios, pero que es importante ser conservador “mientras el mundo aún se adapta a esta nueva tecnología”.
A esto siguieron varios acuerdos anunciados públicamente el 16 de octubre con la familia de Martin Luther King Jr., en el que se evitan las “representaciones irrespetuosas” del líder de los derechos civiles mientras la empresa trabajaba en mejores salvaguardias, y otro, alcanzado el 20 de octubre con el actor de Breaking Bad Bryan Cranston, el sindicato SAG-AFTRA y agencias de talentos.
“Eso está muy bien si eres famoso”, comentó Branch. “Es una especie de patrón que tiene OpenAI, donde están dispuestos a responder a la indignación de una población muy pequeña. Están dispuestos a lanzar algo y disculparse después. Pero muchos de estos problemas son decisiones de diseño que se pueden tomar antes de lanzar el producto”.
OpenAI ha enfrentado quejas similares sobre su producto estrella, ChatGPT.
En siete nuevas demandas presentadas la semana pasada en tribunales de California se afirma que el chatbot llevó a personas a suicidarse y a sufrir delirios dañinos, aun cuando no tenían problemas previos de salud mental.
Presentadas en nombre de seis adultos y un adolescente por el Social Media Victims Law Center y el Tech Justice Law Project, las demandas afirman que OpenAI lanzó a sabiendas GPT-4o prematuramente el año pasado, a pesar de las advertencias internas de que era peligrosamente adulador y psicológicamente manipulador.
Cuatro de las víctimas murieron por suicidio.
Public Citizen no participó en las demandas, pero Branch dijo que ve paralelismos en el lanzamiento apresurado de Sora.
Dijo que están “pisando el acelerador sin preocuparse por los daños. Mucho de esto parece previsible. Pero prefieren sacar un producto, hacer que la gente lo descargue, hacer que se vuelva adicta a él en lugar de hacer lo correcto y probar estas cosas de antemano y preocuparse por la situación de los usuarios cotidianos”.
La semana pasada, OpenAI respondió quejas de una asociación comercial japonesa que representa a famosos animadores como Studio Ghibli de Hayao Miyazaki y fabricantes de videojuegos como Bandai Namco y Square Enix.
La empresa dijo que muchos fanáticos del anime quieren interactuar con sus personajes favoritos, pero también ha establecido salvaguardias para evitar que se generen personajes conocidos sin el consentimiento de las personas que poseen los derechos de autor.
“Interactuamos directamente con estudios y titulares de derechos, escuchamos comentarios y aprendemos de cómo la gente está usando Sora 2, incluso en Japón, donde las industrias culturales y creativas son profundamente valoradas”, dijo OpenAI la semana pasada en un comunicado sobre la carta del grupo comercial.
Asistentes de IA abren la puerta a nuevas amenazas de piratería informática
Los asistentes de inteligencia artificial, protagonistas de la revolución de este sector, han creado una puerta de ingreso a los piratas informáticos para robar, borrar o modificar datos de los usuarios, advierten expertos en ciberseguridad.
Son programas informáticos que utilizan robots conversacionales, los chatbots, para realizar tareas que los humanos hacen en línea, como comprar un billete de avión o añadir eventos a un calendario.
Pero la capacidad de dar órdenes a los asistentes de IA con lenguaje natural hace posible cibertaques, incluso de personas sin grandes conocimientos técnicos.
“Estamos entrando en una era en la que la ciberseguridad ya no se trata de proteger a los usuarios de actores malintencionados con un conjunto de habilidades técnicas altamente especializadas", señala la startup de IA Perplexity en una publicación de blog.
“Por primera vez en décadas, estamos viendo vectores de ataque nuevos y novedosos que pueden provenir de cualquier lado”, apunta.
Estos “ataques de inyección” no son nuevos en el mundo de los hackers, pero antes requerían código informático ingeniosamente escrito y oculto para causar daño. Sin embargo, desde que las herramientas de IA pasaron de simplemente generar texto, imágenes o videos a ser asistentes que pueden explorar de forma independiente internet, el potencial de manipulación maliciosa ha aumentado.
Para Marti Jorda Roca, ingeniero en la española NeuralTrust, hay que considerar esta posibilidad en todos los niveles.
“La gente debe entender que el uso de la IA presenta peligros específicos de seguridad”, dijo, y consideró que las empresas “deben instalar salvaguardas (...) para encuadrar estos riesgos”.
Meta califica esta nueva amenaza, denominada “inyección de consulta”, como una “vulnerabilidad”, mientras que el responsable de seguridad informática de OpenAI, Dane Stuckey, la considera “un problema de seguridad no resuelto”.
Ambas compañías están invirtiendo miles de millones de dólares en IA, cuyo uso crece rápidamente junto con sus capacidades.
La inyección de consultas puede, en algunos casos, ocurrir en tiempo real cuando una solicitud del usuario (“resérvame una habitación de hotel”, por ejemplo) es manipulada por un actor hostil para convertirse en otra cosa (“transfiere 100 dólares a esta cuenta”).
Pero estas instrucciones también pueden estar ocultas en internet mientras los asistentes de IA integrados en navegadores encuentran datos en línea de calidad u origen dudosos, y potencialmente armados con comandos ocultos de hackers.
Todos los grandes actores de la IA generativa para público en general han tomado medidas y publicado cada uno recomendaciones para protegerse contra estos ataques o desbaratarlos.
Microsoft, por ejemplo, integró un detector de órdenes maliciosas, que se determina principalmente en función del lugar de origen de la instrucción. OpenAI alerta al usuario cuando el asistente de IA accede a un sitio sensible y solo permite que la operación continúe si el usuario humano lo observa directamente en tiempo real.
Otros sugieren pedir una validación explícita al usuario antes de realizar una tarea importante, como exportar datos o acceder a cuentas bancarias.
Para Johann Rehberger, investigador en ciberseguridad, “el gran desafío es que los ataques se perfeccionan”.
“Solo mejoran”, dice Rehberger sobre las tácticas de los hackers.
Queda por encontrar “el delicado equilibrio” entre seguridad y facilidad de uso, “porque las personas también quieren simplemente que la IA haga cosas por ellas”, sin tener que supervisarla constantemente, apunta.
Rehberger argumenta que los asistentes de IA no están lo suficientemente maduros como para ser confiables.
“Todavía no estamos en el punto de poder dejar que un asistente de IA opere de forma autónoma durante un largo período y realice de manera segura una tarea determinada. Termina por desviarse”.
(Con información de AP y AFP)