¿Qué sucede cuando se fusiona el pozo negro de redes sociales más tóxico del mundo con el chatbot de IA más desquiciado, desinhibido e intencionalmente «picante» del mundo?
Se parece mucho a lo que estamos viendo en X en este momento. Los usuarios han estado introduciendo imágenes en el chatbot Grok de xAI, que cuenta con un generador de imágenes y vídeos potente y en gran medida sin censura, para crear contenido explícito, incluso de gente corriente. La proliferación de pornografía deepfake en la plataforma se ha vuelto tan extrema que hoy en día, el chatbot Grok de xAI escupe aproximadamente una imagen sexual no consensuada cada minuto. En las últimas semanas, miles de usuarios se han sumado a la grotesca tendencia de usar Grok para desnudar principalmente a mujeres y niños (sí, niños) sin su consentimiento a través de una solución bastante obvia.
Para ser claros, no puedes pedirle desnudos a Grok, ni a la mayoría de las IA convencionales. Pero puedes pedirle a Grok que «desnude» una imagen que alguien publicó en X, o si eso no funciona, pedirle que le ponga un bikini diminuto e invisible. Estados Unidos tiene leyes contra este tipo de abuso y, sin embargo, el equipo de xAI se ha mostrado casi… indiferente al respecto. Las consultas de varios periodistas a la empresa sobre el asunto recibieron como respuesta mensajes automáticos de “mentiras de los medios heredados”. El director ejecutivo de xAI, Elon Musk, que acaba de recaudar con éxito 20.000 millones de dólares en financiación para la empresa, estuvo compartiendo fotos falsas en bikini de él mismo (advertencia de contenido) hasta hace poco.
Si bien Musk advirtió el 4 de enero que los usuarios «sufrirán consecuencias» si usan Grok para crear «imágenes ilegales», xAI no ha dado ninguna indicación de que eliminará o abordará las funciones principales que permiten a los usuarios crear dicho contenido, aunque algunas de las publicaciones más incriminatorias han sido eliminadas. xAI no ha respondido a la solicitud de comentarios de Diario Angelopolitano hasta el viernes por la mañana.
Nadie debería sorprenderse aquí. Era solo cuestión de tiempo antes de que el lodo tóxico en el que se ha convertido el sitio web anteriormente conocido como Twitter se combinara con Grok de xAI, que ha sido comercializado explícitamente por sus capacidades NSFW, para crear una nueva forma de violencia sexual. La compañía de Musk esencialmente ha creado una máquina de pornografía deepfake que hace que la creación de imágenes realistas y ofensivas de cualquier persona sea tan simple como escribir una respuesta en X. Peor aún, esas imágenes están alimentando una red social de cientos de millones de personas, que no solo las difunde aún más, sino que también puede recompensar implícitamente a los carteles con más seguidores y más atención.
Quizás se esté preguntando, como creo que ahora todos nos encontramos haciendo varias veces al día: ¿Cómo es legal todo esto? Para ser claros, no lo es. Pero los defensores y expertos legales dicen que las leyes actuales aún están muy por debajo de las protecciones que las víctimas necesitan, y el gran volumen de deepfakes que se crean en plataformas como X hace que las protecciones que existen sean muy difíciles de hacer cumplir.
“Las indicaciones que están permitidas o no” usando un chatbot como Grok “son el resultado de elecciones deliberadas e intencionales por parte de las empresas de tecnología que están implementando los modelos”, dijo Sandi Johnson, asesora principal de políticas legislativas de la Red Nacional de Violación, Abuso e Incesto.
«En cualquier otro contexto, cuando alguien hace la vista gorda ante el daño al que está contribuyendo activamente, se le considera responsable», dijo. «Las empresas de tecnología no deberían estar sujetas a ningún estándar diferente».
Primero, hablemos de cómo llegamos aquí.
«Que los agresores utilicen la tecnología para cometer abusos sexuales no es nada nuevo», dijo Johnson. «Han estado haciendo eso desde siempre».
Pero la IA consolidó un nuevo tipo de violencia sexual mediante el auge de los deepfakes.
La pornografía deepfake de celebridades femeninas, creada a su semejanza, pero sin su consentimiento, utilizando herramientas de inteligencia artificial más primitivas, ha estado circulando en Internet durante años, mucho antes de que ChatGPT se convirtiera en un nombre familiar.
Pero más recientemente, las aplicaciones y sitios web llamados nudify han hecho que sea extremadamente fácil para los usuarios, algunos de ellos adolescentes, convertir fotos inocuas de amigos, compañeros de clase y profesores en contenido explícito deepfake sin el consentimiento del sujeto.
La situación se ha vuelto tan grave que el año pasado, defensores como Johnson convencieron al Congreso para que aprobara la Ley Take It Down, que penaliza la pornografía deepfake no consensuada y exige que las empresas eliminen dichos materiales de sus plataformas dentro de las 48 horas posteriores a su denuncia o potencialmente enfrentarán multas y medidas cautelares. La disposición entrará en vigor este mes de mayo.
Para muchas víctimas, incluso si empresas como X comienzan a tomar medidas enérgicas contra la aplicación de la ley para entonces, llegará demasiado tarde para las víctimas que no deberían tener que esperar meses (o días) para que se eliminen dichas publicaciones.
«Para estas empresas de tecnología, siempre fue como ‘romper las cosas y arreglarlas más tarde'», dijo Johnson. «Hay que tener en cuenta que tan pronto como se genera una sola imagen (deepfake), se produce un daño irreparable».
X convirtió los deepfakes en una característica
La mayoría de las redes sociales y las principales plataformas de inteligencia artificial han cumplido en la medida de lo posible con las regulaciones estatales y federales emergentes en torno a la pornografía deepfake y, en particular, el material de abuso sexual infantil.
No sólo porque tales materiales son “flagrante y radiactivamente ilegales”, dijo Riana Pfefferkorn, miembro de políticas del Instituto Stanford para la Inteligencia Artificial Centrada en el Humano, “sino también porque es asqueroso y la mayoría de las empresas no desean que ninguna asociación de su marca sea una ventanilla única para ello”.
Pero el xAI de Musk parece ser la excepción.
Desde que la compañía presentó sus capacidades de generación de video en “modo picante” en X el año pasado, los observadores han estado dando la alarma sobre lo que esencialmente se ha convertido en una herramienta de pornografía deepfake “verticalmente integrada”, dijo Pfefferkorn.
La mayoría de las aplicaciones de “nudificación” requieren que los usuarios primero descarguen una foto, tal vez de Instagram o Facebook, y luego la carguen en cualquier plataforma que estén usando. Si quieren compartir el deepfake, deben descargarlo de la aplicación y enviarlo a través de otra plataforma de mensajería, como Snapchat.
Estos múltiples puntos de fricción dieron a los reguladores algunas oportunidades cruciales para interceptar contenido no consensuado, con una especie de sistema de defensa estilo queso suizo. Tal vez no pudieran detenerlo todo, pero podrían prohibir algunas aplicaciones de “nudificación” en las tiendas de aplicaciones. Han logrado que Meta tome medidas enérgicas contra los anuncios que promocionan las aplicaciones entre los adolescentes.
Pero en X, la creación de deepfakes no consensuales usando Grok se ha vuelto casi completamente sencilla, lo que permite a los usuarios obtener fotos, generar deepfakes y compartirlas todas de una sola vez.
«Eso importaría menos si fuera una comunidad de redes sociales para monjas, pero es una comunidad de redes sociales para nazis», dijo Pfefferkorn, refiriéndose al giro de extrema derecha de X en los últimos años. El resultado es una crisis deepfake no consensuada que parece estar fuera de control.
En los últimos días, los usuarios han creado 84 veces más deepfakes sexualizados en X por hora que en los otros cinco principales sitios de deepfake combinados, según la investigadora independiente de deepfake y redes sociales Genevieve Oh. Y esas imágenes pueden compartirse mucho más rápida y ampliamente que en cualquier otro lugar. «El daño emocional y a la reputación de la persona representada es ahora exponencialmente mayor» que en otros sitios deepfake, dijo Wayne Unger, profesor asistente de derecho especializado en tecnología emergente en la Universidad de Quinnipiac, «porque X tiene cientos de millones de usuarios que pueden ver la imagen».
Sería prácticamente imposible para X moderar individualmente cada una de esas imágenes o videos no consensuados, incluso si quisiera, o incluso si la compañía no hubiera despedido a la mayoría de sus moderadores cuando Musk asumió el cargo en 2022.
¿X será responsable de algo de esto?
Si el mismo tipo de imágenes criminales aparecieran en una revista o publicación en línea, entonces la empresa podría ser considerada responsable, sujeta a fuertes multas y posibles cargos penales.
Las plataformas de redes sociales como X no enfrentan las mismas consecuencias porque la Sección 230 de la Ley de Decencia en las Comunicaciones de 1996 protege a las plataformas de Internet de la responsabilidad por gran parte de lo que los usuarios hacen o dicen en sus plataformas, aunque con algunas excepciones notables, incluida la pornografía infantil. La cláusula ha sido un pilar de la libertad de expresión en Internet (un mundo en el que las plataformas fueran consideradas responsables de todo lo que contienen estaría mucho más restringido), pero Johnson dice que la cláusula también se ha convertido en un “escudo financiero” para las empresas que no están dispuestas a moderar sus plataformas.
Sin embargo, con el auge de la IA, ese escudo finalmente podría estar empezando a resquebrajarse, afirmó Unger. Cree que empresas como xAI no deberían estar cubiertas por la Sección 230 porque ya no son meros anfitriones de contenido ilegal o de odio, sino, a través de sus propios chatbots, esencialmente creadores del mismo.
«X ha tomado una decisión de diseño para permitir a Grok generar imágenes sexualmente explícitas de adultos y niños», dijo. «Es posible que el usuario haya solicitado a Grok que lo genere», pero la empresa «tomó la decisión de lanzar un producto que pueda producirlo en primer lugar».
Unger no espera que xAI, o grupos industriales como NetChoice, retrocedan sin una lucha legal contra cualquier intento de legislar aún más la moderación de contenido o regular herramientas fáciles de abusar como Grok. «Tal vez concederán una parte menor», ya que las leyes que rigen (la pornografía infantil) son muy estrictas, dijo, pero «al menos argumentarán que Grok debería poder hacerlo con los adultos».
En cualquier caso, la indignación pública en respuesta al porno deepfake Grokpocalypse finalmente puede obligar a un ajuste de cuentas sobre un tema que ha estado en las sombras durante mucho tiempo. En todo el mundo, países como India, Francia y Malasia han iniciado investigaciones sobre las imágenes sexualizadas que inundan X. Finalmente, Musk publicó en X que quienes generen contenido ilegal enfrentarán consecuencias, pero esto va más allá de los propios usuarios.
«Esto no es una computadora que hace esto», dijo Johnson. «Estas son decisiones deliberadas que toman las personas que dirigen estas empresas y deben rendir cuentas».
