Desde finales de diciembre de 2025, Grok, el chatbot de inteligencia artificial de X, respondió a las solicitudes de muchos usuarios de desnudar a personas reales, convirtiendo sus fotos en material sexualmente explícito. Tras el uso de esta función, la plataforma social se enfrentó a un escrutinio global por permitir a los usuarios generar representaciones sexualmente explícitas no consensuadas de personas reales.
La cuenta de Grok publicó miles de imágenes “desnudas” y sexualmente sugerentes por hora. Aún más inquietante, Grok generó imágenes sexualizadas y material sexualmente explícito de menores.
Respuesta de X: Culpen a los usuarios de la plataforma, no a nosotros. La compañía emitió un comunicado el 3 de enero de 2026, en el que afirmaba: “Cualquiera que use o incite a Grok a crear contenido ilegal sufrirá las mismas consecuencias que si subiera contenido ilegal”. No está claro qué medidas, si las hubiera, tomó X contra los usuarios.
Como jurista que estudia la intersección del derecho y las tecnologías emergentes, considero que esta oleada de imágenes no consensuadas es un resultado predecible de la combinación de las laxas políticas de moderación de contenido de X y la accesibilidad de potentes herramientas de IA generativa.
Usuarios objetivo
El rápido auge de la IA generativa dio lugar a innumerables sitios web, aplicaciones y chatbots que permiten a los usuarios producir material sexualmente explícito, incluyendo la “desnudez” de imágenes de niños reales. Sin embargo, estas aplicaciones y sitios web no son tan conocidos ni utilizados como las principales plataformas de redes sociales, como X.
Las legislaturas estatales y el Congreso reaccionaron con relativa rapidez. En mayo de 2025, el Congreso promulgó la Ley de Retirada de Contenidos (Take It Down Act), que tipifica como delito la publicación no consentida de material sexualmente explícito de personas reales. Esta ley penaliza tanto la publicación no consentida de “representaciones visuales íntimas” de personas identificables como las representaciones generadas por IA o por ordenador de personas identificables.
Estas disposiciones penales se aplican únicamente a quienes publiquen contenido sexualmente explícito, no a las plataformas que lo distribuyen, como las redes sociales.
Sin embargo, otras disposiciones de la Ley de Retirada de Imágenes exigen que las plataformas establezcan un proceso para que las personas representadas soliciten la eliminación de las imágenes. Una vez presentada la solicitud de retirada, la plataforma debe retirar la representación sexualmente explícita en un plazo de 48 horas. Sin embargo, estos requisitos no entrarán en vigor hasta el 19 de mayo de 2026.
No te pierdas: Grok reconoce publicación de imágenes sexualizadas de menores
Problemas con las plataformas
Mientras tanto, las solicitudes de los usuarios para retirar las imágenes sexualmente explícitas producidas por Grok aparentemente no recibieron respuesta. Ni siquiera la madre de uno de los hijos de Elon Musk, Ashley St. Clair, consiguió que X elimine las imágenes sexualizadas falsas de ella que los fans de Musk crearon con Grok. The Guardian informa que St. Clair afirmó que sus “quejas al personal de X no surtieron efecto”.
Esto no me sorprende, ya que Musk desmanteló el grupo asesor de Confianza y Seguridad de Twitter poco después de adquirir la plataforma y despidió al 80% de los ingenieros de la compañía dedicados a la confianza y la seguridad.
Los equipos de confianza y seguridad suelen ser responsables de la moderación de contenido y de las iniciativas para prevenir el abuso en las empresas tecnológicas.
Públicamente, parece que Musk restó importancia a la gravedad de la situación. Según informes, Musk publicó emojis de risa y llanto en respuesta a algunas de las imágenes, y X respondió a la pregunta de un periodista de Reuters con la respuesta automática “Mentiras de los medios tradicionales”.
Límites de las demandas
Demandas civiles como la interpuesta por los padres de Adam Raine, un adolescente que se suicidó en abril de 2025 tras interactuar con ChatGPT de OpenAI, son una forma de exigir responsabilidades a las plataformas. Sin embargo, las demandas se enfrentan a una ardua batalla en Estados Unidos, dada la Sección 230 de la Ley de Decencia en las Comunicaciones, que generalmente exime a las plataformas de redes sociales de responsabilidad legal por el contenido que los usuarios publican en ellas.
Sin embargo, el juez de la Corte Suprema Clarence Thomas y numerosos juristas han argumentado que la Sección 230 se ha aplicado de forma demasiado amplia por los tribunales. En general, coincido en que la inmunidad de la Sección 230 debe limitarse, ya que la inmunidad de las empresas tecnológicas y sus plataformas por sus decisiones de diseño deliberadas (cómo se crea su software, cómo funciona y qué produce) queda fuera del alcance de las protecciones de la Sección 230.
En este caso, X, consciente o negligentemente, no implementó las medidas de seguridad y los controles en Grok para evitar que los usuarios generaran imágenes sexualmente explícitas de personas identificables. Aunque Musk y X creen que los usuarios deberían tener la capacidad de generar imágenes sexualmente explícitas de adultos usando Grok, creo que X no debería eludir la responsabilidad por crear un producto que genera material sexualmente explícito de niños de la vida real.
Te podría interesar: Por qué no fiarse de Grok, la IA de X, para verificar contenidos
Barreras regulatorias
Si las personas no pueden exigir responsabilidades a plataformas como X mediante demandas civiles, entonces le corresponde al gobierno federal investigarlas y regularlas. La Comisión Federal de Comercio, el Departamento de Justicia o el Congreso, por ejemplo, podrían investigar a X por la generación de material sexualmente explícito no consensuado por parte de Grok. Pero con los renovados vínculos políticos de Musk con el presidente Donald Trump, no preveo investigaciones serias ni rendición de cuentas a corto plazo.
Por ahora, los reguladores internacionales iniciaron investigaciones contra X y Grok. Las autoridades francesas comenzaron investigaciones sobre la proliferación de deepfakes sexualmente explícitos de Grok, y el Consejo Irlandés para las Libertades Civiles y los Derechos Digitales de Irlanda instaron encarecidamente a la policía nacional irlandesa a investigar la oleada masiva de desnudos. La agencia reguladora del Reino Unido, la Oficina de Comunicaciones, afirmó estar investigando el asunto, y, se informa, los reguladores de la Comisión Europea, India y Malasia también están investigando a X.
En Estados Unidos, quizás la mejor opción hasta que la Ley de Retirada entre en vigor en mayo sea que la gente exija medidas a los funcionarios electos.
*Wayne Unger es profesor asociado de Derecho en la Universidad de Quinnipiac.
Este texto fue publicado originalmente en The Conversation
Poco texto y gran información en nuestro X, ¡síguenos!
