Demanda a la red social X y a Grok por generar material sexual mediante IA
Dos organizaciones en Países Bajos han presentado una demanda urgente contra la herramienta de inteligencia artificial (IA) de Grok y la plataforma X, al considerar que permiten la generación y difusión de material sexual ilegal, incluido contenido que podría constituir abuso sexual infantil.
El centro especializado en abuso en línea Offlimits y el Fondo de Ayuda a las Víctimas explicaron en un comunicado que, a través de funciones como "apps para desnudar", se pueden crear imágenes realistas mediante Inteligencia Artificial (IA) en las que personas, incluidos menores de edad, aparecen parcial o totalmente desnudas sin su consentimiento.
La versión Grok 4.2, lanzada la semana pasada, permite a los usuarios crear con IA videos completos a partir de una sola fotografía.
Según las entidades, este tipo de contenido vulnera la legislación neerlandesa y europea y puede ser punible penalmente.
La demanda exige que Grok y X cesen de inmediato las funcionalidades que permiten "desnudar" digitalmente a personas sin su autorización, así como aquellas que posibilitan la generación de material que pueda calificarse como abuso sexual infantil.
Las organizaciones reclaman que, en caso de incumplimiento, se imponga una multa coercitiva de 100.000 euros por cada día que continúen activas estas funciones.
Offlimits advirtió de un aumento "explosivo" de la violencia sexual en internet impulsada por herramientas de IA.
"Las imágenes editadas o creadas con IA se utilizan para acosar, humillar o intimidar sexualmente a las víctimas en internet", afirmó su director ejecutivo, Robbert Hoving, quien subrayó que "estamos ante un accidente en cámara lenta".
Según datos citados por las organizaciones, uno de cada dos jóvenes en Países Bajos ha sufrido alguna forma de intimidación o abuso sexual en internet, y entre decenas de miles podrían haber sido víctimas de imágenes de contenido sexual creadas mediante IA. Solo en el último año, la cifra se situaría entre 17.000 y 39.000 jóvenes de entre 12 y 25 años.
La directora del Fondo, Ineke Sybesma, sostuvo que para las víctimas no existe diferencia entre una imagen real y una generada con IA, puesto que "la vergüenza es real, las consecuencias son reales, y esto no para por sí solo, porque internet no olvida", indicó.
Las funcionalidades ofrecidas vulnerarían diversas normas, entre ellas el derecho a la privacidad, el Reglamento General de Protección de Datos, la Ley de Servicios Digitales de la Unión Europea, el Código Penal neerlandés y el derecho a la propia imagen. También recordaron que la jurisprudencia europea exige consentimiento demostrable para la difusión de material sexual.
Offlimits señaló que la eliminación posterior del contenido no es suficiente cuando el propio diseño de la plataforma facilita el abuso.
El caso será examinado por un tribunal de Ámsterdam el 12 de marzo.