MENÚ
Apps, webs, bots y herramientas de generación de imágenes con IA: las opciones para crear deepfakes (vídeos manipulados con IA para suplantar la identidad) o imágenes con IA de carácter sexual, sin el consentimiento de las víctimas, son cada vez más y se pueden conseguir fácilmente en tiendas de aplicaciones, webs u otras plataformas. Incluso se promocionan en Instagram, Facebook y TikTok con imágenes y vídeos creados con IA que sexualizan a mujeres famosas, a pesar de que estas redes sociales prohíben estos contenidos.
Estos contenidos afectan principalmente a mujeres y vulneran los derechos al honor y la imagen, además de poder conllevar un delito de injurias. Las abogadas consultadas por Maldita.es sostienen que los responsables son los usuarios, no las herramientas, y que estas no son ilegales por sí mismas, aunque su comercialización puede considerarse ilícita si no cumple con la Ley Europea de Inteligencia Artificial, que exigirá a los sistemas de IA generativa que identifiquen sus contenidos como creados con inteligencia artificial, además de prevenir la creación de contenidos ilegales.
A un clic, ¿de qué hablamos en este tema? Pincha para ampliar
Los contenidos porno creados con IA vulneran el derecho a la imagen y el honor de las víctimas, además de poder constituir un delito de injurias
Usar la IA generativa para crear imágenes y vídeos que ponen en situaciones pornográficas e íntimas a personas, como desnudándolas o mostrándolas en actos sexuales es cada vez más fácil y accesible para los usuarios. Existen apps móviles disponibles en las tiendas de aplicaciones, sitios webs especializados en deepfakes, bots en Telegram que desnudan imágenes, e incluso herramientas de generación de imágenes con IA, como Grok, que permiten crear contenidos que sexualizan a personas, que suelen ser mujeres famosas, y que pueden tener consecuencias en la salud mental de las víctimas.
Independiente de la tecnología que se use, la utilización de nuestra imagen personal sin nuestro consentimiento (y, en concreto, para contenido pornográfico) supone una vulneración de nuestro derecho a la imagen y al honor. Si se trata de un desnudo, un contenido pornográfico o de tipo sexual, es un delito contra la intimidad, y además se trata de nuestra imagen, por lo que hay una vulneración de nuestra protección de datos.
“El uso de herramientas de IA generativa es ilegal si trata datos personales sin consentimiento o si suplantan la identidad de alguien. Esto está claramente prohibido por el Reglamento General de Protección de Datos (RGPD)”, explica Paula Ortiz, abogada especializada en protección de datos y privacidad y maldita que nos ha prestado sus superpoderes. “Además de infringir el RGPD, podría derivarse en responsabilidades penales o civiles por daños morales”, concluye.
Eduard Blasi, abogado, cofundador de Tech and Law y maldito que nos ha prestado sus superpoderes, señaló a Maldita.es que también se podría considerar un delito de revelación de secretos (art. 179 del CP) y acoso sexual (art. 184 del Código Penal). Si los deepfakes se usan para hacer daño a la víctima, se trataría de un delito de injurias que conlleva una pena de tres a siete meses o de seis a 14 si es con agravantes.
En España, hay planes de tipificar este tipo de contenidos. Maite Sanz de Galdeano, abogada experta en protección de datos, indica a Maldita.es que el anteproyecto de ley orgánica para la protección de los menores en los entornos digitales “pretende modificar el código penal tipificando concretamente como delito los deepfakes”. Por su parte, Maitane Valdecantos, abogada especializada en propiedad intelectual y derechos digitales, señala a Maldita.es que la propuesta de ley orgánica de regulación de las simulaciones de imágenes y voces de personas generadas por medio de la inteligencia artificial “busca reforzar la protección de derechos como el honor, la imagen y al intimidad. Su objetivo es adaptar la nueva normativa europea a la legislación nacional”.
Los responsables son los usuarios que crean contenidos sexuales con IA, no las herramientas que ofrecen estos servicios
Entonces, ¿es responsable el usuario que crea la imagen o vídeo sexual con IA o la herramienta que lo permite? Sanz de Galdeano indica que “en España, quien crea estos contenidos de manera ilícita es directamente responsable por los daños causados”. En ese sentido, la experta aclara que, en principio, la aplicación no es responsable, “en la medida que no se hayan establecido limitaciones o previsiones legales o reglamentarias sobre su comercialización en Europa y España”.
Lo mismo afirma Valdecantos: “La responsabilidad no recae directamente en la herramienta utilizada, sino en el usuario, quien asume una doble responsabilidad, penal y civil. A través de un procedimiento penal, se puede incluir una acción de responsabilidad civil para indemnizar a la víctima, lo que puede abarcar los daños morales sufridos”.
Si te encuentras tu cara o la de un menor a tu cargo en una imagen sexual creada con IA (o con cualquier otra tecnología) existen vías penales y civiles para denunciarlo, así como canales para reclamar ante la plataforma o ante las autoridades de protección de datos.
Las herramientas no son ilegales en sí mismas, pero su comercialización puede considerarse ilícita si no cumple con la Ley Europea de Inteligencia Artificial
Sobre la legalidad de las herramientas que crean deepfakes o imágenes porno con IA, Sanz de Galdeano afirma que “no son ilegales per se, pero su comercialización sí podría estar sometida a normativa reguladora, como la prohibición de venderse a menores o incluir advertencias de responsabilidad por su mal uso”. Valdecantos comparte este punto: “Las aplicaciones y herramientas que permiten crear deepfakes no son ilegales por sí mismas. Estas tecnologías tienen diversos usos legítimos, como en el entretenimiento, la educación o la investigación”.
En ese sentido, Sanz de Galdeano matiza que “una aplicación diseñada exclusivamente para generar contenido ilegal, como deepfakes sexuales sin consentimiento, podría ser considerada ilícita y los responsables de su desarrollo y distribución podrían ser sancionados”. Aunque la experta recuerda que cualquier tecnología se puede usar para fines distintos a los previstos “y eso no depende del desarrollador, sino de la persona que la utiliza”.
“Si se utilizase la app de mala manera y después se verifica que no se han llevado a cabo las obligaciones previas por la Ley de IA, podríamos decir que es ilícita”, especifica Sanz de Galdeano. Aunque la especialista aclara que “lo ilícito no es la propia app, sino su comercialización si no cumple con los requisitos establecidos. Puede ser lícito producir una determinada app y también su distribución en determinados ámbitos, pero no su distribución en un mercado indiscriminado. Por eso la licitud de una app no puede determinarse en abstracto”.
La Ley Europea de Inteligencia Artificial o AI Act, que regula los sistemas de inteligencia artificial que operan en los países miembros, supondrá obligaciones de transparencia para algunos sistemas de IA. Desde el 26 de agosto de 2026, “los responsables del despliegue de un sistema de IA que genere o manipule imágenes o contenidos de audio o vídeo que constituyan una ultrasuplantación harán público que estos contenidos o imágenes han sido generados o manipulados de manera artificial” (artículo 50, punto 4).
Según esta regulación, una “ultrasuplantación” es “un contenido de imagen, audio o vídeo generado o manipulado por una IA que se asemeja a personas, objetos, lugares, entidades o sucesos reales y que puede inducir a una persona a pensar erróneamente que son auténticos o verídicos”.
Valdecantos también advierte de que, según esta ley, “los proveedores de sistemas de IA generativa tienen la obligación de prevenir la creación de contenidos ilegales y de garantizar una supervisión humana, así como documentar los datos utilizados para entrenar estos sistemas”. Por su parte, Ortiz añade que “aunque la Ley de IA no incluye una prohibición específica sobre la creación de contenido pornográfico con IA, sí establece restricciones cuando este afecta a menores o colectivos vulnerables, lo cual está expresamente prohibido”.
En ese sentido, Valdecantos recalca que el incumplimiento con estas obligaciones puede resultar en sanciones económicas. Según el artículo 99, las multas para los operadores por incumplir estas obligaciones pueden ser de hasta 15 millones de euros o, si el infractor es una empresa, de hasta el 3% de su facturación total anual mundial. La ley define un operador como “un proveedor, fabricante del producto, responsable del despliegue, representante autorizado, importador o distribuidor”. “Es importante tener en cuenta que cualquier empresa que esté operando en la UE, independientemente de donde sea, deberá cumplir con esta regulación”, aclara Sanz de Galdeano.
Sanz de Galdeano agrega que estas aplicaciones también deben cumplir con el RGPD: “De ahí la importancia de verificar sus avisos legales, incluida la Política de privacidad. Muy difícilmente superarían una evaluación de impacto si no aplican muchas medidas de prevención”.
En este artículo han colaborado con sus superpoderes el maldito Eduard Blasi, experto en derecho digital y cofundador de Tech and Law, y la maldita Paula Ortiz, abogada especializada en protección de datos y privacidad.
Paula Ortiz forma parte de Superpoderosas, un proyecto de Maldita.es que busca aumentar la presencia de científicas y expertas en el discurso público a través de la colaboración en la lucha contra la desinformación.
Gracias a vuestros superpoderes, conocimientos y experiencia podemos luchar más y mejor contra la mentira. La comunidad de Maldita.es sois imprescindibles para parar la desinformación. Ayúdanos en esta batalla: mándanos los bulos que te lleguen a nuestro servicio de Whatsapp, préstanos tus superpoderes, difunde nuestros desmentidos y hazte Embajador.
