Advertencia de contenido: esta investigación aborda temas sensibles relacionados con sexualización de menores y pornografía infantil.
Una investigación de la Fundación Maldita.es ha encontrado docenas de cuentas de TikTok que publican vídeos generados con IA sexualizando chicas con apariencia de menores y que, a menudo, dirigen a los usuarios a Telegram, donde se les ofrece pornografía infantil. En sus propias biografías, algunas de estas cuentas describen abiertamente su contenido como “chicas de instituto deliciosas” o “modelos junior”. En los vídeos, las chicas aparecen frecuentemente con ropa ajustada que insinúa sus genitales o pezones, o con uniformes escolares sugerentes. Incluso los vídeos más sutiles, como los de niñas pequeñas lamiendo helados, están llenos de comentarios sexuales explícitos.
Se notificó a TikTok una selección de estas cuentas: un grupo de 15 que acumula casi 300.000 seguidores y cuyos 3.900 vídeos tienen más de 2 millones de “me gusta” en total. Las normas de la plataforma prohíben “cuentas centradas en imágenes de jóvenes en poses o expresiones faciales sexualizadas generadas con IA”, pero TikTok no encontró “ninguna infracción” en 14 de las cuentas reportadas (93%), y comunicó que sólo había restringido (sin eliminar) una de ellas.
Vídeos que nunca deberían haber estado en TikTok, según sus propias normas
Las normas comunitarias de TikTok prohíben explícitamente “cuentas centradas en imágenes de IA de jóvenes con atuendos para adultos, o poses o expresiones faciales sexualizadas”, así como “representaciones sexualizadas, fetichizadas o victimizantes”. Sin embargo, el tamaño e impacto de estas cuentas apunta claramente a una falta de aplicación de las normas o a una moderación automatizada incapaz de identificar elementos evidentes, aunque no siempre obvios, de sexualización de menores.
Reportamos 15 cuentas y 60 videos a TikTok usando la función de denuncia, disponible para todos los usuarios. Seleccionamos la opción para alertar sobre “conducta sugestiva sexual por parte de menores”, ante la falta de una alternativa más precisa y detallada. Para 14 de las cuentas (93%), TikTok respondió que no infringían sus normas y, en un sólo caso, comunicó haber restringido la cuenta. Apelamos la decisión de TikTok para cada uno de sus rechazos y explicamos detalladamente por qué las cuentas sí violaban sus políticas, pero al poco tiempo (exactamente 30 minutos después de apelar en absolutamente todos los casos), la plataforma reiteró su decisión inicial.
En cuanto a los vídeos generados con IA que sexualizaban a menores, TikTok indicó que 46 de ellos (76,67%) no violaban sus políticas y eliminó o restringió solo 14 (23,33%). Tras apelar esas primeras negativas, TikTok eliminó tres vídeos más y restringió otro. A continuación puedes ver capturas de pantalla de algunos vídeos que TikTok no consideró “sexualizados” para que puedas juzgarlo por ti mismo:
¿Son ilegales estos vídeos? Es complicado
Las cuentas y los vídeos que reportamos incumplían claramente las normas comunitarias de TikTok, pero ¿son contenido ilegal? La legislación vigente en países como España puede resultar ambigua respecto al contenido sexualizado generado con IA que involucra menores, principalmente porque los menores que aparecen en los vídeos no existen realmente. Sin embargo, el experto legal en IA Marcos Judel señala que aún podría considerarse pornografía infantil, que es ilegal de producir y distribuir: “No toda imagen de un adolescente en traje de baño es pornografía infantil, pero una imagen hiperfocalizada de partes del cuerpo generada con intención sexual sí puede serlo”.
Además, TikTok tiene una obligación legal bajo la Ley de Servicios Digitales de la Unión Europea (DSA, por sus siglas en inglés) de mitigar de manera efectiva los riesgos sistémicos que surgen de su plataforma, particularmente aquellos que afectan “los derechos del niño” o que tienen efectos negativos sobre “la protección de los menores”. Precisamente esos son los efectos sobre los que advierten los expertos. La psicóloga Mamen Bueno afirma que este tipo de contenido generado con IA puede “reforzar patrones de consumo en personas con intereses dañinos hacia menores”, y concreta: “La difusión de contenido sexualizado de ‘menores ficticios’ dificulta socialmente la distinción entre lo permitido y lo éticamente inadmisible, alimentando una demanda que puede trasladarse después hacia menores reales”.
Este riesgo específico relacionado con contenido generado con IA que representa material sexual abusivo infantil ya ha sido documentado por la Comisión Europea y la Junta de Servicios Digitales en su primer informe sobre riesgos sistémicos prominentes y recurrentes bajo la DSA, basado en evidencia proporcionada por organizaciones de la sociedad civil y las propias plataformas.
El papel de la mitigación efectiva del riesgo en este caso es aún más relevante. Muchos de los actores involucrados en reclutar consumidores de pornografía infantil en TikTok dependen no sólo de la infraestructura básica de la plataforma, sino que se benefician de su amplificación algorítmica y de herramientas de creación específicas proporcionadas por TikTok. Muchos de los vídeos se generan dentro de la plataforma usando TikTok AI Alive y algunas de las cuentas forman parte del programa de suscripción de TikTok.
Destino final: la venta de pornografía infantil real en Telegram y otros
Al revisar los comentarios crudos debajo de los vídeos, algo nos llamó la atención: muchos publicitan diferentes plataformas. Al dirigirnos a algunas de ellas, como a conversaciones privadas de Telegram, se nos ofrecía comprar pornografía infantil real. Algunas cuentas de TikTok incluían directamente enlaces a Telegram en sus biografías y, tras el contacto, preguntaban qué tipo de “material” nos interesaba.
Algunas cuentas respondieron a nuestros mensajes directos en TikTok con enlaces a sitios externos que vendían vídeos e imágenes generadas con IA que sexualizaban a menores, con precios que iban de 50 a 150 euros. Al menos una cuenta con más de 13.000 seguidores nos dirigió a hacer un pedido específico y pagar mediante su cuenta de PayPal. Otra utilizaba Patreon, una plataforma de gestión de membresías que ya había sido mencionada en una investigación de la BBC sobre la venta de vídeos que supuestamente representaban abuso infantil. Ninguna transacción se realizó.
El problema claramente no se limita a TikTok, Telegram o los servicios de pago en línea mencionados. Muchas cuentas compartían enlaces indicando que alojaban contenido similar en servicios como YouTube, Google Drive o Twitter (ahora X). Fundación Maldita.es ha denunciado ante la policía las cuentas de Telegram y los sitios web que ofrecían pornografía infantil para que sean investigados.
Si estás en España y necesitas ayuda o deseas denunciar cualquier situación relacionada con abuso de menores, puedes contactar de forma confidencial con la Línea de Ayuda en Ciberseguridad del INCIBE (017) o utilizar su canal anónimo para reportar contenido CSAM. También puedes llamar al teléfono ANAR de Ayuda a Niños/as y Adolescentes (116 111) o denunciar a través de la Policía Nacional (091) o Guardia Civil (062).