MENÚ
En Telegram hay bots que, con unos clics y la ayuda de inteligencia artificial, pueden quitar la ropa a cualquier foto de una persona o ponerla en situaciones sexuales al gusto del usuario (y sin que medie el consentimiento de la víctima). Existen por lo menos desde 2020, como reportó la revista Wired. Sin embargo, un análisis de 2024 de la misma revista demuestra cómo han crecido: 50 bots detectados acumulaban cuatro millones de usuarios mensuales.
En Maldita.es hemos analizado dos de estos bots con más de 338.600 usuarios mensuales en total (en el momento de publicación de este artículo no están disponibles). Utilizaban técnicas de gamificación para que los usuarios volvieran a usarlos una y otra vez, como sorteos, bonificaciones por crear imágenes y créditos por invitar a amigos, lo que también les permitía hacer crecer sus audiencias e ingresos.
La falta de moderación y la facilidad para crear estos bots podrían ser las razones por las que proliferan en Telegram, según los expertos consultados por Maldita.es, que también indican que la plataforma de mensajería debe cumplir con la Ley de Servicios Digitales (DSA) de la Unión Europea y eliminar estos bots si sabe que circulan. Los especialistas afirman que esta tendencia preocupante se podría combatir con legislación, más moderación y educación.
Los bots analizados por Maldita.es utilizan técnicas de gamificación para hacer que los usuarios vuelvan a usarlos y hacer crecer sus audiencias e ingresos
En Maldita.es hemos analizado dos de estos bots que permiten crear contenido sexual con IA que tenían más de 338.600 usuarios mensuales en total al momento del análisis. Desde Maldita.es no hemos generado ni modificado ninguna imagen con ellos, sólo navegamos por la interfaz. Ninguno de los bots está disponible al momento de publicación de este artículo. Antes de poder acceder a los servicios, ambos exigieron que nos uniéramos a un canal general donde se publicaban sorteos, anunciaban actualizaciones y algunos usuarios compartían sus creaciones, creando una comunidad alrededor de estas herramientas.
Después nos pidieron aceptar algunos términos para usarlos, como la prohibición de procesar fotos de menores, aunque no indicaban si controlaban esto de alguna manera. Uno de ellos exigía ser mayor de edad para utilizarlo; sin embargo, tampoco parecía haber mecanismos para comprobarlo. También afirmaba no almacenar las imágenes generadas, pero que no podía “garantizar que terceros no accedan, divulguen, alteren o destruyan la información del usuario”.
En ambos bots, los usuarios comienzan con algunos créditos de regalo para gastar, lo suficiente para generar aproximadamente un par de imágenes modificadas. Un menú desplegable enseña al usuario una serie de opciones para editar la imagen que quiera. Por ejemplo, uno de estos bots ofrecía desde “desnudos, “lencería” y “bikini”, hasta “semen en la cara” o “sexo oral”.
En Maldita.es hemos detectado el uso de técnicas de gamificación en ambos bots, es decir, mecánicas habituales de juegos (sistemas de puntuación, recompensas, retos, etc.) para hacer que los usuarios vuelvan a estas herramientas, una y otra vez. Por ejemplo, los bots ofrecían comisiones o créditos a los usuarios si invitaban a sus amigos a utilizar la app. Uno de ellos realizaba sorteos diarios “con un premio máximo de cinco créditos”, además de dar bonificaciones por crear imágenes. El otro, ofrecía “regalos diarios” a sus usuarios.
Estos bots aceptan diversos métodos de pago, como PayPal, tarjeta de créditos e incluso criptomonedas. En uno de ellos, con 3 dólares (unos 2,8 euros) podíamos comprar 5,7 créditos, lo que nos permitía modificar unas siete imágenes. Javi Cantón, investigador del Departamento de Ciencias de la Computación e Inteligencia Artificial de la Universidad de Granada, explica a Maldita.es que los administradores obtienen beneficios de varias maneras, por ejemplo, a través de suscripción o pago para desbloquear funciones o expandiendo su red: “Aunque [Telegram] no tenga un beneficio directo, se beneficia indirectamente al conseguir una mayor cantidad de usuarios activos, lo que incrementa el valor de su plataforma en términos de alcance y posicionamiento en el ecosistema digital”.
La falta de moderación y la facilidad para crear estos bots pueden ser las razones de que abunden en Telegram, que debe eliminarlos si sabe que circulan, según la DSA
En Maldita.es hemos analizado dos de estos chatbots, pero investigaciones como las de Wired, donde encontraron 50 de estos, indican que podrían haber muchos más en la plataforma. ¿Por qué proliferan en Telegram? Cantón lo atribuye a la “laxitud en la moderación, principalmente porque la plataforma es conocida por su enfoque en la privacidad y la encriptación de las conversaciones”. Además, apunta que Telegram hace muy fácil crear estos bots, sin exigir un control de verificación de contenidos. “Esta combinación de encriptación punto a punto, canales públicos o privados que se crean fácilmente y la ausencia de mecanismos de moderación centralizada de contenidos facilita que estos servicios operen sin demasiadas restricciones”, concluye.
José Gutiérrez, informático experto en seguridad informática y maldito que nos ha prestado sus superpoderes, explica que los bots de Telegram “son una forma de acceder al sistema que los crea”, es decir, son aplicaciones de terceros que se ejecutan dentro de la app. Además, indica que hay algunos de “gran utilidad que no suponen ningún comportamiento ilegal, como traductores y buscadores de contenido”. Sin embargo, como advierte el análisis de Wired, estos bots que desnudan imágenes pueden usarse para crear contenido pornográfico de menores, algo penado por el Código Penal con de uno a tres años de prisión. En el caso de víctimas mayores de edad, la creación de estos contenidos es una vulneración al derecho al honor y la imagen, y puede constituir un delito de injurias.
En ese sentido, Sergio Carrasco, abogado e ingeniero en Telecomunicaciones e Informática, explica a Maldita.es que Telegram debe cumplir con las obligaciones generales de la Ley de Servicios Digitales (DSA) de la Unión Europea. Entre ellas, la eliminación de contenidos ilegales y la cooperación con las autoridades. “Si Telegram aloja bots que generan contenido ilegal, como deepfakes sexuales, puede enfrentar consecuencias si no actúa con la debida diligencia para eliminarlos una vez tenga conocimiento de su existencia”, aclara.
En España, la responsabilidad recae sobre los usuarios que crean estos contenidos, no sobre las herramientas. Estas “no son ilegales per se, pero su comercialización sí podría estar sometida a normativa reguladora”, indica a Maldita.es Maite Sanz de Galdeano, abogada experta en protección de datos. La experta matiza que su comercialización puede considerarse ilícita si no cumple con la Ley Europea de Inteligencia Artificial, que exigirá a los sistemas de IA generativa que identifiquen sus contenidos como creados con inteligencia artificial, además de prevenir la creación de contenidos ilegales.
Estos bots son parte de una tendencia preocupante, pero que se puede combatir con legislación, moderación y educación
Las herramientas que permiten la creación con IA de contenido sexual, como estos bots, son cada vez más fáciles y accesibles a los usuarios, lo que vuelve difícil ponerle freno a este problema. Cantón señala que “una combinación adecuada de moderación técnica, legal y social puede, al menos, dificultar la creación, distribución y consumo masivo de estas imágenes”. Gutiérrez tiene una perspectiva distinta: “No creo que se puedan poner barreras efectivas con medios tecnológicos. Si Telegram cerrara todos los bots que dan acceso a esos servicios, sin duda estos podrían seguir funcionando a través de cualquier otro sistema. Son servicios de pago, y no van a querer perder el negocio”.
Esta tendencia puede tener consecuencias en la salud mental de las víctimas. Por ejemplo, algunas pueden sentir culpa o desarrollar trastornos de la conducta alimentaria o ansiedad. Los expertos recomiendan que la prevención vaya dirigida hacia los autores de estos actos y a evitar que estos tengan lugar. En el caso de que las víctimas sean menores de edad, es crucial que cuenten con una figura adulta (padres, familiares, profesores o autoridades) que les pueda dar un espacio de confianza y acompañarlos durante estos momentos.
Para Cantón, el empoderamiento de los usuarios es clave, por ejemplo, a través de “educar acerca de cómo reportar y reconocer contenido manipulado, y promover una cultura donde el compartir este tipo de material sea socialmente rechazado”.
Si eres víctima de una imagen sexual creada con IA (o con cualquier otra tecnología), puedes poner una denuncia penal, una demanda civil o una reclamación ante la Agencia Española de Protección de Datos (AEPD).
En este artículo ha colaborado con sus superpoderes el maldito José Gutiérrez, informático experto en seguridad informática.
Gracias a vuestros superpoderes, conocimientos y experiencia podemos luchar más y mejor contra la mentira. La comunidad de Maldita.es sois imprescindibles para parar la desinformación. Ayúdanos en esta batalla: mándanos los bulos que te lleguen a nuestro servicio de Whatsapp, préstanos tus superpoderes, difunde nuestros desmentidos y hazte Embajador.
