MENÚ
MALDITA TECNOLOGÍA

Inteligencia artificial y ciberacoso: imágenes sexuales, memes humillantes y perfiles falsos. ¿Qué pueden hacer padres y profesores?

Publicado
Claves
  • La inteligencia artificial (IA) se está utilizando en el ciberacoso para generar imágenes manipuladas o deepfakes sexuales, memes y stickers humillantes y perfiles falsos para difamar o suplantar la identidad de las víctimas
  • Las expertas consultadas por Maldita.es advierten que los afectados pueden manifestar ansiedad, estrés, depresión, culpa e inseguridad, además de dudar de su propia percepción de la realidad por la disonancia que genera el contenido con IA
  • Advierten que prohibir la IA no es la respuesta, sino fomentar la educación tecnológica y sexoafectiva, promover una mirada crítica ante el contenido generado y crear un espacio seguro entre padres e hijos
Comparte
Categorías
Recursos utilizados
Expertos
Superpoderes
Literatura científica

La inteligencia artificial también ha llegado a colegios e institutos. Algunos alumnos la usan para ayudarse con sus tareas o para ser creativos en su tiempo libre. Sin embargo, son sus usos relacionados con el ciberacoso los que generan preocupación entre expertos, padres y profesores. El más popular es la generación de deepfakes o imágenes manipuladas de carácter sexual, aunque no es el único. La IA también permite a los menores crear memes o stickers humillantes y perfiles falsos para difamar o suplantar a sus víctimas, que suelen ser sus propios compañeros y compañeras. 

Las expertas consultadas por Maldita.es advierten que estos usos pueden afectar la autoestima y el sentido de seguridad y pertenencia de las víctimas, quienes incluso pueden ver alterada su percepción de la realidad por la disonancia que genera el contenido manipulado con IA. 

Todo esto se puede manifestar en estrés, ansiedad, síndrome postraumático, autolesiones y, en casos graves, suicidio. Por lo mismo, recalcan la importancia de que los padres y centros educativos entreguen una mayor educación tecnológica y sexoafectiva, enseñen una mirada crítica hacia el contenido generado y sus consecuencias, y creen un lugar seguro para los menores. 

 

La IA se utiliza en el ciberacoso para generar deepfakes o imágenes manipuladas pornográficas, crear perfiles falsos y memes o stickers vergonzosos 

En Europa, el ciberacoso va al alza: uno de cada seis niños lo experimenta, según cifras de la Organización Mundial de la Salud (OMS). La popularidad y masividad que han alcanzado las herramientas de IA no estaría precisamente ayudando al problema. “La inteligencia artificial generativa ha traído herramientas que, cuando se usan de forma inadecuada, pueden amplificar el daño emocional y psicológico en los entornos digitales, especialmente entre niños, niñas y adolescentes”, explica Mariana Savid, psicopedagoga, diplomada en Educar en la Cultura Digital por la Universidad Nacional Villa María y maldita que nos ha prestado sus superpoderes. 

Estos usos ya están presentes en las aulas, donde la IA se utiliza como un arma para el ciberacoso. “El uso que mayoritariamente se está encontrando es a través de deepfakes o imágenes manipuladas de carácter sexual”, explica a Maldita.es Laura Cuesta, profesora de Cibercomunicación y Nuevos Medios. Se trata de contenidos manipulados con IA en los que se incorpora el rostro o cuerpo de la víctima en un vídeo o imagen pornográfica, con el objetivo de que parezca que ella es la protagonista del contenido adulto. 

Este ya es un problema global. En Estados Unidos, uno de cada diez niños afirma que sus amigos han usado IA para generar imágenes manipuladas de carácter sexual de otros niños, según el estudio “Youth Perspectives on Online Safety 2023” de la ONG Thorn. En Corea del Sur se han denunciado cientos de casos de deepfakes de menores de edad distribuidos por Telegram. También en España se está usando la IA para crear contenidos sexuales de menores, como el caso que que afectó a varias menores de un instituto en Almendralejo (Extremadura), la doble denuncia en Alcalá de Henares o un menor en Barcelona que modificó con IA fotos de niños para convertirlas en imágenes de contenido sexual. Si tú o alguien que conoces es víctima de esto, te explicamos qué hacer aquí

Pero Cuesta advierte que este no es el único mal uso que se le puede dar. En los centros educativos ya hay casos donde los alumnos utilizan la IA generativa “para crear perfiles falsos para difamar a personas, crear información falsa o incluso suplantar la identidad”. Otra función es la creación de memes y stickers que pueden ser humillantes o vergonzosos y que se difunden por WhatsApp, Telegram o Discord, lo que puede repercutir en la huella digital de los menores y afectarlos en el presente y futuro. 

Las víctimas pueden manifestar ansiedad, estrés y depresión, además de emociones de ira, tristeza, culpa e inseguridad y dudar de su propia percepción de la realidad

“Para las víctimas, el ciberacoso puede ser devastador, despojando a niños y niñas de su sentido de seguridad y pertenencia”, detalla Savid y añade que sin las habilidades socioemocionales necesarias, “las víctimas pueden cerrarse, dejar de confiar en los demás y aislarse, lo que agrava aún más el daño emocional”. Todo este malestar se puede manifestar en episodios de ansiedad, estrés, síndrome postraumático, autolesiones, depresión, y llegar incluso a futuros problemas de autoestima o suicidio, según Cuesta. 

Sobre el contenido sexual generado con IA y su efecto en los menores, Alicia Hermoso, pedagoga, doctoranda en Educación y maldita afirmó durante una Twitchería de Maldita Tecnología que “no es lo mismo que cuando ya eres una persona adulta, partiendo de la base de que esto te provoca un impacto individual y social [a cualquier edad]. Empiezas a tener emociones de ira, tristeza, y a buscar un culpable”. 

La experta recalcó que ver un cuerpo que se difunde como el suyo (pero que en realidad, no es suyo y en el que no se reconoce) puede generar disonancia. Savid añade que estas imágenes o vídeos manipulados pueden hacer que las víctimas duden de su propia percepción de la realidad, provocando una profunda inseguridad

Además, tienen un impacto crucial los medios por los cuáles se difunden estos contenidos. “No es como una victimización en el patio del colegio, sino que se difunden en redes sociales y la sensación de humillación y exposición ante mucha gente hace que sea mucho más dañino y genere mucha más ansiedad”, explicó Esther Calvete, catedrática de Psicología en la Universidad de Deusto durante el briefing ‘La salud mental de las personas jóvenes ante la amenaza de los deepfakes y el ciberacoso’, organizado por el Science Media Centre (SMC) de España. “Se vive con un gran sentimiento de culpa, de vergüenza y de ruptura de confianza con el mundo”, aseguró. 

Para las expertas, prohibir no es la respuesta, sino una mayor educación tecnológica y sexoafectiva, el acompañamiento y una actitud crítica hacia el contenido generado

La forma en que la IA está cambiando el ciberacoso es una preocupación que ya ha llegado a las autoridades. En España, el Anteproyecto de Ley Orgánica para la protección digital de los menores busca penar los deepfakes pornográficos. Pero, ¿qué pueden hacer padres y profesores?

Cuesta alerta que prohibir o restringir el uso de las herramientas de IA no es la respuesta, ya que cada día surgen nuevas aplicaciones y los menores pueden acceder a ellas sin que lo sepamos. “La formación y la capacitación para el buen uso y el entendimiento de la ética de la tecnología es imprescindible, así como las consecuencias legales del uso indebido”, sugiere. 

Para Savid, “el trabajo en equipo entre educadores y padres es fundamental para construir una cultura de respeto y solidaridad”. 

Por una parte, padres, madres o tutores legales deben crear “un refugio seguro” para los niños, niñas y adolescentes. La psicopedagoga sugiere enseñar un uso saludable y responsable de la tecnología y cumplir con ser un buen ejemplo de ello. Además, realizar actividades significativas fuera de internet, como juegos cooperativos y conversaciones profundas, para “reforzar la empatía y la comunicación asertiva, lo que fortalece los vínculos humanos profundos y significativos, que son el verdadero antídoto contra el aislamiento y la soledad”. En casos de ciberacoso severo, Savid advierte que es crucial buscar ayuda profesional

Para el trabajo en las aulas, Cuesta recoge una serie de recomendaciones a partir de lo establecido por la Comisión Europea y la UNESCO: 

  • Fomentar una actitud crítica para detectar información falsa o incompleta generada con IA.

  • Informar a los alumnos de las consecuencias tanto civiles como penales de la creación de este tipo de contenidos.

  • Conocer y mitigar el impacto de los sesgos algorítmicos en la toma de nuestras decisiones.

  • Asegurar la equidad de uso y limitar la brecha digital. 

En este artículo han colaborado con sus superpoderes la maldita Mariana Savid, psicopedagoga y profesora en psicopedagogía y la maldita Alicia Hermoso, pedagoga y doctoranda en Educación. 

Mariana Savid y Alicia Hermoso forman parte de Superpoderosas, un proyecto de Maldita.es que busca aumentar la presencia de científicas y expertas en el discurso público a través de la colaboración en la lucha contra la desinformación.

Gracias a vuestros superpoderes, conocimientos y experiencia podemos luchar más y mejor contra la mentira. La comunidad de Maldita.es sois imprescindibles para parar la desinformación. Ayúdanos en esta batalla: mándanos los bulos que te lleguen a nuestro servicio de Whatsapp, préstanos tus superpoderes, difunde nuestros desmentidos y hazte Embajador.

Hazte maldito, Hazte maldita
Te necesitamos para combatir los bulos y la mentira: sólo juntos podemos pararla. En Maldita.es queremos darte herramientas para protegerte contra la desinformación, pero sólo con tu apoyo será posible.

Eres muy importante en esta batalla para que no nos la cuelen. Seguro que tienes conocimientos útiles para nuestra batalla contra los bulos. ¿Tienes conocimientos de idiomas? ¿Lo tuyo es la historia? ¿Sabes mucho sobre leyes? ¡Préstanos tu Superpoder y acabemos juntos con los bulos!

También puedes apoyarnos económicamente. Maldita.es una entidad sin ánimo de lucro y que sea sostenible e independiente, libre de publicidad y con profesionales bien remunerados dedicados a luchar, contigo, contra la desinformación depende de tu ayuda. Cada aportación cuenta, cualquier cantidad es importante.