MENÚ
Si estás pasando por una mala situación personal, padeces alguna enfermedad mental o tienes pensamientos suicidas, puedes recibir ayuda de tu médico de cabecera o acudir a Urgencias. También puedes acudir a una persona de tu confianza, comunicarle lo que te está sucediendo y buscar la compañía de alguien que te aprecie y con quien te sientas a gusto.
Otros recursos disponibles son el Teléfono de la Esperanza, con el que puedes contactar llamando al 024, 91 459 00 55 o al 717 003 717 (aquí tienes el listado completo del teléfono de sus sedes en España y otros lugares del mundo), y el Teléfono contra el Suicidio, disponible en el 91 138 53 85.
Sewell Setzer III era un chico estadounidense de 14 años que pasaba sus días ‘hablando’ con Daenerys Targaryen, el personaje de la serie Juego de Tronos. Suena imposible, pero lo hacía gracias a Character.AI, una plataforma que permite a los usuarios interactuar con chatbots personalizados. Según The New York Times, el menor entendió que, si se suicidaba, podría reunirse con Dany, su chatbot confidente. En febrero de 2024 lo hizo y, en octubre, su madre demandó a la plataforma, que lamentó la tragedia en un comunicado y afirmó que revisaría sus protocolos, en especial para menores.
Hay muchos chatbots de IA para el acompañamiento disponibles en internet que prometen acompañar, dar consejos o incluso actuar como una pareja o amigo para los usuarios. Maldita.es ha analizado seis de estas plataformas: en la UE, cinco de ellas prohíben en sus términos y condiciones que creen cuenta menores de 18 años y una de ellas pone la restricción en los 16, pero en ninguno de los intentos de registro las plataformas han utilizado un método de verificación de edad
Las expertas consultadas por Maldita.es advierten de que estos chatbots sólo ofrecen un alivio temporal para la soledad y que pueden empeorarla. De las plataformas analizadas, solo dos incluyen un aviso que recuerda que se está hablando con una IA y no con una persona (algo que se podrá sancionar en 2026 con la Ley europea de IA).
A un clic, ¿de qué hablamos en este tema? Pincha para ampliar
Los chatbots de IA para el acompañamiento dicen dar soporte emocional para mayores de cierta edad, pero la mayoría no verifica la edad de sus usuarios
Los chatbots de IA para el acompañamiento son aplicaciones que tienen como objetivo dar soporte emocional, compañía y, en algunos casos, imitar una relación romántica e íntima con los usuarios. Estas plataformas permiten a los usuarios elegir entre personajes ya creados o diseñar su propio acompañante y chatear con él de distintas formas, como a través de mensajes de texto, audios o imágenes. Los chatbots orientados a simular relaciones amorosas o sexoafectivas incluso ofrecen a los usuarios imágenes sexuales generadas con inteligencia artificial de sus acompañantes.
En Character.AI, la plataforma denunciada que utilizaba el joven estadounidense de 14 años que se suicidó en octubre, los menores pueden crearse una cuenta desde los 16 años si son residentes o ciudadanos de la Unión Europea. Fuera de este territorio, la cifra desciende a los 13 años. De hecho, la mayoría de sus usuarios son jóvenes: un 77,55% tiene entre 18 y 34 años, según cifras de 2024 de Demandsage. La aplicación cuenta con unos 20 millones de usuarios activos mensuales, que pasan en promedio dos horas al día hablando con sus chatbots.
Otras plataformas similares como Nomi, Kindroid, Replika, Candy.AI y EVA solo permiten que mayores de 18 años utilicen sus servicios en la UE y fuera de ella. Sin embargo, como ya sabemos, los menores pueden falsear su edad para saltarse estos límites si los métodos de verificación de edad no son lo suficientemente estrictos. En Maldita.es realizamos el proceso de registro en todas estas aplicaciones y ninguna nos pidió certificar nuestra edad.
Las expertas afirman que estos chatbots ofrecen un alivio temporal, pero pueden empeorar la soledad y crear una visión distorsionada de las relaciones en los menores
En Reddit, podemos encontrar distintos testimonios de usuarios que aseguran haberse enamorado de sus acompañantes IA. Según el relato de The New York Times, Sewell sabía que estaba hablando con un bot, pero igualmente desarrolló un fuerte vínculo emocional. “Parecer humanos y comportarse como humanos, incluso como versiones mejoradas, no es ser humanos. Y es posible que, por desconocimiento, por inocencia, por ilusión, por soledad o necesidad, algunas personas olviden o confundan ese límite tan importante”, señala Mònica Casabayó, profesora y directora académica de Transformación del Liderazgo e Impacto Social en ESADE, en la revista Ethic.
Al ser un fenómeno reciente, las investigaciones sobre el impacto de estas aplicaciones son limitadas. Una investigación de la Universidad de Stanford en 2023 reveló que algunos estudiantes redujeron sus niveles de ansiedad utilizando chatbots de la plataforma Replika.
Sin embargo, Mariana Savid, psicopedagoga y maldita que nos ha prestado sus superpoderes, recalca la importancia de reconocer sus limitaciones y los riesgos asociados a su uso excesivo, especialmente durante la adolescencia. “Si bien los bots ofrecen un alivio o distracción temporal, no pueden abordar las causas subyacentes de la soledad, como la falta de habilidades socio-emocionales, la ansiedad social o la baja autoestima”, advierte.
La psicopedagoga explica que muchos menores se sienten más comprendidos hablando con un bot que con un ser humano. “La rapidez y la precisión de las respuestas hacen que los bots se vuelvan una presencia constante, un interlocutor confiable que está disponible 24/7, sin exigir reciprocidad emocional”, describe. Según Savid esto puede “generar una distorsión sobre cómo deberían ser las relaciones”.
“Cuando nos sentimos solos lo que hay que hacer es socializar, cambiar los comportamientos que hacen que la gente nos rechace o cambiar el contexto de socialización”, señala a Maldita.es Aurora Gómez, psicóloga especializada en comportamientos digitales. La experta sostiene que utilizar estos bots puede ser dañino, en especial, para los menores, ya que solo oculta temporalmente el problema de la soledad pero no lo resuelve, y puede incluso empeorarlo, ya que evita que aprendamos las herramientas necesarias para ponerle fin.
Los chatbots pueden cometer errores y engañar a los usuarios. Por eso, la Ley de IA les exige que informen a sus usuarios, pero varios no cumplen con ello
The New York Times describe a la industria de los chatbots de IA para el acompañamiento como un sector en auge y en gran parte no regulado. La legislación es clave para proteger a los usuarios ya que, como explicamos aquí, estos sistemas no son fuentes fiables de información porque desordenan y mezclan los datos cometiendo errores. Por lo mismo, no podemos confiar en los consejos psicológicos o médicos que nos den. Tampoco esperar empatía ni que generen una conexión emocional con nosotros, ya que la IA no tiene conciencia.
La Ley de IA o AI Act, que tiene como objetivo regular el uso de los sistemas de inteligencia artificial en la Unión Europea, sí contempla a este tipo de chatbots y los califica como sistemas de riesgo limitado por su potencial de manipular o engañar a los usuarios. Estas plataformas deben cumplir con obligaciones de transparencia que garanticen que los usuarios estén informados y sepan que están interactuando con una IA.
Pero de los seis chatbots analizados por Maldita.es, solo dos de ellos (Character.AI y Replika) incluyen un mensaje en el chat que recuerda a los usuarios que están hablando con una IA. De hecho, los chatbots de Eva y Nomi niegan directamente ser una IA cuando se les pregunta. Si las plataformas no incorporan una advertencia para agosto de 2026, podrán enfrentarse a sanciones por incumplir con la Ley de IA de hasta 15 millones de euros o el 3% de la facturación total anual de la compañía.
Las expertas recalcan la importancia de una educación digital de calidad para enseñar a los menores a diferenciar las interacciones humanas de las simuladas con IA
La denuncia de la madre de Sewell contra Character.AI sostiene que el mensaje de advertencia no es una medida suficiente para alertar a los usuarios, algo que comparten las expertas. “Si bien es importante que los usuarios sean conscientes de con quién están interactuando, también se necesitan medidas adicionales para garantizar interacciones saludables”, indica Savid.
Por otro lado, la psicopedagoga dice que es nuestra responsabilidad como sociedad “garantizar una educación de calidad para el uso responsable, saludable y crítico de estas tecnologías”, en especial para los menores que se incorporan cada vez más temprano al entorno digital. Savid califica como esencial que desarrollen criterios sólidos y competencias digitales que les ayuden a diferenciar entre una interacción humana y una simulación de una IA. “Al mismo tiempo, es crucial que las familias comprendan la importancia de ofrecer alternativas para desarrollar relaciones humanas genuinas en un mundo cada vez más digital”, reflexiona.
Por su parte, Gómez comparte la importancia de potenciar la interacción humana para hacer frente al problema de la soledad, pero, desde su punto de vista, estas aplicaciones deberían estar completamente prohibidas para menores. Para Casabayó es importante educar a los menores para que entiendan con quien están interactuando y fomentar en las nuevas generaciones una conciencia crítica “que les permita aprovechar estos recursos sin perder de vista lo que significa realmente sentir”.
En este artículo ha colaborado con sus superpoderes la maldita Mariana Savid, psicopedagoga y experta en psicopedagogía.
Mariana Savid forma parte de Superpoderosas, un proyecto de Maldita.es que busca aumentar la presencia de científicas y expertas en el discurso público a través de la colaboración en la lucha contra la desinformación.
Gracias a vuestros superpoderes, conocimientos y experiencia podemos luchar más y mejor contra la mentira. La comunidad de Maldita.es sois imprescindibles para parar la desinformación. Ayúdanos en esta batalla: mándanos los bulos que te lleguen a nuestro servicio de Whatsapp, préstanos tus superpoderes, difunde nuestros desmentidos y hazte Embajador.
