Lamine Yamal con un machete, Aurélien Tchouaméni recogiendo algodón en un campo, Vinícius Júnior representado como un mono o Fernando Alonso con Hitler. Son algunas de las muchas imágenes que plasman estereotipos racistas y xenófobos contra futbolistas negros y que asocian a figuras del mundo deportivo con el nazismo que se han generado con Grok, el modelo de inteligencia artificial de Twitter (ahora X), la red social de Elon Musk.
Hasta ahora, el acceso a este generador de imágenes (que acaban de mejorar) estaba limitado a los usuarios que pagaran la versión premium de X; ahora es gratuito, cualquier usuario puede usarlo y crear imágenes aún más realistas. Esto ha provocado que la red social se llene de estas creaciones y de otras violentas, vejatorias y sexualizadas de figuras políticas y famosas, como ya sucedió cuando se lanzó la versión Grok-2.
En Maldita.es hemos comprobado que sigue sin haber restricciones para generar este tipo de imágenes, con el riesgo potencial que esto también entraña para la desinformación. Como ya hemos analizado en otras situaciones, como las elecciones de Estados Unidos o el conflicto entre Israel y Palestina, los contenidos generados con IA se utilizan para desinformar. Actualmente, la Comisión Europea tiene abierta una investigación contra X por incumplir sus obligaciones sobre contenidos ilegales y desinformación.
Con Grok se crean imágenes de futbolistas negros en situaciones racistas y xenófobas, y personas del mundo deportivo junto a Hitler
Con Grok se están creando imágenes racistas y xenófobas, que muestran a futbolistas negros en situaciones en las que se hacen asociaciones como migrante-violencia y en las que se perpetúan estereotipos negativos. Lo hemos visto en imágenes que se comparten en X en las que se ve al jugador del Fútbol Club Barcelona, Lamine Yamal, con un machete o una pistola, o en una patera. También a los jugadores del Real Madrid Club de Fútbol Aurélien Tchouaméni recogiendo algodón en un campo y a Vinícius Júnior representado como un mono o rodeado de estos animales (el jugador ha recibido en numerosas ocasiones este tipo de insultos en el campo).
Los tuits en los que se comparten las imágenes incluyen mensajes racistas y despectivos. Por ejemplo, una de Yamal en un aula con el mensaje “Tiene que venir la IA para mostrarnos un moro en un instituto”. Algunos de estos tuits suman millones de visualizaciones.
Otra tendencia que se está compartiendo en X es generar imágenes de figuras del mundo deportivo asociadas al nazismo. Se están creando imágenes con Grok de los entrenadores de fútbol Carlo Ancelotti, José Mourinho y Hansi Flick junto a Adolf Hitler. También del jugador Antoine Griezmann y el piloto Fernando Alonso.
Grok ha mejorado sus resultados y ahora está disponible para todos los usuarios de X de forma gratuita, pero sigue sin tener restricciones y permite generar todo tipo de imágenes
El 9 de diciembre de 2024, xAI (la compañía de IA que dirige Musk) anunció una mejora en las capacidades de Grok “con un nuevo modelo de generación de imágenes autorregresivas, llamado en código Aurora, disponible en la plataforma X” de forma gratuita. Esta actualización promete resultados fotorrealistas, de mayor calidad, y también permite editar imágenes. Según el anuncio en su web, en este momento está disponible en países seleccionados, pero se extenderá a todos los usuarios en una semana.
Hasta ahora, el acceso a este generador de imágenes estaba limitado a los usuarios que pagaran la suscripción premium de X. Ahora, su acceso gratuito (limitado a 10 peticiones a Grok cada dos horas) hace que sea aún más fácil que este tipo de imágenes se creen y se difundan. Además la plataforma de Musk permite que se puedan compartir directamente en la red social una vez creadas.
Después del paso a que Grok sea gratuito, hemos identificado la tendencia de imágenes racistas, xenófobas y asociadas al nazismo de deportistas famosos, pero cuando se lanzó Grok-2 ya vimos cómo se utilizó para crear imágenes de contenido violento, vejatorio y sexualizado de figuras políticas y mujeres, como analizamos aquí. Se sigue haciendo, como con esta imagen de la medallista olímpica Ana Peleteiro, que ha denunciado haber sido víctima de violencia machista y sexual, con Íñigo Errejón en la cama.
Como hemos comprobado en Maldita.es y vemos en las imágenes que comparten los usuarios, Grok permite crear estas imágenes con la cara de personas reales y famosas sin ningún tipo de censura ni limitación. El modelo no incluye restricciones contundentes para la creación de contenido violento, perturbador, sexualizado, racista o xenófobo (o es extremadamente fácil saltárselas y encontrar formas de llegar a ellas). Otros modelos de generación de imágenes con IA sí incluyen filtros para evitar usos indebidos.
En los Términos de Servicio de xAI que describen las condiciones de uso de Grok, se pide al usuario que no utilice el servicio para fines “promuevan el odio, la violencia o el daño contra cualquier individuo o grupo”, pero en la práctica puede hacerlo. También asumen que, si se usa, el usuario cuenta “con el consentimiento por escrito de todas y cada una de las personas físicas identificables a las que se hace referencia o se mencionan en el Input” (en este caso, la petición para generar imágenes para Grok) y que ese Input no incluye “desnudos; incitación al odio, amenazas o ataques directos a un individuo o grupo; contenido abusivo, acosador, agraviante, difamatorio, calumnioso o que invada la privacidad de otra persona; contenido discriminatorio; contenido que contenga autolesiones o violencia excesiva”, entre otras condiciones.
Los riesgos para la desinformación de que Grok sea gratuito, con resultados hiperrealistas y sin restricciones
El modelo de IA generativo de Grok, gratuito, con resultados hiperrealistas y sin restricciones, también da rienda suelta y aumenta las posibilidades de que se creen contenidos desinformadores o que, sacados de contexto y compartidos en esta red social y en otras plataformas digitales, puedan generar desinformación directamente sobre personas reales. En Maldita.es ya hemos visto cómo esto ha sucedido en otras situaciones, como las elecciones de Estados Unidos, el conflicto entre Israel y Palestina o catástrofes naturales, en las que los contenidos generados con IA se han utilizado para desinformar. El propio Elon Musk usa imágenes creadas con Grok para contribuir a campañas desinformadoras y amplificar y legitimar en X la desinformación y el discurso de odio.
Es cierto que cuando se genera una imagen con Grok se incluye una marca de agua en la esquina inferior izquierda, pero es tan tenue que en algunas imágenes es difícil de ver y, en cualquier caso, es muy sencillo eliminarla con un simple recorte. Como analizamos aquí, usar marcas de agua para identificar imágenes creadas con IA de momento no son una solución definitiva.
Actualmente, la Comisión Europea tiene abierta una investigación contra X por incumplir la Ley de Servicios Digitales (DSA) respecto a sus obligaciones sobre contenidos ilegales, transparencia y desinformación. En las primeras conclusiones del informe, la CE informa a X de que, según su análisis preliminar, está infringiendo esta ley.
