Maldita Tecnología

Tech en un clic: riesgos reales de los sesgos de la IA si tienes la piel oscura o eres mujer, lo que Musk quiere hacer con Grok y voces sintéticas

Publicado el
Tiempo de lectura: 13 minutos

¡Feliz sábado, malditos y malditas! Últimamente Tech en un clic está llegando de forma más espaciada. El motivo es que estamos centradas en un montón de cosas chulas para aumentar nuestro impacto y llegar a más gente: formaciones sobre IA y desinformación, como esta (si trabajas en una empresa, organización o centro educativo donde os interesan estos temas, ¡escríbenos!); eventos en los que contamos nuestro trabajo, como este la semana pasada en Noruega; y ahora estamos trabajando en una investigación sobre un tema muy importante gracias a Journalismfund Europe que publicaremos en otoño.

¡Eso no significa que paren nuestros temas, eso nunca! Puedes leernos siempre en Maldita Tecnología y nos pasaremos por la newsletter este verano si hay novedades tech que no podamos dejar pasar. Si no, nos leemos en Tech en un clic en septiembre 💚 Hoy, antes de que nos aplaste el verano, te hablamos de los sesgos de la inteligencia artificial y de un caso que acabamos de conocer en España; de las últimas andanzas de Musk con su IA, Grok, y de audios sintéticos.

Sesgos de la IA y un caso en España

Al igual que tú y que yo, los modelos de inteligencia artificial tienen sesgos. Eso que nos hace ‘pensar’ de forma equivocada sobre alguien o algo por prejuicios o ideas preexistentes. Hay sesgos de género, racistas, clasistas… La IA tiene algunos más, y esto puede generar desinformación, discriminación y poner en riesgo a las personas. Aquí tienes todo detallado; realmente es un tema tan interesante como preocupante, pero te desgrano algunos ejemplos.

Sobre los sesgos racistas, una IA puede reproducir ideas discriminatorias que afectan a las personas racializadas con predicciones inexactas y estereotipos. Un ejemplo de ello son las tecnologías de reconocimiento facial que utilizan inteligencia artificial que son entrenadas principalmente con caras de hombres blancos: etiquetan a más personas negras como criminales y a mujeres negras como hombres.

Justo ayer conocimos un caso en España. El Servicio Vasco de Salud quiere incorporar a sus centros y hospitales Quantus Skin, un modelo basado en redes neuronales diseñado para diagnosticar el riesgo de cáncer de piel, incluido el melanoma. Sin embargo, este modelo es muy probable que presente sesgos. Civio, organización independiente y sin ánimo de lucro, advierte en este análisis que el modelo ha aprendido a reconocer el cáncer de piel casi exclusivamente en personas blancas (ha sido entrenado solo con imágenes de estas personas), por lo que “es probable que falle más en pieles más oscuras”, como individuos de etnia gitana o migrantes de Latinoamérica y África.

Para más inri, los distintos sesgos pueden cruzarse y afectar más a ciertos grupos, como a las mujeres racializadas. En Canadá, una investigación descubrió que un algoritmo para detectar anomalías en radiografías de pecho fallaba más con las mujeres hispanas. No sé a ti, pero nos parece un peligro importante para la salud que a una persona se le dé un diagnóstico incorrecto por su color de piel o por ser mujer, y no nos haría ninguna gracia ser un paciente “invisible a ojos de un algoritmo”.

Los modelos de IA también pueden tener un sesgo de adulación y darnos siempre la razón, lo que puede reforzar nuestras creencias, aislarnos de otros puntos de vista e implicar riesgos para nuestra salud; o un sesgo de equidistancia artificial y evitar posicionarse sobre temas controvertidos aunque haya evidencia suficiente, lo que puede ser peligroso cuando hay evidencia científica sobre ciertos temas que popularmente no son aceptados. Que un chatbot de IA sea neutral también puede desinformar.

Pero es que nosotros como usuarios tampoco nos libramos: si confiamos en exceso en las respuestas de una IA podemos tener un sesgo de automatización. Intentemos que no nos pase, ya sabemos que pueden cometer errores y no son fuentes fiables de información. Así que siempre debemos contrastar sus respuestas.

"Qué vergüenza, Grok"

No es fortuito que los modelos de IA tengan sesgos: son personas quienes los desarrollan y deciden con qué datos se van a entrenar, qué funciones van a cumplir y cómo interactúan y aprenden del mundo. En ese entrenamiento y esos datos, se cuelan los sesgos… Y es justo lo que puede que pase con la IA de Twitter (ahora X), Grok, porque su dueño, Elon Musk, quiere reentrenarla con la información que a él le parezca bien.

Musk ha criticado en reiteradas ocasiones que Grok cita como fuente a “medios tradicionales” en sus respuestas (antes decía que era la mejor respondiendo a preguntas de todo tipo). Así que tiene nuevos planes: ha anunciado que quiere volver a entrenar Grok con “información faltante y eliminando errores”, y ha pedido a sus seguidores enviar “hechos divisorios”, “políticamente incorrectos”, pero “factualmente verdaderos”.

El resultado de esto es que su hilo de X se ha llenado de mensajes racistas, homófobos y antiinmigración. Tuits que cuestionan la identidad de género y el número de víctimas del Holocausto, que aseguran que las personas blancas en EEUU se enfrentan a más racismo que las negras o que niegan el cambio climático. Imagina que este tipo de afirmaciones primaran en el entrenamiento de una IA.

Por su parte, Grok respondió a un usuario que la idea de Musk “plantea riesgos de sesgos o errores”. La advertencia que hace Grok es correcta, como hemos visto arriba. Las respuestas de una IA pueden reflejar sesgos de género, racistas, o contra las personas LGBTIQ+, perpetuando prejuicios y estereotipos

El plan de Musk de añadir “información faltante” y eliminar “errores” implica modificar el conocimiento de Grok actual para reflejar lo que el dueño de X (o su equipo) determine es importante o no. Esto puede derivar en que el chatbot refleje en sus respuestas la ideología y sesgos del exlíder del Departamento de Eficiencia Gubernamental (DOGE) del Gobierno de Estados Unidos. Que no es que Grok no tuviera sesgos antes (todos los modelos de IA pueden tener), pero esto puede suponer un escalón más.

Planas y metálicas voces

Pasamos a otro uso de la IA del que hemos hablado también mucho: IA generativa para crear voces sintéticas, es decir, artificiales. Que si artistas cantando temas que nunca han cantado, que si timadores clonando voces para suplantar la identidad de personajes famosos, que si bulos sobre políticos imitando su voz… Los avances en inteligencia artificial generativa hacen cada vez más complicado reconocer si un audio ha sido generado o manipulado usando esta tecnología, y actualmente no existen métodos infalibles para poder afirmarlo.

Pero, hemos preparado esta guía con consejos para tratar de detectar audios sintéticos, que son los mismos pasos que seguimos nosotros en Maldita.es para verificar este tipo de contenidos. Te damos tres claves:

  • Rastrea la fuente original del audio y comprueba si ya ha sido desmentido por alguna fuente fiable.

  • Las pausas raras, cambios bruscos en la melodía, falta de emoción o timbres metálicos pueden indicar que un audio está generado con IA.

  • Podemos apoyarnos en detectores de audio, pero no son infalibles y no debemos usarlos como prueba definitiva (y aquí te explicamos por qué).

Ten en cuenta que la IA generativa es una tecnología que mejora continuamente y puede pulir los defectos actuales. Por tanto, no siempre podemos afirmar con total seguridad que un audio ha sido generado con IA. Pero en cualquier caso, IA o no, el objetivo es entender si se trata de un audio falso o si está suplantando a alguien, para que no nos la cuelen. Si te llega algún vídeo o audio del que sospeches y que parezca artificial, escríbenos.

En tres bits

  • ¿Un hospital sin humanos en China? Quizá hayas visto por ahí que el primer hospital sin humanos, con robots e inteligencia artificial ya es una realidad y que está en China. Pues no es tan así todavía. Agent Hospital no es un hospital actualmente abierto a la población en ese país, es un “simulacro para escenarios médicos” en el que trabajan investigadores de la Universidad de Tsinghua, en Pekín. Simula las instalaciones y los procesos de un hospital real, pero todos los pacientes, enfermeros y médicos son impulsados con inteligencia artificial. El proyecto fue inaugurado el 26 de abril de 2025 y “a largo plazo, el hospital planea operar como un hospital físico con IA”. Las imágenes del vídeo viral que quizá te haya llegado parecen haber sido creadas con IA (de hecho, así está etiquetado el vídeo en TikTok) y no coinciden con las incluidas en el artículo oficial del proyecto. 

  • Los LLM, una nueva sigla que memorizar. Seguro que has visto estas tres letras últimamente por ahí, así que hoy te explicamos qué son: los grandes modelos de lenguaje (LLM, por sus siglas en inglés), como GPT 4.5, Grok 3 o DeepSeek LLM, son la tecnología que hay detrás del funcionamiento de los chatbots de IA (esos de los que no paramos de hablar y que la gente no para de usar). Se trata de modelos matemáticos que aprenden con grandes cantidades de datos y ‘calculan’ cómo es más probable que continúe una frase. Nos interesa entender lo que son porque así es más fácil interiorizar que las IA se pueden equivocar: su objetivo es interactuar con nosotras de la manera más natural posible, no garantizar la veracidad del texto que han generado, y pueden sufrir ‘alucinaciones’ y generar respuestas incorrectas, inexactas o con sesgos (esto ya te lo sabes).

  • Ojo a la reventa de entradas. Verano, festivales, conciertos en la playa… Si decides comprar entradas de reventa en plataformas digitales, ten cuidado y que no te la cuelen. Lo mejor es evitar la compra a particulares en redes sociales y recurrir a plataformas oficiales. Y es normal preguntarse, pero a ver, ¿estoy protegido si me estafan, qué dice la ley de todo esto? En España no existe una normativa estatal que regule de forma específica la reventa de entradas por internet. Sin embargo, la normativa europea de Servicios Digitales (DSA), en vigor desde febrero de 2024, obliga a las plataformas intermediarias a actuar frente a prácticas fraudulentas. Aun así, expertos y organizaciones de consumidores advierten de que los riesgos siguen presentes… Por eso, mucho ojo este verano, ¡y que lo disfrutes mucho!

¿Tienes dudas sobre el día a día online? ¿Hay algún tema del mundo de la tecnología que te genere curiosidad y sobre el que te gustaría que ampliáramos información? ¿Quieres compartir algún tema interesante con la comunidad maldita? ¡Escríbenos a [email protected]! Y no olvides suscribirte