MENÚ
Arve Hjalmar Holmen, un noruego que se describe a sí mismo como “una persona normal”, presentó una demanda contra OpenAI después de que su chatbot de IA, ChatGPT, asegurara falsamente que asesinó a sus dos hijos. “Seguimos investigando nuevas formas de mejorar la precisión de nuestros modelos y reducir nuestras alucinaciones”, declaró un portavoz de la compañía estadounidense según The Guardian.
Las ‘alucinaciones’ se producen cuando un modelo de IA genera una respuesta incorrecta, inexacta o sesgada, en otras palabras, cuando se la ‘inventan’. Según el prompt (instrucción de texto) y su entrenamiento, los grandes modelos de lenguaje construyen sus respuestas a partir de predecir la siguiente palabra plausible. Cuando no tienen información sobre el tema o malentienden nuestra instrucción, se ‘inventan’, por ejemplo, hechos, citas, diagnósticos y análisis. Todo esto puede producir desinformación si los usuarios no contrastan las respuestas con fuentes fiables. Los expertos en IA consultados por Maldita.es advierten de que, de momento, no hay forma de deshacerse de estas ‘alucinaciones’ por completo (aunque hay formas de reducirlas).
Una IA puede ‘inventarse’ su respuesta y presentarla como cierta si no tiene suficiente información y está forzada a contestar
Cuando un chatbot de IA produce una respuesta incorrecta, inexacta o sesgada, se le llama ‘alucinación’. Los modelos de IA, concretamente los grandes modelos de lenguaje (LLM por sus siglas en inglés) que comprenden y generan texto, generan sus respuestas prediciendo la siguiente palabra plausible según el prompt y lo aprendido durante su entrenamiento. “Es pura probabilidad, la segunda palabra se calcula teniendo en cuenta la entrada del usuario y la primera palabra, y así sucesivamente”, explica Alberto León, desarrollador de algoritmos de inteligencia artificial y maldito que nos ha prestado sus superpoderes.
“Una IA no piensa ni entiende: su tarea es predecir la siguiente palabra (la más probable) basándose en las anteriores, usando patrones que aprendieron de muchos textos”, precisa a Maldita.es María Dolores Rodríguez, investigadora en machine learning y catedrática de la Universidad de Alcalá. La experta afirma que los modelos pueden elegir diferentes combinaciones que tengan el mismo sentido, por eso nos pueden responder de forma distinta a una misma pregunta.
“Cuando una IA no encuentra en los textos de entrenamiento lo que busca, se lo ‘inventa’ y, por tanto, se produce una alucinación”, advierte Rodríguez. Manuela Delgado, ingeniera industrial, responsable de proyectos de innovación en una consultora tecnológica y maldita que nos ha prestado sus superpoderes, explica que los modelos de IA están entrenados para responder: “El modelo siempre o casi siempre lanza una respuesta que, a pesar de no ser la correcta, puede que sea la ‘más probable’”.
José María de Fuentes, profesor titular de Ciberseguridad de la Universidad Carlos III de Madrid y maldito que nos ha prestado sus superpoderes, recuerda a Maldita.es que las ‘alucinaciones’ son “un efecto natural de un sistema altamente complejo como son los sistemas de IA generativa”.
Pero no todo el mundo está de acuerdo con llamarlas de esta forma. En la investigación ‘Are we tripping? The mirage of AI Hallucinations’ (‘¿Estamos flipando? El espejismo de las alucinaciones de la IA’), los investigadores Anna Mills y Nate Angell sostienen que llamarlas ‘alucinaciones’ refuerza la idea equivocada de que la IA es consciente, ya que implicaría que una IA experimenta la realidad y a veces delira. En su lugar, sugieren ‘espejismos’: “Así como un espejismo del desierto es un artefacto de las condiciones físicas, un espejismo de IA es un artefacto de cómo los sistemas procesan los datos de entrenamiento y las indicaciones”.
Las ‘alucinaciones’ pueden desinformar con hechos, citas, cifras y diagnósticos falsos, por eso siempre hay que contrastar las respuestas de una IA
Independientemente del nombre, cuando un modelo de IA se ‘inventa’ hechos, citas, cifras y análisis o distorsiona la realidad en su respuesta, esto puede generar desinformación. De Fuentes advierte de que “puede generar desinformación en todas sus variantes, desde producir elementos falsos hasta realizar falsas atribuciones”. Por ejemplo, una investigación de Columbia Journalism Review reveló que los buscadores que funcionan con IA (como ChatGPT Search, Perplexity, DeepSeek Search, Copilot, Gemini, y Grok-3 Search) fabrican enlaces falsos al citar que no redirigen a webs reales.
“La desinformación es el principal riesgo, pudiendo generar consecuencias más graves dependiendo de dónde ocurre”, afirma Rodríguez. Delgado pone de ejemplo el sector de la salud, donde una ‘alucinación’ tiene “un riesgo muy alto, si proporciona respuestas erróneas sobre información médica que puede afectar decisiones críticas de salud, provocando un tratamiento inadecuado o diagnósticos erróneos”. Por lo mismo, no es una buena idea usar chatbots de IA como Grok con fines médicos (a pesar de que Elon Musk insista en lo contrario).
Además, como en el caso del noruego que demandó a OpenAI, las ‘alucinaciones’ “pueden producir problemas legales y éticos si, por ejemplo, generan respuestas erróneas sobre personas, empresas o instituciones que pueden derivar en problemas legales”, agrega Delgado.
A todo esto se suma que, ‘alucinen’ o no, los chatbots de IA no son fuentes fiables de información. “No hay que olvidar que, en el proceso de entrenamiento, se usan datos que no siempre son fiables, lo que provoca que el modelo aprenda falsedades e inexactitudes que luego, por su propio funcionamiento, puede amplificar al responder”, afirma De Fuentes.
Según los expertos consultados por Maldita.es, detectar ‘alucinaciones’ no es una tarea sencilla. La recomendación general es siempre contrastar las respuestas que genera una IA con fuentes fiables. Rodríguez sugiere estar atentos a estas señales:
El modelo da respuestas con una seguridad excesiva pero sin fuentes comprobables.
Menciona datos o nombres que no existen.
Genera explicaciones que suenan bien, pero que no tienen sentido cuando se analizan con cuidado.
De momento, no es posible deshacerse de las ‘alucinaciones’ por completo según los expertos, pero sí se pueden tomar medidas para reducirlas
En la actualidad, no hay una fórmula para deshacerse por completo de las ‘alucinaciones’ de la IA, según los expertos consultados por Maldita.es. “Creo que queda mucho camino por recorrer hasta que podamos dar esta amenaza por controlada”, agrega De Fuentes.
Según Delgado, hay avances en reducirlas, debido a que “se están entrenando los modelos teniendo en cuenta que ‘si no sabes, no respondas’”. En ese sentido, Rodríguez destaca la importancia de entrenar los modelos con datos de alta calidad y actualizados. También sugiere incorporar técnicas de verificación y razonamiento en las herramientas y permitir a los modelos citar fuentes o decir “no lo sé”, en lugar de que ‘inventen’.
En lo que respecta a los usuarios, Delgado sugiere mejorar nuestros prompts, por ejemplo, pidiendo explícitamente a los chatbots de IA que citen fuentes fiables con información verificada. Sin embargo, como no siempre podrán hacerlo (pueden no estar conectados a internet o equivocarse igualmente), contrarrestar la información sigue siendo clave. “Siempre hay que verificar las respuestas”, concluye León.
En este artículo han colaborado con sus superpoderes los malditos Alberto León, desarrollador de algoritmos de IA, José María de Fuentes, co-investigador principal del proyecto MORE4AIO, y Manuela Delgado, ingeniera industrial y responsable de proyectos de innovación.
Manuela Delgado forma parte de Superpoderosas, un proyecto de Maldita.es que busca aumentar la presencia de científicas y expertas en el discurso público a través de la colaboración en la lucha contra la desinformación.
Gracias a vuestros superpoderes, conocimientos y experiencia podemos luchar más y mejor contra la mentira. La comunidad de Maldita.es sois imprescindibles para parar la desinformación. Ayúdanos en esta batalla: mándanos los bulos que te lleguen a nuestro servicio de Whatsapp, préstanos tus superpoderes, difunde nuestros desmentidos y hazte Embajador.
