MENÚ
La explicabilidad de la inteligencia artificial o IA explicable nos permite entender cómo y por qué una inteligencia artificial genera sus resultados. Este conjunto de métodos promueve una mayor transparencia, ética y buena gobernanza. Sin explicabilidad, los sistemas de IA pueden parecernos indescifrables, en especial aquellos que funcionan como cajas negras y son difíciles de entender, algo que puede disminuir la confianza de las personas en estas tecnologías, además de dificultar la detección y mitigación de sesgos y ‘alucinaciones’ (cuando una IA genera respuestas equivocadas).
Los expertos en IA advierten de que, a medida que la inteligencia artificial avanza y necesita menos supervisión humana, se puede perder el control de por qué o cómo generan sus respuestas. Pero indican que hay avances importantes en materia de explicabilidad de la IA. La Ley Europea de Inteligencia Artificial apunta en esta dirección y establece obligaciones de transparencia y responsabilidades para los sistemas de IA que operan en los Estados miembros de la Unión Europea, en especial para los que suponen un alto riesgo para los derechos fundamentales.
Una IA funciona como una caja negra cuando es complejo entender cómo y por qué se generan sus resultados
“Si nos centramos en los algoritmos en términos de interpretabilidad [la capacidad que tenemos de entender cómo y por qué una IA toma una decisión], se pueden dividir básicamente en cajas negras y cajas blancas”, explica Mónica Villas, consultora de Tecnología e Inteligencia Artificial, en la revista Telos.
Estamos ante una caja negra cuando es complicado entender por qué y cómo los algoritmos de un modelo de IA han tomado una decisión. Por ejemplo, cuando pedimos a ChatGPT que genere un texto, entendemos lo que hemos pedido y el resultado que nos da, pero no sabemos exactamente qué pasó en el camino entre el prompt (la instrucción de texto) y la respuesta: a qué relaciones entre palabras les dio más peso que a otras, en qué probabilidades se basó para elegir unos contenidos u otros y, en ciertos modelos de IA, ni siquiera sabemos qué fuentes o bases de datos consultó.
Los algoritmos de caja negra “son algoritmos normalmente más complejos [que los de caja blanca], como redes neuronales, random forest o xgboost entre otros, pero suelen presentar una mejor precisión en sus resultados”, indica Villas. Además de ChatGPT, los chatbots de IA como Gemini y generadores de imágenes como Midjourney también utilizan redes neuronales que funcionan como cajas negras.
No entender cómo estos modelos de IA realizan sus predicciones “puede influir en la confianza de los usuarios y desarrolladores en el modelo y, en consecuencia, en su implementación”, explica el científico Arun Rai en su artículo ‘IA explicable: de la caja negra a la caja de cristal’ publicado en la revista Journal of the Academy of Marketing Science. Esta desconfianza puede tener consecuencias, por ejemplo, si se trata de modelos de IA que se usan para ámbitos como la salud, la seguridad o la justicia.
La opacidad en el funcionamiento también hace difícil que se identifiquen y resuelvan los sesgos que puedan presentar estos modelos de IA, como explica El País. También dificulta limitar las ‘alucinaciones’, es decir, las respuestas erróneas, inexactas o incorrectas que puede generar una IA.
En la otra cara de la moneda están las cajas blancas, en las que es posible entender mejor por qué y cómo se toman las decisiones.
La explicabilidad o IA explicable promueve el desarrollo de modelos de IA más transparentes y éticos, que facilitan la buena gobernanza
Para abrir las cajas negras y combatir sus efectos negativos, se trabaja en la explicabilidad de la IA o IA explicable: un conjunto de métodos y procesos que nos permiten comprender cómo funciona una IA y sus resultados. Los avances en este campo “ofrecen maneras de desenmascarar los modelos de caja negra de la IA y perseguir dos objetivos con la IA: precisión de predicción y explicación, que en gran medida se han considerado incompatibles”, indica Rai.
La explicabilidad no aborda sólo la parte técnica, también el “tipo de explicaciones que se van a proporcionar teniendo siempre en cuenta la persona que va a recibir estas explicaciones”, señala Villas. Esto se refiere a que las explicaciones que requiere y busca un usuario pueden ser distintas a las que necesita un perfil técnico. Para ello, la experta afirma que se trabaja de forma multidisciplinar con equipos de tecnología y psicología cognitiva.
“La explicación de una predicción puede influir en la confianza del usuario en ella y, en consecuencia, en si realiza o no una acción basada en ella”, incide Rai. En ese sentido, la explicabilidad ayuda a construir una IA más transparente, algo que se contempla dentro de las Directrices éticas para una IA fiable de la Unión Europea. También puede facilitar la buena gobernanza “a través de la generación de confianza por parte de la ciudadanía en los algoritmos inteligentes”, explica la investigadora predoctoral Lucía Ortíz en su artículo ‘Explicabilidad (de la inteligencia artificial)’ publicado en la revista EUNOMÍA.
Entender cómo funciona la IA también puede ayudar a que las personas entiendan su alcance y límites. “La IA no es ni buena ni mala, es su buen o mal uso lo que tiene repercusiones en las personas”, aclara Inmaculada Turbau, experta en IA y maldita que nos ha prestado sus superpoderes. Con la explicabilidad, “puedes prever lo que va a hacer la máquina. Los usuarios deben tener una mínima idea de cómo funcionan, pero los profesionales debemos entenderlas perfectamente”, concluye.
David Arroyo, economista digital y maldito, señala que la influencia y el alcance de la IA en nuestras vidas exige una gran responsabilidad, que “no es posible si no se conocen los cómo y los por qué respecto a cómo un software de este tipo genera una respuesta”. En ese sentido, el experto añade que los avances tecnológicos están generando una menor necesidad de dependencia humana en todos los puntos del proceso.
Pero la explicabilidad de la IA también ha avanzado. Villas incide en que “en los últimos años, las técnicas de interpretabilidad de algoritmos han avanzado mucho y esto está contribuyendo a poder proporcionar una mayor interpretabilidad a los algoritmos de caja negra”.
La Ley Europea de Inteligencia Artificial exige que los sistemas cumplan con ciertos requisitos de transparencia y responsabilidad
La Ley Europea de Inteligencia Artificial no exige un método específico de explicabilidad como tal, pero establece una serie de requisitos de transparencia y responsabilidad a los sistemas de IA que operan en los países miembro de la Unión Europea.
Los sistemas de IA considerados por la ley como de alto riesgo, aquellos con gran potencial de dañar los derechos fundamentales (pero que puede mitigarse con la implementación de salvaguardias), deben aportar documentación técnica detallada sobre cómo funcionan (art. 11), conservar registros automatizados para realizar auditorías sobre las decisiones del sistema (art 12), e información clara y comprensible para los usuarios sobre el propósito, criterios y riesgos del sistema (art. 13). Adicionalmente, su desarrollo debe contar con una supervisión humana y las personas involucradas deben comprender las capacidades y limitaciones del sistema (art. 14). En conjunto, estas obligaciones se alinean con los objetivos de la IA explicable.
Algunos ejemplos de sistemas de alto riesgo son los de identificación biométrica remota o de reconocimiento de emociones en ámbitos de seguridad y medicina. La regulación de estos sistemas comenzará a ser obligatoria el 2 de agosto de 2026. El incumplimiento de las obligaciones de los proveedores implicará multas de hasta 15 millones de euros o, si el infractor es una empresa, de hasta el 3% de su facturación anual mundial.
En este artículo han colaborado con sus superpoderes los malditos David Arroyo, economista digital, e Inmaculada Turbau, experta en IA.
Inmaculada Turbau forma parte de Superpoderosas, un proyecto de Maldita.es que busca aumentar la presencia de científicas y expertas en el discurso público a través de la colaboración en la lucha contra la desinformación.
Gracias a vuestros superpoderes, conocimientos y experiencia podemos luchar más y mejor contra la mentira. La comunidad de Maldita.es sois imprescindibles para parar la desinformación. Ayúdanos en esta batalla: mándanos los bulos que te lleguen a nuestro servicio de Whatsapp, préstanos tus superpoderes, difunde nuestros desmentidos y hazte Embajador.
