MENÚ
El 2 de febrero de 2025 una serie de sistemas de IA comienzan a estar prohibidos en los países de la Unión Europea para salvaguardar derechos fundamentales y la seguridad de las personas. La responsable es la Ley de IA o AI Act, una legislación pionera que busca regular los sistemas de inteligencia artificial y tiene un enfoque basado en el riesgo, por lo que prohíbe ciertos sistemas que considera de “riesgo inaceptable”. Algunos de los sistemas de IA que estarán prohibidos son los de identificación biométrica para uso en espacios públicos, los que categorizan a personas según sus datos biométricos y los que infieren emociones en lugares de trabajo o estudios.
Los expertos consultados por Maldita.es sostienen que, a pesar de que la responsabilidad principal recae en los desarrolladores, proveedores y distribuidores, los usuarios podrían enfrentar sanciones en ciertas circunstancias, por ejemplo, si son conscientes de que emplean una IA prohibida. La Agencia Española de Supervisión de la Inteligencia Artificial (AESIA), encargada de supervisar e inspeccionar la aplicación de la normativa en España, explica a Maldita.es que como usuarios podremos denunciar el uso de una IA prohibida a través de un formulario en su web; página web que a 30 de enero no está disponible pero cuya publicación, dicen, “es inminente”. También se podrá tramitar mediante un escrito al director general de la AESIA.
A pesar de que la AESIA no asume la potestad sancionadora hasta el 2 de agosto de 2025, aseguran que examinarán todas las denuncias y tomarán las medidas posibles. Después de esa fecha, el organismo podrá multar a los operadores si incumplen con las prohibiciones con hasta 35 millones de euros o el 7% de la facturación total anual mundial.
A un clic, ¿de qué hablamos en este tema? Pincha para ampliar
Desde el 2 de febrero, los sistemas de IA de riesgo inaceptable estarán prohibidos por considerarse una amenaza para los derechos y la seguridad de las personas
La Ley de IA o AI Act entró oficialmente en vigor el 1 de agosto de 2024 en todos los países miembros de la Unión Europea. Sin embargo, sus capítulos I y II, que abordan la alfabetización en materia de IA y las prohibiciones, estarán vigentes desde el 2 de febrero de 2025.
El reglamento tiene un enfoque basado en el riesgo que divide los sistemas en categorías. Los sistemas de IA que estarán prohibidos desde febrero son aquellos de riesgo inaceptable, considerados una amenaza para la seguridad y los derechos de las personas. El artículo 5 del capítulo II de la ley prohíbe la introducción en el mercado, puesta en servicio y la utilización de los sistemas de IA que:
Usen técnicas subliminales o manipuladoras: son sistemas que se sirven de “técnicas subliminales que trascienden la conciencia de una persona” o “deliberadamente manipuladoras o engañosas” que tienen el objetivo de “alterar de manera sustancial el comportamiento”. Un ejemplo puede ser una IA que use señales sutiles de audio, imágenes o vídeo indetectables para nosotros, pero que pueden influir en cómo nos comportamos.
Exploten las vulnerabilidades de una persona o colectivo: son aquellos que explotan las vulnerabilidades de una persona o colectivo determinado “derivadas de su edad o discapacidad, o de una situación social o económica específica” con el objetivo “alterar de manera sustancial el comportamiento”. Por ejemplo, que usen análisis de datos avanzados para crear anuncios altamente personalizados que aprovechen información sensible.
Evalúen o clasifiquen a personas o colectivos: son sistemas para “evaluar o clasificar” a personas o colectivos “durante un período determinado de tiempo, atendiendo a su comportamiento social o a características personales o de su personalidad conocidas, inferidas o predichas” que puedan producir “un trato perjudicial o desfavorable” que “no guarde relación con los contextos donde se generaron o recabaron los datos” o que “sea injustificado o desproporcionado”. Esto es lo que se conoce como puntuación social o social scoring e incluye, por ejemplo, una IA que analice solicitudes de empleo según la actividad en redes sociales de los candidatos, considerando opiniones políticas, creencias religiosas, etc.
Evalúen el riesgo de que una persona cometa un delito: los sistemas para “realizar evaluaciones de riesgo de personas físicas” con el objetivo de valorar o predecir el riesgo de que una persona cometa un delito basándose únicamente en la elaboración del perfil de una persona o la evaluación de los rasgos y características de su personalidad. Por ejemplo, un sistema que se base en el lugar de nacimiento, número de hijos o tipo de vehículo y la elaboración de perfiles para predecir si una persona cometerá un delito. Esta restricción no aplica a aquellos sistemas “utilizados para apoyar la valoración humana de la implicación de una persona en una actividad delictiva que ya se basa en hechos objetivos y verificables”.
Creen o amplíen bases de datos de reconocimiento facial con internet o CCTV: sistemas que nutran sus bases de datos de reconocimiento facial “mediante la extracción no selectiva de imágenes faciales de internet o de circuitos cerrados de televisión (CCTV)”. Un ejemplo es Clearview AI, compañía de reconocimiento facial de EEUU, que se ha enfrentado a sanciones por incumplir con el Reglamento General de Protección de Datos (RGPD) por utilizar imágenes de internet.
Infieren emociones en el trabajo o centros educativos: sistemas para “inferir las emociones de una persona física en los lugares de trabajo y en los centros educativos”. Una IA de este tipo puede hacer inferencias inexactas o tener sesgos, dada la diversidad de expresiones en diferentes culturas y situaciones.
Hay una excepción: los sistemas “instalados o introducidos en el mercado por motivos médicos o de seguridad”.
Categorización biométrica para clasificar personas: aquellos que clasifiquen a las personas según sus datos biométricos para “deducir o inferir su raza, opiniones políticas, afiliación sindical, convicciones religiosas o filosóficas, vida sexual u orientación sexual”. Por ejemplo, una IA que califique a posibles inquilinos de una vivienda según estos factores puede permitir prácticas discriminatorias. La prohibición no incluye el etiquetado o filtrado de conjuntos de datos biométricos adquiridos lícitamente.
Identificación biométrica remota “en tiempo real” en espacios públicos: sistemas de identificación biométrica remota en “tiempo real” en espacios de acceso público. Un ejemplo podría ser una IA que identifique a las personas que entran a una estación de Metro. La excepción: si se utilizan para la búsqueda selectiva de víctimas de secuestro, trata, explotación o desaparecidos, además de la previsión de amenazas específicas o localización de sospechosos.
Los últimos cuatro sistemas de esta lista hacen uso de los datos biométricos de las personas, es decir, sus características físicas, fisiológicas y conductuales. Como abordamos en Maldita.es, estos son datos muy sensibles y si se utilizan, por ejemplo, para obtener información sobre nuestro comportamiento o con fines fraudulentos, pueden implicar riesgos para nuestra privacidad y derechos fundamentales.
Ojo, que hay una excepción general para las obligaciones de la ley: la seguridad nacional. La AI Act no aplica a los sistemas que se desarrollan únicamente con fines de seguridad nacional, independientemente de si lo hace una autoridad pública o empresa privada.
A pesar de que la responsabilidad principal no recae en los usuarios, en ciertas circunstancias se podrían enfrentar a sanciones, según los expertos consultados por Maldita.es
Ya sea en nuestro lugar de trabajo, estudios o navegando por internet, ¿qué pasa si usamos un sistema prohibido? Los expertos señalan que se nos podrían atribuir responsabilidades como usuarios finales, pero con ciertos límites.
Ibán García, director internacional de Lasker, exeurodiputado y miembro del equipo negociador para la aprobación de la Ley de IA, indica que esta regulación “busca abarcar toda la cadena de valor, aunque también menciona el principio de proporcionalidad a la hora de determinar sanciones”. Por ejemplo, las sanciones descritas en el texto se dirigen a los “operadores”, los cuales la ley define como “un proveedor, fabricante del producto, responsable del despliegue, representante autorizado, importador o distribuidor”.
“La responsabilidad principal recae sobre los desarrolladores, proveedores y distribuidores de los sistemas de IA, más que en los usuarios finales”, afirma el experto. Sin embargo, sostiene que los usuarios podrían ser sancionados bajo ciertas circunstancias, pero que no habrá claridad total sobre el tema hasta que se apruebe la Directiva de responsabilidad por IA, que adaptará las normas de responsabilidad civil a la inteligencia artificial.
“Los usuarios individuales o empresas que utilicen un sistema prohibido podrían enfrentarse a sanciones si conscientemente emplean un sistema de IA que saben está prohibido o que no cumple con las regulaciones”, señala García. “Sin embargo, los usuarios finales que no cuentan con conocimientos técnicos o que no son responsables directos de la comercialización del sistema suelen tener una responsabilidad limitada”.
Elena Gil, doctora en Derecho Digital y Protección de Datos, cofundadora de TechandLaw y maldita que nos ha prestado sus superpoderes, señala que “si no eres el usuario final y estás integrando o desarrollando un sistema prohibido, podrían derivarse responsabilidades”. Por ejemplo, las empresas que han integrado y utilizan sistemas prohibidos, “antes del 2 de febrero, deben haber evaluado si alguno de sus sistemas entra en las categorías prohibidas por el reglamento. Si es el caso, tendrán que tomar medidas, como realizar ajustes técnicos para cumplir con la normativa o, si no es posible, retirar el sistema del mercado”.
Sobre si hay alguna forma de saber que estamos usando una IA prohibida, Gil explica que “la herramienta en sí no te notificará de que lo es”. Eduard Blasi, abogado experto en derecho digital, cofundador de TechandLaw y maldito recalca la importancia de que las empresas hayan analizado sus sistemas, ya que advierte de que no van a recibir ningún aviso específico sobre las prohibiciones.
Podemos denunciar el uso de una IA prohibida a la Agencia Española de Supervisión de la Inteligencia Artificial (AESIA)
Otra manera en la que nos pueden afectar estas prohibiciones es si se utiliza alguna IA prohibida sobre nosotros. “Por ejemplo, podrías ser manipulado o engañado sin darte cuenta, o ser sometido a prácticas invasivas como el reconocimiento facial en tiempo real en espacios públicos”, advierte Blasi. “Los usuarios podrían enfrentarse a las consecuencias graves que llevaron a prohibir estos sistemas en primer lugar”, sostiene.
Si nos pasa y vivimos en España, el experto recomienda denunciarlo a la Agencia Española de Supervisión de la Inteligencia Artificial (AESIA), el organismo responsable de supervisar el cumplimiento de la ley en España, que está ubicado en A Coruña. “Esta agencia tiene la autoridad para investigar, inspeccionar y sancionar a los responsables”, señala el experto.
Desde la AESIA explican a Maldita.es que la agencia “ya está operativa” y que para denunciar un sistema prohibido podemos:
Rellenar el formulario que se habilitará en la página oficial de la AESIA. Según el organismo, “la publicación de la web es inminente”.
Enviar un escrito dirigido a su director general, Ignasi Velda, presentado a través de cualquier registro de la administración. En este enlace tienes más información sobre el proceso.
Con esta información, la Agencia valorará la denuncia “para determinar si inicia una actuación de oficio o si se remite a la autoridad competente por la materia”, señalan. Sin embargo, el organismo aclara que el régimen sancionador del reglamento no será de aplicación hasta el 2 de agosto de 2025. Por lo tanto, hasta esa fecha no será posible tramitar ningún procedimiento sancionador contra los sistemas de IA prohibidos (pero sí, denunciar).
La AESIA dice que todas las denuncias presentadas antes del 2 de agosto serán examinadas y “se recabará, de ser necesario, información”. Después de esto, si se considera que es un sistema de IA prohibido, hay dos opciones:
Si está sometido a una legislación armonizada (normas europeas para probar que productos o servicios cumplen con requisitos técnicos) se comunicará a la autoridad de vigilancia del mercado competente para que supervise su actividad y ejerza las competencias que le correspondan.
Si no está sometido a una legislación armonizada, se comunicará al desarrollador, proveedor o distribuidor responsable del despliegue que está incumpliendo la norma comunitaria con su sistema de IA.
Desde el 2 de agosto, la AESIA podrá sancionar a los proveedores con multas de hasta 35 millones o el 7% de la facturación total anual mundial
“Los proveedores y distribuidores son responsables de garantizar que los sistemas cumplan con los requisitos legales antes de su lanzamiento al mercado”, explica García. El experto señala que esto incluye evitar el uso de sistemas prohibidos, como aquellos que vulneren derechos fundamentales. “Para este propósito, se cuenta además con la supervisión de los organismos nacionales de control”, concluye, en referencia a la AESIA.
Cuando la AESIA asuma la plena potestad sancionadora el 2 de agosto de 2025, podrá aplicar las sanciones contempladas en la Ley de IA, que varían según la severidad y naturaleza de las violaciones. En este caso, los operadores que incumplan la prohibición de prácticas de IA de riesgo inaceptable se pueden enfrentar a multas de hasta 35 millones de euros o del 7% de la facturación total anual mundial si el infractor es una empresa.
En este artículo han colaborado con sus superpoderes la maldita Elena Gil, abogada especializada en privacidad, y Eduard Blasi, abogado experto en derecho digital.
Elena Gil forma parte de Superpoderosas, un proyecto de Maldita.es que busca aumentar la presencia de científicas y expertas en el discurso público a través de la colaboración en la lucha contra la desinformación.
Gracias a vuestros superpoderes, conocimientos y experiencia podemos luchar más y mejor contra la mentira. La comunidad de Maldita.es sois imprescindibles para parar la desinformación. Ayúdanos en esta batalla: mándanos los bulos que te lleguen a nuestro servicio de Whatsapp, préstanos tus superpoderes, difunde nuestros desmentidos y hazte Embajador.
