MENÚ
La inteligencia artificial ya está presente en las aulas. En la Unión Europea lo saben y han incluido en la Ley de IA o AI Act (en vigor desde el 1 de agosto de 2024) los usos en el ámbito educativo de esta tecnología, con el fin de limitar sus efectos negativos en los estudiantes. El texto prohíbe en los países de la UE los sistemas de reconocimiento de emociones en centros educativos. Además, limita e impone obligaciones a los sistemas de alto riesgo, como aquellos que se usan para la admisión, evaluación y categorización de los alumnos, y los que se utilizan para detectar comportamientos prohibidos durante los exámenes virtuales (proctoring).
La responsabilidad no es solamente de los proveedores y desarrolladores. Como implementadores, los centros educativos también tienen obligaciones y deben asegurar que su uso cumpla con la ley. Si deciden incorporar sistemas de alto riesgo, deberán hacer un análisis de riesgos sobre la salud y seguridad de los alumnos, además de contar con supervisión humana a la hora de usarlos, para evitar que se cometan errores o se tomen decisiones injustas.
Si no lo hacen, tanto los proveedores como los implementadores se pueden enfrentar a sanciones que varían en función del daño y la capacidad del infractor. Pero aún hay tiempo para poner todo en orden, las prohibiciones se aplican desde el 2 de febrero de 2025 y las obligaciones para los sistemas de alto riesgo desde el 2026.
La Ley de IA prevé la importancia de incorporar sistemas de inteligencia artificial en la educación, pero pone límites para proteger los derechos de los estudiantes
La Ley de Inteligencia Artificial de la UE, que entró en vigor el 1 de agosto de 2024, tiene como objetivo regular el uso de estos sistemas en el territorio europeo. La legislación categoriza los programas según el riesgo que suponen para los derechos de las personas: inaceptable (prohibido), alto riesgo, riesgo limitado y riesgo mínimo.
La AI Act también aborda el tema de la educación y defiende la incorporación de sistemas de IA en las aulas, pero con límites. Los legisladores destacan su importancia para fomentar una educación y formación digital de alta calidad y “para que todos los estudiantes y profesores puedan adquirir y compartir las capacidades y competencias digitales necesarias”.
Pero hay matices. La ley pone obligaciones a los sistemas que considera “pueden decidir la trayectoria formativa y profesional de una persona, y, en consecuencia, afectar a su capacidad para asegurar su subsistencia”. Por ejemplo, si un sistema de reconocimiento facial acusa a un estudiante de copiar porque no para de moverse, y este solo lo está haciendo por nerviosismo, se podría reprobar al alumno, perjudicar su promedio general y dificultar su acceso a estudios avanzados.
También advierte de que los programas que no se diseñan y utilizan correctamente pueden violar el derecho a la educación y a la no discriminación, ya que pueden perpetuar estereotipos y patrones de exclusión debido a los sesgos raciales o de género que pueden presentar los sistemas, un tema que hemos abordado aquí.
Los sistemas de reconocimiento de emociones están prohibidos y los que se utilizan para los procesos de admisión, evaluación y vigilancia durante exámenes son de alto riesgo
¿En qué sistemas deben estar vigilantes los centros educativos? La ley prohíbe completamente los programas de IA que infieran en las emociones de las personas en centros educativos (artículo 5). Estos sistemas que tratan datos biométricos (nuestras características biológicas únicas) se consideran de riesgo inaceptable, ya que ponen en peligro los derechos fundamentales y la seguridad de las personas.
Además, algunos sistemas para la educación y formación se consideran de alto riesgo (Anexo III), ya que tienen un gran potencial de dañar los derechos fundamentales, seguridad y salud de las personas, pero que puede mitigarse con los salvaguardias necesarios. Estos son:
Sistemas de IA que determinan el acceso o admisión a centros educativos y de formación profesional en todos los niveles, o para distribuir a los alumnos entre dichos centros.
Sistemas de IA que se utilizan para evaluar los resultados del aprendizaje y orientar el proceso de aprendizaje de los alumnos.
Sistemas de IA usados para evaluar el nivel de educación adecuado que recibirá una persona o al que podrá acceder.
Sistemas de IA destinados a realizar seguimiento y detección de comportamientos prohibidos durante exámenes. Te explicamos cómo funcionan aquí.
Los centros educativos que incorporen sistemas de alto riesgo deben contar con supervisión humana e informes de análisis de riesgos para la salud y seguridad de los alumnos
Los centros educativos en países de la Unión Europea aún tienen tiempo para poner todo en orden. La regulación de los sistemas de alto riesgo comienza el 2 de agosto de 2026 y las prohibiciones se aplicarán desde el 2 de febrero de 2025.
Sobre las salvaguardias, algunas son responsabilidad de los proveedores, y otras, de los implementadores. Iban García, eurodiputado y ponente de la Ley de IA, explica a Maldita.es que los comercializadores de estas herramientas deberán registrarlas en la Oficina Europea de IA y entregar documentación técnica detallada y cumplir con estándares de precisión, robustez y seguridad, entre otros.
Si un centro educativo decide implementar un sistema de IA de alto riesgo, deberá presentar un informe de análisis de riesgos para las personas afectadas, en este caso los estudiantes, especialmente en temas de salud y seguridad. Además, deberá contar con un control humano continuo sobre la herramienta, es decir, que una persona capacitada supervise e intervenga si es necesario para evitar errores o decisiones injustas, señala el eurodiputado.
La escuela, instituto o centro de formación profesional podría ser multada si incumple con las obligaciones que le corresponden. “En cada caso habrá que determinar de quién es la obligación y quién no la ha cumplido”, advierte García. No cumplir con las salvaguardias para los sistemas de alto riesgo puede suponer sanciones de hasta 15 millones de euros o el 3% de la facturación anual de la organización (artículo 99). Por otro lado, el usar sistemas prohibidos puede llevar a multas de hasta los 30 millones de euros o el 7% de la facturación total anual. Ojo, estos son los montos máximos a los que se pueden enfrentar (desde el 2 de agosto de 2026 para los sistemas de alto riesgo y el 2 de febrero de 2025 para los prohibidos) y se modulan en proporción al daño y a la capacidad del infractor.
Primera fecha de publicación de este artículo: 16/09/2024
