MENÚ
MALDITA TECNOLOGÍA

La inteligencia artificial no está preparada para medir el rendimiento académico de un alumno o sus notas

Publicado
Comparte
Categorías
Recursos utilizados
Expertos

En Maldita.es ya hemos analizado el papel de la inteligencia artificial (IA) en muchos contextos. ¿Puede una IA tener conciencia? ¿Hasta qué punto podría engañarnos un sistema de inteligencia artificial? ¿Puede componer música por sí misma? ¿Y parar la desinformación o predecir casos de depresión o intentos de suicidio? Con motivo de la “vuelta al cole”, vamos a explorar su papel en la educación. Concretamente, a raíz de este artículo de The Conversation, en el que el profesor de la Universidad Internacional de La Rioja (UNIR) Luis de la Fuente Valentín se pregunta si una inteligencia artificial puede predecir la nota de un alumno sin necesidad de examen.

Vamos además un pasito más allá, porque a día de hoy hay intentos de usar la IA para muchas cosas más: predecir su carrera laboral, su futuro desempeño, si están concentrados en clase…. Y, como siempre, nos fijamos en las implicaciones que puede tener este uso de la tecnología.

Los modelos de IA buscan generar el perfil académico digital de un alumno y analizar si está en riesgo de suspender

Hay muchos proyectos de investigación en marcha que ahondan en el uso de la inteligencia artificial con este objetivo. En el OECD Digital Education Outlook 2021, afirmaban que la IA tiene “prometedoras capacidades” para predecir y señalar cuándo los estudiantes están en riesgo de suspender, y también para identificar sus mejores habilidades. El problema, como señalaba entonces Ariel Guersenzvaig, filósofo de la tecnología especializado en ética de la IA, es que se había optado por un tipo de tecnología basado en el reconocimiento de emociones y el comportamiento que se basa fundamentalmente en teorías pseudocientíficas, como explicamos antes en Maldita.es.

¿Cómo funcionan, en general, estos modelos de IA? Prácticamente siempre, analizando datos históricos de los alumnos y comparándolos con los del resto. En la UNIR, por ejemplo, llevaron a cabo un proyecto piloto para medir y mejorar el rendimiento de los alumnos mediante algoritmos e inteligencia artificial. Para ello, entrenaron al modelo con datos históricos de estudiantes: su huella digital, clics en las aulas virtuales, participación en los foros, interacciones con compañeros, entregas de ejercicios y puntuaciones de exámenes.

Con esto se genera una especie de “perfil de un alumno digital”, explica Pablo Moreno-Ger, vicerrector de Investigación en la UNIR y director de la cátedra IBM-UNIR on Data Science in Education bajo la que se hizo el proyecto. Comparando ese “multiperfil genérico” con el de otro estudiante se puede deducir si el alumno ha frenado su frecuencia de interacciones y está en riesgo de suspender.

En la Universitat Oberta de Catalunya (UOC) también pusieron en marcha en 2020 una herramienta de inteligencia artificial para analizar el rendimiento académico. Por una parte, crearon un modelo que predice lo antes posible dentro de una asignatura si un estudiante no superará el curso. Para ello “se utilizan datos académicos (notas de las actividades de evaluación continua) e información del perfil (en cuántas asignaturas se ha matriculado ese semestre, si es nuevo en la universidad, cuántas veces ha suspendido la asignatura en cuestión y la nota media del expediente académico)”, explica David Bañeres, investigador de la UOC en el grupo SOM Research Lab. Analizando su evolución, pueden “informar a los estudiantes si están en situación de riesgo de no superar la asignatura”.

Con un segundo modelo, predicen si un alumno presentará la actividad de evaluación continua que se está realizando en ese momento y, a la larga, deducen si abandonará la asignatura (contando con que los profesores pueden acceder a esos datos y tomar decisiones al respecto). “En este caso también se utilizan datos diarios de acceso al campus virtual, acceso al aula de la asignatura, a los recursos disponibles y al foro de la asignatura, para entender si el alumno está activo dentro de la asignatura”, desglosa Bañeres.

Ni la sociedad ni el sistema educativo están preparados para que una máquina decida las calificaciones o apoye al docente

¿De dónde salen los datos con los que se entrena al modelo? Tanto desde la UNIR como desde la UOC, dicen utilizar datos históricos anonimizados y aseguran seguir las leyes de protección de datos. Otra historia es usarlo con alumnos actuales con nombre y apellidos. Aquí, si quieren utilizar el sistema de predicción, los alumnos tendrían que dar su permiso expresamente, afirma Bañeres.

En la Universidad Nacional de Colombia, en la Universidad de Oporto y en la Universidad Politécnica de Valencia, entre otros centros, también han estudiado este tipo de enfoques. Los modelos están desarrollados y entrenados, pero ¿de verdad funcionan estos sistemas, cómo de fiables son?

En la UNIR, Moreno-Ger asegura que fueron “capaces de predecir la nota cualitativa de un subgrupo de estudiantes (del grupo grande con el que entrenamos a la IA) en el 96% de los casos”. Según la UOC, los modelos que predicen si un estudiante suspenderá alcanzan el 70% con las primeras actividades entregadas hasta llegar al 95% en la última actividad, afirma Bañeres. “Los modelos asociados a predecir el abandono entre actividades tienen una precisión más variable, ya que en un entorno virtual hay estudiantes que a veces estudian sin acceder al campus durante unos días. Esto produce falsos positivos y la precisión va del 65% en la primera actividad al 85% en la última actividad”, afirma.

Si estos datos son precisos, ¿está entonces la IA a un nivel de desarrollo en el que ya podría usarse en las aulas? Moreno-Ger de UNIR lanza como respuesta otras preguntas: “¿Estamos preparados como sociedad para que una máquina pueda decidir las calificaciones y sustituir a los exámenes? Ahora mismo no. ¿Y para que sea una herramienta de apoyo al profesor? Puede que tampoco, los hay entusiastas y hay otros que no quieren ni oír hablar del tema. Socialmente no estamos preparados y aún debemos tener esos debates sobre el uso de la IA en educación, igual que se tienen en medicina, derecho o movilidad”.

Linda Castañeda, profesora del Departamento de Didáctica y Organización Escolar y miembro del Grupo de Investigación de Tecnología Educativa de la Universidad de Murcia (UMU), coincide con que aún no es el momento: “La IA como fuente de automatización es una absoluta revolución tecnológica que creo que puede ser de una utilidad fabulosa, pero su utilización en educación supone un reto inmenso que tiene unas enormes sombras que debemos tener en cuenta”.

De momento, la IA usa una visión simplista del aprendizaje y refuerza que las calificaciones solo se basen en datos

Para la especialista, el quid del problema está en que los enfoques que se suelen considerar utilizan una visión “simplona y generalizada” de la enseñanza y el aprendizaje: “Cómo aprende la gente y cómo funciona la educación es una de las cuestiones más complejas que existen. No se trata solo de unos contenidos, técnicas de enseñanza y objetivos mezclados con datos de los estudiantes. Influye el entorno, las expectativas, las técnicas de los profesores… No conocemos tan bien el proceso como para reducirlo a un modelo de IA”.

Además, Castañeda cree que, incluso aunque se pudiera, faltarían datos. “Para poder entender cómo aprende alguien necesitaríamos tener información sobre su humor, su estado familiar, su barrio o sus propias inquietudes personales, y todos esos son datos que no tenemos y que las plataformas digitales de enseñanza de momento no nos pueden ofrecer. De momento es una barrera infranqueable para proponer cuestiones de automatización en el aprendizaje”.

Para Ariel Guersenzvaig, también profesor en Elisava Facultad de Diseño e Ingeniería en la Universidad de Vic, a la visión simplista de la educación que pueden tener estos modelos de IA se le añade otro problema: afianzan los exámenes y las notas como la mejor manera de evaluar el aprendizaje.

“Los datos y los análisis estadísticos están revestidos de objetividad, que se entiende como una garantía de rigurosidad y neutralidad. Con la popularización de los sistemas de IA, se consolidan del todo como el estándar de facto y se refuerza la visión ‘dataísta’ del mundo”, explica a Maldita.es.

Antes de que un sistema pueda detectar si un estudiante copia, está atento al resto de compañeros o contribuye al foro de una asignatura, habría que definir qué es prestar atención o qué es contribuir lo suficiente, opina este especialista. Además, recuerda que “no de todo se pueden sacar correlaciones con valor explicativo” y alerta de posibles sesgos en el futuro.

“Igual que ocurre ahora con los scorings [puntuaciones] que los bancos ponen a sus clientes, donde esa puntuación sugerida automáticamente rara vez se cambia y se acepta el valor por defecto, un profesor o profesora puede tener difícil cambiar una nota sugerida por el sesgo de la automatización”, añade. Otra cuestión es si pensar que un estudiante tiene posibilidades de suspender o va por mal camino según la inteligencia artificial, creará a su vez sesgos entre los docentes.

Sesgos 'everywhere' los alumnos pueden cambiar su comportamiento si se saben observados por una IA y también puede influir en los profesores

A esto hay que añadirle otra perspectiva: las implicaciones pedagógicas. ¿Puede afectar al alumno sentirse observado por una IA y generarle sus propios sesgos? ¿Cómo te sentirías tú si supieras que una inteligencia artificial está registrando tus movimientos en un aula virtual y contando el número de veces que participas en un foro?

“No tenemos que olvidar que las personas somos ‘performativas’. Si me dicen que tengo que aprender a resolver un examen de una forma concreta lo voy a hacer. De la misma manera, en el momento en que se empiezan a tomar decisiones sobre mí en base a la cantidad de clics que doy a la plataforma o a la actitud que tengo en una actividad grupal, haremos que una de las ventajas fundamentales de nuestra naturaleza y nuestra libertad de expresión se vean coartadas”, afirma Linda Castañeda.

Utilizar modelos deterministas también pueden influir en los alumnos a pensar que su futuro, al estar predicho por una inteligencia artificial, está escrito. “Es como decir que lo que hemos hecho hasta ahora va a definir lo que vamos a hacer en el futuro, como si introdujéramos un sesgo según el cual los jóvenes no pudieran mejorar o cambiar”, reflexiona la investigadora de la UMU.

Como puede ocurrir con todos los desarrollos tecnológicos si se pervierte su uso, a Guersenzvaig de la Universidad de Vic - UCC le preocupa que este tipo de modelos y sus conclusiones puedan utilizarse con otros fines. “Estos potenciales índices de distracción en clase o de participación en foros podrían no solo usarse para sugerir una nota a un profesor o profesora, sino que, eventualmente, podrían integrarse en la nota de la selectividad o para la concesión de becas”.

Podemos decir que la inteligencia artificial para analizar y predecir el rendimiento académico está avanzando, la tecnología aparentemente funciona con cierta precisión, pero, aunque los datos de los alumnos se utilicen dentro de la legalidad, aún no está preparada para ser implementada correctamente ni para tener una visión completa de la realidad educativa que incluya todos los factores necesarios. Los dilemas éticos y pedagógicos persisten. Es momento de pausa y reflexión, así que seguiremos informando.

Hazte maldito, Hazte maldita
Te necesitamos para combatir los bulos y la mentira: sólo juntos podemos pararla. En Maldita.es queremos darte herramientas para protegerte contra la desinformación, pero sólo con tu apoyo será posible.

Eres muy importante en esta batalla para que no nos la cuelen. Seguro que tienes conocimientos útiles para nuestra batalla contra los bulos. ¿Tienes conocimientos de idiomas? ¿Lo tuyo es la historia? ¿Sabes mucho sobre leyes? ¡Préstanos tu Superpoder y acabemos juntos con los bulos!

También puedes apoyarnos económicamente. Maldita.es una entidad sin ánimo de lucro y que sea sostenible e independiente, libre de publicidad y con profesionales bien remunerados dedicados a luchar, contigo, contra la desinformación depende de tu ayuda. Cada aportación cuenta, cualquier cantidad es importante.