MENÚ
Cuando no sepas si ha sido un humano o una máquina el que te ha moderado una publicación en una red social o el que ha propuesto una selección musical que se adapta como anillo al dedo a tus gustos, lo más seguro es que lo haya hecho un algoritmo.
Aquí en Maldita Tecnología te hemos hablado en varias ocasiones sobre cómo afectan los algoritmos a tu día a día y qué tipos de sesgos tienen a la hora de trabajar. Y es que está demostrado que, al igual que sus creadores, los programas informáticos reproducen las desigualdades y prejuicios hacia los colectivos especialmente vulnerables, aunque sea de forma involuntaria.
Repasamos algunos de los fallos que demuestran que el ser humano sigue siendo esencial a la hora de gestionar contenido en redes sociales o políticas públicas.
Un primer filtro para las publicaciones en redes sociales que puede resultar problemático
¿Cuánto contenido se genera en internet? La compañía de soluciones digitales Domo elabora cada año un estudio que resulta útil para comprender la magnitud de los datos que generamos en la red. Así, en 2020, cada minuto se mandan casi 42 millones de mensajes de WhatsApp, se publican más de 347.000 stories de Instagram y se suben 500 horas de vídeo a YouTube.
Con esta enorme cantidad de publicaciones, las plataformas delegan el primer filtro para eliminar contenido inapropiado en algoritmos. Pero, como decíamos antes, no son ni mucho menos infalibles.
Ejemplo de ello es esta noticia en la que se explica que YouTube bloqueó un conocido canal de ajedrez después de que su inteligencia artificial considerara que se trataba de contenido racista. ¿El motivo? Que en los comentarios de los vídeos se hablasen en términos de ‘blancas’, ‘negras’, ‘atacar’ o ‘amenaza’.
También se vieron afectados por un caso similar los aficionados al videojuego Pokémon GO. En concreto, varios creadores de contenido vieron como sus canales fueron retirados por “violar las normas de la plataforma”. En este caso la confusión se debía a las siglas CP, muy utilizadas en la comunidad del juego para referirse a Combat Points (puntos de combate). El algoritmo creyó estar leyendo contenido relacionado con Child Porn (pornografía infantil).
Con el inicio de la crisis sanitaria, Facebook retiró de manera errónea numerosos contenidos etiquetándolos como desinformación y que en realidad no lo eran. En este caso, el fallo se achacó a un desajuste en el sistema anti-spam de la red social.
Un capítulo aparte merecen las críticas surgidas en torno a los algoritmos de Instagram. Aquí hay varios ejemplos de confusiones: imágenes de cruces de un museo italiano son confundidas con esvásticas, se elimina un posado humorístico por poca ropa pero no el de la modelo original o el bloqueo de imágenes en las que el algoritmo cree ver pezones.
El racismo y el machismo, dos de los principales problemas de los automatismos
Uno de los casos más sonados fue el protagonizado por el algoritmo de Google Imágenes, que etiquetó una fotografía en la que aparecían dos personas negras como ‘gorilas’. La empresa se disculpó con la pareja y se comprometió a mejorar su sistema de reconocimiento.
Estos sesgos racistas presentes en la inteligencia artificial también se han dejado ver en la gestión de la sanidad pública de Estados Unidos. Según desveló una investigación publicada en la revista Science, “se han encontrado pruebas de un sesgo racial en un algoritmo muy utilizado, de forma que los pacientes negros a los que el algoritmo asigna el mismo nivel de riesgo están más enfermos que los blancos”.
¿En qué se traduce que el nivel de riesgo de los pacientes se valore de esta forma? “Los autores estiman que este sesgo racial reduce a más de la mitad el número de pacientes negros identificados para recibir cuidados adicionales”.
Si la inteligencia artificial reproduce los sesgos de sus creadores, y más teniendo en cuenta que la mayoría de programadores son hombres blancos de mediana edad, tampoco sorprende que el sexismo se haya colado en el debate sobre los prejuicios de los algoritmos.
Un ejemplo es el algoritmo que Amazon puso en marcha para su selección de personal. Debido a que la mayoría de solicitudes para trabajar en la multinacional eran hombres, la inteligencia artificial "se enseñó a sí misma que los candidatos masculinos eran una preferencia", según afirmaron a Reuters fuentes de la compañía. El proyecto fue abandonado tras desvelarse su cuestionable eficacia.
También se comprobó que las búsquedas en internet tendían a relacionar nombres de mujeres con palabras como ‘familia’ o ‘boda’, mientras que otros de hombre se asociaban con ‘trabajo’ o ‘profesión’.
Errores y malentendidos digitales en la Administración pública
Como comentamos en el caso de la sanidad estadounidense, las administraciones públicas de muchas partes del mundo ya acogen este tipo de soluciones informáticas para automatizar algún trámite o para ofrecer servicios más eficientes.
Sobre la policía predictiva y el uso de algoritmos en las Fuerzas y Cuerpos de Seguridad del Estado ya os contamos aquí sus principales características. Pues bien, el pasado año se dio el primer caso conocido de detención derivada de un reconocimiento facial erróneo.
Este dudoso honor le correspondió a Robert Julian-Borchak Williams, un ciudadano de Detroit que pasó 30 horas en el calabozo acusado de robar cinco relojes. La imagen de las cámaras se comparó con la de su carné de conducir y el algoritmo decretó que el principal sospechoso era él, algo que después se descubrió falso.
Como parece inevitable que nuestro futuro va a ir de la mano del de los algoritmos, numerosos expertos y activistas en derechos digitales ya se han puesto manos a la obra para reclamar más transparencia y una mayor formación sobre el asunto.
Primera fecha de publicación de este artículo: 03/03/2021
