MENÚ
VioGén es un algoritmo usado por el Ministerio del Interior desde 2007 que tiene la misión de evaluar si una mujer víctima de violencia de género corre el riesgo de volver a sufrir algún tipo de maltrato. ¿Lo consigue o no? ¿Acierta en sus predicciones? La única manera que tenemos de responder a fondo estas preguntas es examinando el código fuente del programa informático. Hablamos del 'manual de instrucciones' que escriben los desarrolladores y que le dicen al algoritmo qué debe evaluar y qué no para considerar que una mujer está en una situación de riesgo o no. El problema es que ese acceso está cerrado.
El Ministerio del Interior, por el momento, no permite que se examine ese código. Es decir, que no lo libera ni lo hace accesible para que investigadores y especialistas externos al departamento puedan analizarlo y comprobar que todo está en orden: que el algoritmo no presenta sesgos, que utiliza variables adecuadas para medir el riesgo, etc. Este proceso se enmarca en la auditoría algorítmica, de la que os hemos hablado mucho en Maldita.es. A pesar ello y de que el código de VioGén no se puede estudiar libremente, la Fundación Éticas ha auditado este programa informático por primera vez entrevistando a mujeres cuyos casos de violencia de género entraron en el sistema y analizando resoluciones públicas de homicidios perpetrados por parte de las entonces parejas. Su conclusión es que el algoritmo no recoge suficiente información y que las predicciones podrían estar condicionadas por esa falta de datos.
¿Cómo funciona VioGén? ¿Y cómo se averigua esto?
VioGén es un diminutivo de "Sistema de Seguimiento Integral en Casos de Violencia de Género". El algoritmo se activa cuando una persona denuncia un caso de violencia de género en una comisaría. La policía realiza entonces un cuestionario a la víctima que luego introduce en el sistema para que este otorgue un nivel de riesgo automático: "no se aprecia", "bajo", "medio", "alto" o "extremo". A partir de ese resultado y la evaluación de los agentes, se toman unas medidas u otras para que la víctima no vuelva a ser agredida. La decisión depende de varios factores: si la mujer tiene hijos, si tiene empleo y/o trabaja fuera de casa, si ya ha sufrido antes un caso de violencia de género, etc. Así hasta 35 indicadores de riesgo.
Para llevar a cabo la auditoría del algoritmo sin tener acceso al código informático, se analizaron 126 casos documentados por el Consejo General del Poder Judicial de homicidios de víctimas que habían denunciado a su agresor, y también se entrevistó a 31 mujeres con las que se usó VioGén en los últimos tres años y a siete abogados especialistas en violencia de género. El objetivo era evaluar por qué procesos pasa la denuncia antes de tomar cualquier medida policial y qué factores se tienen en cuenta para determinar la protección que se le asigna a la denunciante.
El objetivo de la auditoría era determinar si esos factores son adecuados y realmente reflejan los problemas reales que puede llegar a sufrir una víctima de violencia de género. Entre las cosas que pudieron averiguar a través de la experiencia de estas mujeres con el cuestionario que se introduce en VioGén está el hecho de que su declaración no va íntegra al sistema, sino que los agentes tienen que transformar lo que les van contando en fórmulas más simples: un indicador puede estar presente o no y eso puede cambiar el resultado que da el programa informático.
Otra de las conclusiones, relacionadas con cómo funciona el sistema, es que las preguntas que hacen los agentes partiendo del cuestionario de VioGén son demasiado "rígidas" y eso complica que se evalúe correctamente cada caso a nivel individual. Su análisis refleja que 55 mujeres que fueron asesinadas recibieron "una orden de protección que resultó ser insuficiente". Esto significa que se le asignó un riesgo bajo. ¿Y cómo puede estar influido esto? Ponen el ejemplo de que el sistema da mayor protección a denunciantes con hijos que a aquellas que no los tenían.
Por qué es importante que se auditen externamente los algoritmos que usan las administraciones
Conocer cómo funcionan las tripas de un algoritmo es la única manera que tenemos de saber a ciencia cierta si hay algo que no está funcionando bien en el programa. No nos sirve en este caso analizar de forma aislada los datos de los resultados de sus predicciones, por ejemplo, sino que es necesario aplicar una serie de técnicas enmarcadas en las tareas de auditoría algorítmica que no todo el mundo tiene la capacidad de utilizar, especialmente si no se puede analizar el código informático en sí.
En este caso, la Fundación Éticas ha aplicado una metodología propia para comprobar si existen fallos que podrían corregirse por la administración, ya que hasta el momento, aseguran, los estudios hechos hasta el momento sobre VioGén han sido realizados por investigadores que participaron en su desarrollo o que trabajan para el Ministerio del Interior, y no especialistas independientes. Esta falta de transparencia y de acceso al programa dificulta el sacar conclusiones sobre si realmente es un sistema que se debería usar en un ámbito tan sensible como el de la violencia de género.
Gracias a este tipo de auditorías, se pueden señalar puntos flacos y elaborar recomendaciones que insten a las administraciones a arreglar o mejorar el sistema. En este caso, Éticas recomienda, por ejemplo, acompañar la puntuación de riesgo que da VioGén de la justificación de los policías: añadir el contexto del caso que entiende el policía (que es una persona, al fin y al cabo) y no solo el que intuye la máquina. "La puntuación de riesgo de VioGén debe ir acompañada de un informe policial que justifique la puntuación y brinde una opinión profesional adicional si es necesario", aseguran. También se recomienda aplicar al algoritmo el uso de datos históricos para detectar patrones de violencia de género y actualizar estos datos para validar que los factores de riesgo coinciden a lo largo del tiempo y, por encima de todo, hacerlos públicos.
Este algoritmo también se clasifica según Éticas como un sistema automatizado que necesita siempre supervisión humana, es decir, que sus resultados no se deberían usar nunca de forma aislada por el gran impacto que pueden tener sobre las personas, en este caso víctimas de violencia de género. La Unión Europea aprobará próximamente un reglamento de inteligencia artificial que contempla hasta qué punto pueden tomarse decisiones automatizadas con estos efectos sobre la población.
