Muchos algoritmos de internet asocian la masculinidad con las ciencias y la feminidad con las artes, basándose en estereotipos

Las personas involucradas en el desarrollo de un algoritmo deben conocer las medidas que existen para minimizar los posibles sesgos y aplicarlas para que no ocurran

Sobre si los algoritmos de internet con los que interactuamos constantemente sufren un sesgo de género se han escrito ríos de tinta; basta una simple entrada en el buscador para comprobarlo. Sin embargo, según los investigadores de un nuevo estudio que busca llegar a una conclusión sobre esta pregunta, "hasta ahora, el debate ha estado lejos de un análisis científico". El nuevo trabajo, puesto en marcha por un equipo transdisciplinario, presenta una nueva forma de abordar la pregunta y propone algunas soluciones para evitar estas desviaciones en los datos y la discriminación que traen consigo.

Los algoritmos se emplean cada vez más para decidir si se concede o deniega un préstamo o para aceptar solicitudes. A medida que aumenta el número de aplicaciones de inteligencia artificial (IA), así como sus capacidades y relevancia, se vuelve más importante evaluar los posibles prejuicios adheridos a estas operaciones. "Si bien este no es un concepto nuevo, hay muchos casos en los que este problema no se estudia, con lo que se ignoran las posibles consecuencias", afirman responsables de la investigación publicada en acceso abierto en la revista Algorithms, enfocada principalmente al sesgo de género en diferentes campos de la IA.

Estos prejuicios pueden tener grandes impactos en la sociedad: "Los sesgos afectan a todo aquel que se encuentre discriminado o excluido o asociado a un estereotipo. Por ejemplo, podrían excluir un género o una raza de un proceso de decisión o, simplemente, asumir un comportamiento determinado por el género o el color de piel", explica su investigadora principal, Juliana Castañeda Jiménez, estudiante de doctorado industrial de la Universitat Oberta de Catalunya (UOC), bajo la dirección de Ángel A. Juan, de la Universitat Politècnica de València, y Javier Panadero, de la Universitat Politècnica de Catalunya - Barcelona Tech (UPC).

Según Castañeda, "es posible que los procesos algorítmicos discriminen por género, incluso cuando están programados para ser 'ciegos' a esa variable". El equipo investigador —en el que además participan los investigadores Milagros Sáinz y Sergi Yanes, del grupo de Género y TIC (GenTIC) del Internet Interdisciplinary Institute (IN3), Laura Calvet, de la Escola Universitària Salesiana de Sarrià, Assumpta Jover, de la Universitat de València, así como Ángel A. Juan— lo deja claro con varios ejemplos: el caso de una conocida herramienta de contratación que prefería a candidatos masculinos antes que femeninos, o el de algunos servicios de crédito que ofrecían condiciones menos ventajosas para las mujeres que para los hombres. "Si se usan datos históricos y no están equilibrados, probablemente se verá un condicionamiento negativo relacionado con demografía negra, gay e incluso femenina, dependiendo de cuándo y de dónde son esos datos", precisa Castañeda.

Ellos, ciencias y ellas, artes

Para saber cómo de afectados por estos patrones están los distintos algoritmos a los que nos enfrentamos, los investigadores analizaron trabajos anteriores que identificaban sesgos de género en procesos de datos en cuatro tipos de IA: la que describe aplicaciones en procesamiento y generación de lenguaje natural, la encargada de la gestión de decisiones, y la de reconocimiento facial y de voz.

En general, encontraron que todos los algoritmos identifican y clasifican mejor a los hombres blancos. Además, observaron que reproducían creencias falsas sobre cómo deberían ser los atributos físicos que definen a las personas según su sexo biológico, origen étnico o cultural, u orientación sexual, y que, asimismo, asociaban de forma estereotipada la masculinidad y la feminidad con las ciencias y las artes, respectivamente.

Muchos de los procedimientos utilizados en aplicaciones de reconocimiento de imagen o voz también se basan en estos estereotipos: al igual que las cámaras reconocen mejor las caras blancas, el análisis de audio tiene problemas con las voces más agudas, lo que afecta principalmente a las mujeres.

Los casos más susceptibles de sufrir estos defectos son aquellos algoritmos que se construyen a partir del análisis de datos reales que llevan asociado un contexto social. "Algunas de las principales causas son la infrarrepresentación de las mujeres en el diseño y desarrollo de productos y servicios de IA y el uso de conjuntos de datos con sesgos de género", señala la investigadora, que sostiene que el problema está relacionado con los entornos culturales en los que son desarrollados.

"El algoritmo, al entrenarse con datos sesgados, puede determinar los patrones ocultos que existen socialmente, y a la hora de operar, los reproduce. Así que, si en la sociedad, la representación de hombres y mujeres no es equilibrada, el diseño y desarrollo de los productos y servicios de IA presentarán sesgos de género".

¿Cómo acabar con esta tendencia?

Las múltiples fuentes de sesgo de género, así como las particularidades de cada tipo de algoritmo y conjunto de datos, hacen que eliminar esta desviación sea un desafío particularmente difícil, pero no imposible. "Se necesita que los diseñadores y todas las personas involucradas en el desarrollo estén informadas sobre la posibilidad de tener sesgos asociados a la lógica de un algoritmo. Además, deben conocer las medidas que existen para minimizar al máximo los posibles sesgos y aplicarlas para que no se produzcan, porque si son conscientes de las discriminaciones que se dan en la sociedad, sabrán identificar cuando sus desarrollos las reproducen", propone Castañeda.

La novedad de este trabajo radica en que ha sido promovido por especialistas en diferentes áreas, donde hay, entre otros, una socióloga, un antropólogo y expertas en género o estadística. "Los miembros del equipo completaron una perspectiva que va más allá de la matemática autónoma asociada al algoritmo y, así, pudimos considerar el algoritmo como un sistema sociotécnico complejo", describe la investigadora principal del estudio.

"Si se compara este trabajo con otros, pienso que es uno de los pocos que presenta la temática de los sesgos en los algoritmos desde una perspectiva neutra, donde se destacan tanto los aspectos sociales como los técnicos para identificar por qué un algoritmo toma una decisión sesgada", concluye.

Esta investigación de la UOC favorece los objetivos de desarrollo sostenible (ODS) de la ONU: 5, igualdad de género, y 10, reducción de las desigualdades.