En la era digital, los algoritmos se han convertido en una parte crucial de la vida cotidiana, influyendo en las decisiones financieras, sanitarias, laborales y policiales. Sin embargo, la creciente dependencia de los algoritmos suscita una gran preocupación por los sesgos. El sesgo puede perpetuar e incluso exacerbar las desigualdades existentes dando lugar a resultados injustos.
Recientemente, la Gaceta UNAM publicó un artículo titulado “La Inteligencia Artificial no es feminista”
en donde aseguran que los sesgos en los conjuntos de datos utilizados para entrenar modelos de IA es posible que perpetúen estereotipos de género o discriminación.
Pero eso no es nuevo. No sólo existen sesgos en los datos, sino también en el diseño, en la implementación y en la medición. Joy Buolamwini una destacada defensora de la equidad algorítmica afirma en su libro Unmasking AI
que cuando pensamos en la IA, es fundamental pensar en quién se ve perjudicado por los sistemas y quién se beneficia.
En el artículo de la Gaceta UNAM, la lingüista computacional María Ximena Gutiérrez, integrante del programa Macrodatos, Inteligencia Artificial e Internet del Centro de Investigaciones Interdisciplinarias en Ciencias y Humanidades (CEIICH), comenta que “lo que está reflejado ahí de nosotros (en los modelos de IA), tal vez tiene muchos sesgos, reproduce estereotipos, incluidas cuestiones de género que se consideran machistas. El enfoque predominante de la IA se basa en aprender de una gran cantidad de ejemplos.”
Y por supuesto que aprende de datos históricos, pero si estos datos reflejan sesgos sociales, es probable que el algoritmo los reproduzca. Por ejemplo, si los datos de contratación muestran una preferencia por los candidatos masculinos, un algoritmo entrenado a partir de estos datos puede favorecer a los hombres en detrimento de las mujeres.
Pero los riesgos también se pueden encontrar en la fase de diseño. Si sus creadores, por ejemplo, intencionadamente o no, incorporan sus propios sesgos al modelo, obviamente alterarán la selección de las variables en el resultado. De la misma manera, en las mediciones también pueden existir sesgos. Los algoritmos de detenciones criminales son el mejor ejemplo de ello, si se utilizan registros sesgados de las detenciones como única medida de criminalidad, los grupos minoritarios y los que usualmente son discriminados podrían ser los probables delincuentes.
Existen dos casos sobre sesgos en los algoritmos, que, si bien han sido los más controvertidos, por supuesto que no son los únicos. Uno es el algoritmo de reincidencia COMPAS (Correctional Offender Management Profiling for Alternative Sanctions, por sus siglas en inglés), utilizado para predecir el riesgo de reincidencia delictiva. En auditorías realizadas y estudios de universidades se ha documentado que etiqueta desproporcionadamente a los acusados afroamericanos como de mayor riesgo en comparación con los acusados blancos. La investigación de Buolamwini subraya la importancia de abordar estas disparidades y hacer que los sistemas rindan cuentas a las comunidades a las que sirven.
El otro caso es el algoritmo de contratación de Amazon que favorecía a los candidatos masculinos frente a las candidatas femeninas. La herramienta de selección trabajaba con un algoritmo que fue entrenado durante 10 años a partir de los currículos predominantemente de hombres. Como resultado, el algoritmo aprendió a preferir a los candidatos masculinos, perpetuando el sesgo de género en la contratación.
Pero también el sesgo puede venir de los grupos de trabajo que hacen tecnología. Tal y como comenta Ximena Gutiérrez, las principales compañías que hacen IA hoy en día (Meta AI, Google, Open AI, entre otras) tienen una sobrerrepresentación del norte global casi no hay inclusión de instituciones del sur global, y eso va más allá de los algoritmos o la programación.
¿Cuáles son los impactos de los algoritmos sesgados? Pueden reforzar y amplificar las desigualdades sociales existentes como algunos algoritmos de predicción policial que se dirigen de forma desproporcionada a las comunidades minoritarias. Buolamwini resume esta preocupación: “Los sistemas de IA no son neutrales; reflejan los prejuicios y valores de sus creadores. Los algoritmos utilizados en la contratación, los préstamos y los seguros pueden perpetuar las disparidades económicas y las brechas de género. En la atención de salud pueden conducir a un trato desigual de los pacientes. Un algoritmo que subestime la gravedad de la enfermedad en pacientes pertenecientes a minorías puede dar lugar a una atención inadecuada”.
El objetivo no es sólo crear algoritmos más precisos y eficaces, sino también construir una sociedad en la que la tecnología sirva para mejorar la equidad y la justicia para todos. En este sentido, me parece muy importante la reflexión para abordar soluciones que minimicen los sesgos en los algoritmos:
- Garantizar que los datos utilizados para entrenar los algoritmos sean representativos.
- Auditar periódicamente a los algoritmos por partes independientes para garantizar la objetividad y la transparencia.
- Crear equipos diversos de desarrolladores. Los equipos multidisciplinarios pueden identificar mayores sesgos potenciales que los equipos homogéneos.
- Aplicar restricciones de equidad durante el desarrollo de algoritmos que garantice no afectar de forma desproporcionada a determinados grupos.
- Aumentar la transparencia de los algoritmos para que en la medida de lo posible, se entienda cómo llegan a tomar ciertas decisiones que afectan los resultados. Esto incluye poner a disposición del público el código del algoritmo y los procesos de toma de decisiones.
- Establecer marcos de rendición de cuentas para que las grandes compañías tecnológicas se responsabilicen de sus resultados.
