Algoritmos que discriminan
El uso de sistemas de reconocimiento facial e inteligencia artificial para identificar personas por parte de las fuerzas de seguridad puede derivar en discriminación racial o xenofobia y, en consecuencia, en la violación de derechos fundamentales. Por esa razón, un comité de la ONU emitió una recomendación para que los países adheridos a la Convención sobre la Eliminación de Todas las Formas de Discriminación Racial adopten medidas para evitar prejuicios derivados de la aplicación de estas nuevas tecnologías.
El Comité para la Eliminación de la Discriminación Racial de la ONU, integrado por expertos de distintas nacionalidades, advirtió que el uso cada vez mayor de tecnologías de reconocimiento y vigilancia facial para rastrear y controlar datos demográficos específicos genera preocupaciones con respecto de muchos derechos humanos, incluidos los derechos a la intimidad, la libertad de reunión pacífica y asociación, la libertad de expresión y libertad de movimiento. El empleo de algoritmos (serie de instrucciones o reglas establecidas que permiten llegar a un resultado o solución), por supuesto, no es nuevo. Lo que es reciente es la preocupación por corregir lo que se conoce como sesgo algorítmico, que es lo que ocurre cuando un sistema de aprendizaje automático refleja los valores de las personas que lo desarrollaron o entrenaron y que pueden arrojar resultados injustos. Por ejemplo: el año pasado la red social Facebook fue denunciada por publicar anuncios de empleo con mejores remuneraciones para hombres blancos, mientras que a las mujeres y a las personas afrodescendientes se les proponía puestos de peor calidad. Otro caso que encendió las alarmas fue el de un trabajador de Amazon, Stephen Normandin, de 63 años, que se dedicaba a repartir paquetes. Un sistema de inteligencia artificial determinó que, por la edad, debía ser despedido y una máquina envió un correo electrónico comunicando al empleado que se había quedado sin trabajo; pese a que sus compañeros en la empresa dieron fe que nunca había faltado a sus obligaciones y era el que mejor desempeño había mostrado en ese tipo de tareas. "Soy un tipo formado en la vieja escuela.Doy a cada trabajo el 110%. Estamos hablando de mi reputación. Dicen que no hice el trabajo cuando sé muy bien que lo hice", sostuvo Normandin cuando fue consultado por periodistas que difundieron su caso poniendo en entredicho el criterio que empleó el sistema de inteligencia artificial de Amazon para calificar su labor. ¿Hasta qué punto son "artificiales" los sistemas de inteligencia artificial? La respuesta a este interrogante -observan los especialistas- no tardará en llegar, pues cada vez hay más evidencia que demuestra cómo estos algoritmos pueden perfectamente reproducir las mismas prácticas discriminatorias que históricamente existen en la sociedad.
En nuestro país, la Asociación por los Derechos Civiles (ADC) impulsa la campaña "Con mi cara no", a través de la cual explica que el reconocimiento facial es una tecnología que permite identificar a las personas mediante rasgos de su rostro; y observa que si bien debe admitirse que hay ciertas aplicaciones de esta herramienta tecnológica que son útiles, el uso indiscriminado, combinado con la ausencia de una regulación apropiada y precisa pone en riesgo el ejercicio de los derechos fundamentales de la ciudadanía, el disfrute del espacio público y el desarrollo de la vida en sociedad.
Según la ADC, en nuestro país esta tecnología se emplea como una herramienta de vigilancia y control, debido a que a partir del reconocimiento que hace de las características físicas y de comportamiento, se utiliza para identificar a las personas. Pero, debido a que el programa informático de reconocimiento facial trabaja en función de un conjunto de instrucciones definidas para resolver un problema o realizar una tarea (es decir, un algoritmo), es importante conocer cómo fue entrenado ese algoritmo para realizar la detección, mapeo y contraste de los rasgos faciales y cuáles son las tasas de error programadas en el software.
Frente a este nuevo problema que plantean las tecnologías de identificación de personas es necesario que se asegure que su aplicación no violará derechos fundamentales. En ese sentido, la ONU remarca que las empresas privadas que desarrollan, venden u operan sistemas de elaboración de perfiles algorítmicos con fines de aplicación de la ley también tienen la responsabilidad de involucrar a personas de diversos sectores, incluidos expertos legales, para evaluar el riesgo de violación de los derechos humanos que tales sistemas pueden presentar.
