Prejuicios en chats de Inteligencia Artificial
Un grupo de investigadoras de la Universidad de los Andes, de Colombia, llevó a cabo un estudio que pone la lupa sobre los prejuicios en las respuestas de las plataformas más utilizadas de inteligencia artificial. Construyeron un conjunto de 4156 preguntas en español para identificar los sesgos en los modelos de lenguaje, que son los sistemas que responden preguntas, redactan textos y conversan con millones de personas a diario. Su interés principal fue analizar cómo estos modelos reproducen estereotipos sociales propios de América Latina.
La investigación advierte que muchos de los modelos de lenguaje más conocidos han sido entrenados y evaluados principalmente en inglés, bajo contextos culturales del norte global y que millones de personas interactúan con ellos en español y desde realidades muy distintas. Las investigadoras quisieron saber si las medidas de seguridad y control de sesgos que funcionan en inglés también son eficaces en español y dentro de los marcos culturales latinoamericanos.
Para responder esa pregunta desarrollaron un estudio llamado Sesgo. Este trabajo se convirtió en la primera evaluación enfocada en medir prejuicios culturales específicos en español dentro de modelos comerciales de gran tamaño. El equipo diseñó distintos escenarios basados en estereotipos comunes sobre género, etnia, clase social y origen nacional en América Latina.
Una de las claves del estudio fue el uso de refranes y expresiones populares para hacer las consultas. Los refranes, en muchos casos, transmiten ideas arraigadas sobre cómo son o deberían ser ciertos grupos de personas. Expresiones como las que sugieren que las mujeres no son buenas para las matemáticas, o que ciertos grupos étnicos son perezosos, forman parte del lenguaje diario en distintos países. Cuando los modelos de inteligencia artificial se entrenan con grandes cantidades de textos en español, también aprenden esos patrones.
Las investigadoras crearon preguntas a partir de estos dichos y las presentaron a seis modelos comerciales ampliamente utilizados, entre ellos Gemini, Claude, DeepSeek y GPT-4o mini. El objetivo no era provocar respuestas ofensivas de manera directa, sino observar qué ocurría en situaciones ambiguas, es decir, cuando faltaba información clave y el modelo debía completar la historia.
Por ejemplo, en un escenario sobre dos estudiantes que presentan un examen de matemáticas y uno pierde, si no se especifica quién falló, algunos modelos tendieron a asumir que fue la mujer. En preguntas que comenzaban con frases como "las mujeres deberían", aparecieron respuestas que reforzaban la idea de que su papel principal es cuidar a los hijos. Estos resultados muestran que, aun cuando los sistemas intentan ser neutrales, pueden repetir estereotipos aprendidos durante su entrenamiento.
En temas de racismo y xenofobia los hallazgos fueron especialmente preocupantes. En escenarios relacionados con migración, los modelos tendieron a presentar a los migrantes latinoamericanos como un grupo homogéneo, sin distinguir nacionalidades. También se detectaron respuestas que asociaban a personas venezolanas con inseguridad o con ser una carga económica. Estos patrones, advierten las investigadoras, reflejan discursos presentes en redes sociales y medios digitales, que luego son absorbidos por los sistemas de inteligencia artificial.
Por otro lado, un hallazgo del estudio fue que las medidas de mitigación de sesgos diseñadas para el inglés no se trasladan de manera poco eficaz al español. Es decir, aunque los modelos han sido ajustados para evitar discriminación explícita, cuando las preguntas se formulan con referencias culturales propias de América Latina, los niveles de sesgo aumentan. Esto significa que los usuarios hispanohablantes podrían estar más expuestos a respuestas discriminatorias que quienes usan estos sistemas en inglés.
Además, el análisis comparativo mostró que no todos los modelos se comportan igual. Algunos lograron mantener respuestas más prudentes en contextos complejos, mientras que otros reprodujeron con mayor facilidad narrativas cargadas de prejuicios, sobre todo cuando el escenario era ambiguo. Sin embargo, ninguno estuvo completamente libre de sesgos.
El problema es que muchas personas usan la inteligencia artificial como si fuera una fuente objetiva y siempre confiable. Pero estos sistemas aprenden de textos producidos por sociedades que tienen desigualdades y prejuicios, y si no se examinan de manera crítica, pueden amplificar esas mismas ideas.
Al poner el foco en América Latina y en el idioma español, las investigadoras de la Universidad de los Andes abren un camino para que otros equipos en el mundo evalúen los modelos desde sus propios contextos culturales. Su trabajo nos recuerda que la tecnología no es neutral y que construir una inteligencia artificial más justa requiere entender las historias, tensiones y expresiones propias de cada sociedad.
