"Recientes avances en la inteligencia artificial regenerativa y la floreciente aplicación de la inteligencia artificial continúan planteando dudas importantes en cuestión de derechos humanos, incluyendo algunos problemas de posible discriminación racial," afirmó Ashwini K.P.*, Relatora Especial sobre las formas contemporáneas de racismo, discriminación racial, xenofobia e intolerancia relacionada.

Existe la noción perdurable y dañina de que la tecnología es neutral y objetiva, según señaló Ashwini K.P. durante su diálogo interactivo con ocasión de la publicación de su nuevo informe durante el 56^º período de sesiones del Consejo de Derechos Humanos celebrado en Ginebra, Suiza.   

En su informe, ella analiza cómo este supuesto está permitiendo que la inteligencia artificial perpetúe la discriminación racial.      

"La inteligencia artificial generativa está cambiando el mundo y tiene el potencial de conducir a transformaciones cada vez más radicales en las sociedades del futuro," aseguró Ashwini K.P. "Estoy sumamente preocupada por la rápida expansión de la aplicación de la inteligencia artificial en diferentes campos. Esto no significa que la inteligencia artificial no tenga algunas ventajas potenciales.  De hecho, esta nos ofrece posibles oportunidades para la innovación e inclusión."

Un ejemplo claro de cómo los prejuicios raciales se reproducen en los avances tecnológicos es la actuación policial en base a modelos predictivos.  Las herramientas de actuación policial en base a modelos predictivos llevan a cabo evaluaciones sobre quién cometerá futuros delitos, así como dónde puede que ocurra un delito en el futuro, basándose en la ubicación y en datos personales.

"Las actuaciones policiales basadas en modelos predictivos pueden agravar la exagerada vigilancia policial a la que se ha sometido históricamente a ciertas comunidades atendiendo a sus características raciales y étnicas," explicó Ashwini K.P. "Debido a que los agentes encargados del mantenimiento del orden han centrado históricamente su atención en estos vecindarios, los miembros pertenecientes a estos vecindarios tienen una representación excesiva en los registros policiales.  Este hecho repercute a su vez sobre dónde predicen los algoritmos que ocurrirán futuros delitos, lo que conduce a a un aumento del despliegue policial en estas zonas en cuestión."

Según sus conclusiones, los algoritmos de actuaciones policiales basados en ubicaciones exactas usan como base vínculos entre lugares, sucesos, y datos delictivos históricos con el fin de predecir cuándo y dónde es más probable que ocurran futuros delitos, y según estos datos las fuerzas policiales organizan dónde llevar a cabo sus patrullas.

Al igual que ocurre con las herramientas que usan como base la ubicación, los datos sobre detenciones en el pasado de personas, los cuales suelen estar a menudo adulterados por el racismo sistémico que prevalece en los sistemas de justicia penal, pueden sesgar las predicciones futuras de los algoritmos, comentó ella.

"El uso de variables como el origen socioeconómico, el nivel de educación y la ubicación pueden funcionar como correspondientes a una raza y perpetuar los sesgos históricos," afirmó Ashwini K.P.  

El informe también ofrece un análisis breve sobre las diferentes iniciativas desarrolladas para gestionar y regular la IA a nivel nacional, regional e internacional.

"La tecnología de inteligencia artificial debe estar basada en la normativa internacional de derechos humanos," aseveró Ashwini K.P. "La discriminación racial está prohibida en su forma más absoluta en la Convención Internacional sobre la Eliminación de todas las Formas de Discriminación Racial..”

Existen otros derechos donde la IA también representa un riesgo, y que incluye el uso de IA en asistencia sanitaria, donde se ha demostrado que algunas herramientas para determinar niveles de riesgo para la salud incluyen factores de corrección basados en la raza.  Ashwini K.P. también averiguó que cuando la IA se aplica a las herramientas educativas, esta también incorpora sesgos raciales.  Por ejemplo, en algoritmos que determinan el posible éxito académico, debido al propio diseño de los algoritmos y los datos escogidos, estas herramientas suelen clasificar a las minorías raciales como menos propensas a tener éxito tanto académicamente como profesionalmente, perpetuando de este modo la exclusión y la discriminación.

En su declaración de visión, “Human Rights: A Path for Solutions,” El Jefe de Derechos Humanos de las Naciones Unidas Volker Türk afirmó que la inteligencia artificial generativa ofrece oportunidades que eran imposibles de imaginar en el pasado para impulsar el disfrute de los derechos humanos, aunque su impacto negativo para la sociedad ya estaba proliferando.

"En aquellas esferas donde el riesgo para los derechos humanos es particularmente elevado, como sucede en el campo de la aplicación de la ley, la única opción posible es pausar la implantación de la IA hasta que se hayan incorporado suficientes salvaguardas," insistió Türk.

Para Ashwini K.P., si bien la inteligencia artificial sí que posee un potencial real para lograr cambios significativos, no es una solución para solventar todos los problemas que afectan a la sociedad, y es necesario gestionarla de forma efectiva para poder equilibrar sus beneficios y sus riesgos.

La regulación de la IA supone también una forma de asegurar este equilibrio, según Ashwini K.P. Ella  recomendó que los Estados hagan frente al reto de regular la IA con un mayor sentido de urgencia teniendo en cuenta la perpetuación de la discriminación racial; que desarrollen marcos normativos para la IA basados en la comprensión del racismo sistémico y las normas internacionales de derechos humanos; que consagren la obligación jurídicamente vinculante de llevar a cabo evaluaciones exhaustivas de diligencia debida en derechos humanos, y que incluya criterios explícitos para evaluar posibles sesgos raciales y étnicos, en el desarrollo y aplicación de todas las tecnologías de IA; y que consideren la prohibición de usar aquellos sistemas de IA que se haya demostrado que conlleven riesgos inaceptables para los derechos humanos, incluyendo aquellos sistemas que fomentan la discriminación racial.

"Situar a los derechos humanos como la base de nuestra manera de desarrollar, usar y regular la tecnología es absolutamente esencial para poder diseñar nuestra respuesta a estas crisis," añadió Türk.

* Ashwini K.P. fue nombrada Relatora Especial por el Consejo de Derechos Humanos en octubre de 2022.   Ella es una académica, activista e investigadora especializada en exclusión social, raza, discriminación basada en la ascendencia e interseccionalidad.  Ella es profesora visitante en la Universidad de Stanford. Ha trabajado como profesora ayudante en India y es co-fundadora de “Zariya:  Women’s Alliance for Dignity and Equality,” una organización cuyo cometido es fomentar la solidaridad y conectar a mujeres de varios grupos marginales en la India.  Ella ha representado a las mujeres dalit en varios grupos de la sociedad civil, y les ha ayudado a trazar estrategias para garantizar que las mujeres de las comunidades marginadas consigan capacidades y desempeñen funciones de toma de decisiones en el activismo y movimientos sociales principales.