« Les récentes avancées dans le domaine de l’intelligence artificielle générative et l’essor des applications de l’IA continuent de soulever d’importantes questions relatives aux droits humains, notamment en ce qui concerne la discrimination raciale », a déclaré Ashwini K.P.*, Rapporteuse spéciale sur les formes contemporaines de racisme, de discrimination raciale, de xénophobie et de l’intolérance qui y est associée.

Beaucoup pensent à tort que la technologie est neutre et objective : c’est ce qu’a expliqué Ashwini K.P. lors du dialogue interactif organisé à l’occasion du lancement de son nouveau rapport durant la 56^e session du Conseil des droits de l’homme à Genève, en Suisse.

Dans son rapport, elle explique que cette idée répandue permet à l’intelligence artificielle (IA) de perpétuer la discrimination raciale.

« L’intelligence artificielle générative est en train de changer le monde et pourrait à l’avenir entraîner des évolutions majeures dans la société », a-t-elle indiqué. « Je suis vivement préoccupée par la vitesse à laquelle l’application de l’intelligence artificielle se propage dans différents domaines. Ce n’est pas dû à un manque de potentiel de l’intelligence artificielle ; de fait, cette dernière présente des possibilités d’innovation et d’inclusion. »

La police prédictive, par exemple, illustre bien la façon dont les préjugés raciaux sont reproduits par les avancées technologiques. Les outils de police prédictive cherchent à évaluer qui commettra des infractions à l’avenir et où celles-ci pourraient se produire en se fondant sur l’étude de données de localisation et de données personnelles.

« La police prédictive peut aggraver encore les contrôles excessifs dont ont toujours fait l’objet certaines communautés sur la base de critères raciaux et ethniques », a déclaré Ashwini K.P. Étant donné que les forces de l’ordre concentrent depuis longtemps leur action sur ces quartiers, les membres des communautés qui y habitent sont surreprésentés dans les registres de la police. Cette surreprésentation a une incidence sur les endroits où les algorithmes prédisent que des infractions seront commises, ce qui fait que les services de police sont davantage déployés dans les zones en question. »

Selon ses conclusions, les algorithmes prédictifs centrés sur la localisation s’appuient sur les liens entre les lieux, les événements et les données historiques en matière de criminalité pour prédire quand et où de futures infractions sont susceptibles d’être commises, et les forces de police planifient leurs patrouilles en conséquence.

De même que pour les outils centrés sur la localisation, les données relatives aux arrestations passées, souvent entachées de racisme systémique dans le système de justice pénale, peuvent fausser les prédictions qu’établiront les algorithmes.

« L’utilisation de variables telles que le milieu socioéconomique, le niveau d’instruction et le lieu de résidence peut indirectement indiquer la race et perpétuer des biais historiques », a affirmé Ashwini K.P.

Le rapport fournit également une brève analyse des efforts déployés pour gérer et réglementer l’IA aux niveaux national, régional et international.

« Les technologies d’intelligence artificielle devraient être fondées sur les normes du droit international des droits de l’homme », a-t-elle indiqué. « C’est dans la Convention internationale sur l’élimination de toutes les formes de discrimination raciale que l’on trouve l’interdiction la plus complète de la discrimination raciale. »

L’IA représente un risque pour d’autres droits, notamment dans le domaine des soins de santé, où il a été démontré que certains outils permettant d’évaluer le risque pour la santé comportaient des facteurs de correction fondés sur la race. Selon Ashwini K.P, l’utilisation de l’IA dans le domaine pédagogique peut également engendrer des préjugés sociaux. Par exemple, en ce qui concerne les algorithmes mesurant la réussite scolaire et professionnelle, ces outils sous-estiment souvent les chances de réussite, sur le plan scolaire et professionnel, des personnes appartenant à des minorités raciales, compte tenu de la manière dont les algorithmes sont conçus et dont les données sont sélectionnées.

Dans sa déclaration de principes Droits humains : la voie à suivre, le Haut-Commissaire des Nations Unies aux droits de l’homme Volker Türk indique que l’intelligence artificielle offre des possibilités jusqu’alors inimaginables de faire progresser la réalisation des droits humains, mais que ses effets néfastes sur la société se multiplient déjà.

« Dans les domaines présentant un risque particulièrement élevé pour les droits humains, comme l’application de la loi, la seule option est de faire une pause jusqu’à ce que des garanties suffisantes soient mises en place », a indiqué M. Türk.

Pour Ashwini K.P., si l’intelligence artificielle peut avoir de réels effets, elle n’est pas une solution à toutes les questions sociétales et doit être gérée efficacement pour parvenir à un équilibre entre ses bienfaits et ses risques.

Selon elle, la réglementation de l’IA est nécessaire pour garantir son équilibre. Elle recommande aux États de s’attaquer de toute urgence à la question de la réglementation de l’IA, en gardant à l’esprit la façon dont elle perpétue la discrimination raciale ; d’élaborer des cadres réglementaires relatifs à l’IA qui reposent sur une compréhension globale du racisme systémique et sont ancrés dans le droit international des droits humains ; d’inscrire l’obligation juridiquement contraignante de procéder à des évaluations complètes de la diligence raisonnable en matière de droits humains, y compris des critères précis d’évaluation des préjugés raciaux et ethniques, pour toutes les technologies de l’IA ; et d’envisager d’interdire l’utilisation des systèmes d’intelligence artificielle dont il a été démontré qu’ils faisaient peser des risques inacceptables sur les droits humains, en particulier les systèmes qui encouragent la discrimination raciale.

« Il est absolument essentiel de placer les droits humains au cœur de notre approche pour concevoir, utiliser et réglementer les technologies, de manière à contrer ces risques », a déclaré Volker Türk.

* Ashwini K.P. a été nommée Rapporteuse spéciale par le Conseil des droits de l’homme en octobre 2022. Elle est une universitaire, militante et chercheuse spécialisée dans les domaines de l’exclusion sociale, la race, la discrimination fondée sur l’ascendance et l’intersectionnalité. Elle est professeure invitée à l’Université de Stanford.  Elle a été professeure adjointe en Inde et a cofondé l’organisme « Zariya: Women's Alliance for Dignity and Equality », qui a pour rôle de renforcer la solidarité et de relier les femmes de divers groupes marginalisés en Inde. Elle a représenté les femmes indiennes dalits au sein de divers groupes de la société civile, les aidant à élaborer des stratégies visant à garantir l’autonomisation des femmes des communautés marginalisées et à leur confier des rôles décisionnels dans le cadre de l’activisme et des principaux mouvements sociaux.