Une lettre ouverte adressée à l’UE par Volker Türk souligne les problèmes liés à la loi sur l’intelligence artificielle

Je souhaite évoquer les discussions sur la proposition d’adoption d’une loi de l’Union européenne sur l’intelligence artificielle (loi sur l’IA). Je salue l’ambition de l’Union européenne concernant cette proposition, qui est l’occasion de renforcer encore davantage la protection des droits humains. La loi sur l’IA, qui constitue l’une des premières grandes tentatives de réglementation de l’IA, non seulement aura des conséquences au sein de l’Union européenne et de ses États membres, mais influencera également d’autres cadres réglementaires sur l’IA dans le monde entier.

Les Nations Unies et l’Union européenne ont la même volonté de partager, protéger et promouvoir les droits humains. Le droit international des droits de l’homme doit servir de point de repère à une époque où les applications de l’IA deviennent de plus en plus performantes et sont déployées dans tous les secteurs, affectant la vie de tout le monde. En faisant en sorte que de nouvelles règles sur l’utilisation de l’IA soient ancrées dans les droits humains, l’Union européenne renforcerait la protection des droits humains face à l’utilisation sans cesse croissante des applications de l’IA dans notre vie quotidienne. Conscient de l’importance de cette opportunité, et en réponse aux propositions qui ont émergé au cours des débats législatifs, j’ai le plaisir de partager une analyse fondée sur les droits humains et des recommandations du HCDH concernant la loi sur l’IA en annexe de cette lettre.

Le HCDH est prêt à soutenir les institutions de l’Union européenne et ses États membres dans le processus de finalisation de la loi sur l’IA et à veiller à ce qu’elle tienne sa promesse de protéger et de promouvoir les droits humains de tous.

Je vous prie d’agréer, Mesdames et Messieurs, l’expression de ma considération la plus distinguée.

Volker Türk

Commission européenne
Parlement européen
Conseil de l’Union européenne

ANNEXE

Le Haut-Commissariat des Nations Unies aux droits de l’homme (HCDH) souhaite partager l’analyse et les recommandations suivantes concernant la loi sur l’intelligence artificielle (loi sur l’IA) de l’Union européenne, en cours de négociation, et ses éventuelles implications dans le domaine des droits humains. Il ne s’agit pas d’une liste exhaustive de questions relatives aux droits humains, mais de celles que le HCDH considère comme les plus pertinentes au stade actuel de la loi sur l’IA.

Classification des risques

La loi sur l’IA distingue plusieurs niveaux de risques, qui ont une incidence sur les obligations des développeurs, fournisseurs et déployeurs de systèmes d’IA. Il est en effet nécessaire de prévoir des garde-fous plus solides pour les solutions d’IA qui sont davantage susceptibles de porter atteinte aux droits humains. Dans ce contexte, le HCDH souhaite souligner que la définition des risques doit porter sur les effets négatifs réels ou prévisibles d’une solution d’IA sur les droits humains et ne doit pas être exclusivement technique ou axée sur la sécurité : les systèmes d’IA qui comportent des risques importants pour l’exercice des droits humains doivent être considérés comme des systèmes à haut risque, avec toutes les obligations qui en découlent pour leurs fournisseurs et leurs utilisateurs.

Le HCDH souhaite exprimer son inquiétude face à une proposition selon laquelle les entreprises seraient capables de décider elles-mêmes que leur système d’intelligence artificielle ne fait pas partie de la catégorie à haut risque, ce qui leur permettrait de se soustraire aux exigences plus strictes applicables aux catégories à haut risque. Un tel modèle d’autoévaluation des risques introduirait une incertitude juridique considérable, nuirait aux principes d’application et de responsabilité, et risquerait donc à terme de compromettre les avantages fondamentaux de la loi sur l’IA.

En outre, conformément au droit international des droits de l’homme, notamment aux Principes directeurs des Nations Unies relatifs aux entreprises et aux droits de l’homme, les États doivent veiller à ce que leurs cadres législatifs réglementant les produits et services d’IA prévoient des mécanismes de contrôle adéquats permettant de remédier aux incidences réelles ou prévisibles sur les droits humains. L’implication des entreprises technologiques dans la fourniture de biens publics est déjà un sujet de préoccupation majeur du point de vue des droits humains pour de nombreuses parties prenantes, dont beaucoup d’entreprises technologiques.

Limites strictes à l’utilisation de la surveillance biométrique et de la prédiction individualisée de la criminalité

Le développement et le déploiement de systèmes d’intelligence artificielle de plus en plus puissants à des fins de surveillance suscitent des inquiétudes croissantes du point de vue des droits humains dans le monde entier. Le HCDH soutient fermement les efforts visant à limiter strictement ou à interdire, conformément au droit international applicable, les pratiques de surveillance très intrusives qui menaceraient les fondements mêmes de la dignité humaine, de la vie privée et de la démocratie.

Les systèmes de surveillance biométrique à distance, en particulier, soulèvent de graves préoccupations quant à leur proportionnalité, compte tenu de leur nature très intrusive et de leur incidence sur un grand nombre de personnes. Par exemple, l’utilisation par les forces de l’ordre d’outils de reconnaissance faciale pour analyser les foules ou les manifestations se fait sans discernement, entraînant un risque inacceptable pour les droits humains. Le HCDH se félicite de la position ferme du Parlement sur ce point. En outre, le HCDH soutient l’interdiction de l’utilisation d’outils de reconnaissance biométrique et d’autres systèmes qui traitent les données biométriques des personnes pour les classer en fonction de la couleur de leur peau, de leur sexe ou d’autres caractéristiques protégées. Le HCDH soutient également l’interdiction des systèmes d’IA qui visent à déduire les émotions des personnes, des outils individualisés de prédiction de la criminalité et des outils de moissonnage du Web non ciblés pour construire ou développer des bases de données de reconnaissance faciale. Ces outils posent de graves problèmes de fiabilité, souvent en raison du manque de fondement scientifique, et sont profondément intrusifs. Ils risquent de porter systématiquement atteinte aux droits humains, en particulier aux garanties judiciaires et de procédure régulière.

Études d’impact sur les droits fondamentaux

Le HCDH souhaite également exprimer son soutien sans faille à la proposition du Parlement européen en faveur d’analyses d’impact sur les droits fondamentaux complètes. Une analyse d’impact sur les droits fondamentaux solide et approfondie pour les acteurs publics et privés qui déploient des systèmes d’IA est essentielle pour ancrer la réglementation de l’IA dans les droits humains. Compte tenu des risques graves que les systèmes d’IA peuvent faire peser sur l’exercice des droits humains et de la nécessité de prendre des mesures significatives pour atténuer ces effets, les propositions visant à affaiblir ou à supprimer les exigences en matière d’évaluation des risques liés aux droits sont très préoccupantes. Une analyse d’impact pertinente devrait couvrir l’ensemble du cycle de vie de l’IA, se fonder sur des paramètres clairs concernant l’analyse d’impact sur les droits fondamentaux, la transparence des résultats des analyses d’impact, la participation des personnes concernées et l’implication d’autorités publiques indépendantes dans l’analyse d’impact.

L’évaluation des impacts négatifs sur les droits humains est une composante essentielle de la diligence raisonnable en matière de droits de l’homme, tant pour l’utilisation de l’IA par le secteur privé que par le secteur public, et découle du droit international des droits de l’homme et des Principes directeurs des Nations Unies relatifs aux entreprises et aux droits de l’homme.¹ Le travail du HCDH avec les principales entreprises d’IA dans le cadre du projet B-Tech du HCDH démontre que l’étude des impacts négatifs de l’IA sur la population relève de « l’art du faisable ». Le fait que certaines entreprises à la pointe du développement de l’IA approuvent et mettent en œuvre une approche de la gestion des risques fondée sur les droits montre que les droits fondamentaux constituent une base prometteuse pour des pratiques d’IA respectueuses des droits, y compris dans le contexte de la loi européenne sur l’IA.

Normes techniques

Le HCDH souhaite attirer votre attention sur le rôle complexe des organismes de normalisation tel qu’il est envisagé dans le projet de loi sur l’AI. Selon le projet, les normes devraient être un moyen pour les prestataires de démontrer leur conformité avec les exigences de la loi sur l’IA. En d’autres termes, les organismes de normalisation auront une fonction centrale qui aura des effets considérables sur la jouissance des droits humains. Il est donc particulièrement important de garantir la plus grande transparence, y compris le libre accès du public à l’ensemble de la documentation pertinente et des normes adoptées, l’accès significatif de toutes les parties prenantes aux processus d’élaboration des normes en vertu de la loi sur l’IA, ainsi que des mécanismes de responsabilité efficaces, tels que le contrôle judiciaire et l’accès à un recours effectif. Le récent rapport du HCDH a montré que des efforts supplémentaires sont nécessaires de toute urgence pour mieux intégrer l’expertise en matière de droits humains dans les processus de normalisation technique.² Étant donné que les parties prenantes de la société civile manquent généralement de ressources pour s’engager de manière durable dans les processus de normalisation, il est également recommandé que l’UE mette en place des mécanismes qui fournissent un soutien matériel et d’autres formes d’aide aux parties prenantes qui manquent de ressources.

Une approche globale des préjudices liés à l’IA dans tous les domaines

Les mécanismes de protection des droits humains s’appliquent à toute personne se trouvant sur le territoire et sous la juridiction des États concernés. Dans ce contexte, le HCDH note avec inquiétude la proposition du Conseil d’une exemption générale de la loi sur l’IA pour les systèmes d’IA développés ou utilisés à des fins de sécurité nationale, ainsi que des exceptions à la loi sur l’IA pour l’application de la loi et les contrôles aux frontières. Cela exclurait les domaines d’application où l’IA est largement utilisée, où le besoin de garanties est particulièrement urgent et où il est prouvé que l’utilisation actuelle des systèmes d’IA cible de manière disproportionnée des individus appartenant à des communautés déjà marginalisées. Les contextes de l’application de la loi, de la sécurité nationale et du contrôle des migrations impliquent souvent des mesures et des outils intrusifs qui nécessiteraient davantage de conditions de sécurité et de garanties de procédure régulière, et non pas moins.³ L’exemption et l’exception de ces domaines créeraient des lacunes substantielles et extrêmement préoccupantes en matière de protection des droits humains en vertu de la loi sur l’IA.

Le HCDH est prêt à travailler avec toutes les institutions de l’Union européenne pour veiller à ce que les considérations fondamentales relatives aux droits humains influencent l’élaboration et la mise en œuvre de la loi de l’UE sur l’IA et le cadre numérique plus large de l’Union européenne.

1 Voir https://undocs.org/fr/A/HRC/48/31 et https://undocs.org/fr/A/HRC/43/29

2 https://www.ohchr.org/sites/default/files/documents/hrbodies/hrcouncil/sessions-regular/session53/advance-versions/A_HRC_53_42_AdvanceEditedVersion.docx

3 https://undocs.org/fr/A/HRC/48/31 et https://www.ohchr.org/fr/stories/2023/10/digital-technologies-borders-threat-people-move