蒂尔克在致欧洲联盟的公开信中强调有关《人工智能法案》的问题

女士们，先生们，

我谨提及关于对拟议通过的《欧洲联盟人工智能法案》的讨论。我赞扬欧洲联盟提出这一建议的雄心，这为进一步加强保护人民权利提供了机会。作为试图对人工智能进行监管的首批主要尝试之一，这部法案不仅会在欧盟内部及其成员国产生影响，也会影响到全世界其他的人工智能监管框架。

联合国与欧洲联盟都致力于尊重、保护和促进人权。人工智能应用程序正在被部署到各个部门，其能力也日益提高，每个人的生活都受其影响。这个时候，我们需要将国际人权法作为参考标准。面对人工智能应用在日常生活中的使用不断增多，欧盟坚定不移地为使用人工智能制定以人权为本的新规则，这将有助于加强人权保护。意识到这一机遇的重要性，也是作为对立法辩论期间所提出建议的回应，我很高兴在本信附件中分享人权办对《人工智能法案》的人权分析和建议。

人权办随时准备支助欧洲联盟各机构及其成员国完成《人工智能法案》的制定，确保该法案将会切实履行其保护和促进所有人人权的承诺。

女士们，先生们，请接受我最崇高的敬意。

福尔克尔·蒂尔克（Volker Türk）

欧盟委员会
欧洲议会
欧盟理事会

附件

联合国人权事务高级专员办事处（下称“人权高专办”）希望就正在谈判的《欧洲联盟人工智能法案》及其可能的人权影响分享以下分析和建议。本附件不应被理解为人权问题的详尽清单，而是人权高专办认为与《人工智能法案》在现阶段最相关的问题。

高风险分类

《人工智能法案》区分了若干风险等级，这种划分会对人工智能开发人员、供应商和部署人员的义务产生影响。确实有必要为人工智能应用提供更强有力的保障，因为这些应用更有可能导致人权损害。在这种情况下，人权高专办希望强调的是，风险的确定应与人工智能应用对人权的实际或可预见的不利影响有关，而不是完全以技术或安全为导向：对享受人权存在重大风险的人工智能系统应被视为高风险系统，其供应商和用户应承担所有相关义务。

人权高专办对一项建议表示关切，即允许公司自行确定其人工智能系统不属于高风险类别，因而可以选择不遵守适用于高风险等级的更严格要求。这种风险自我评估模式会在法律方面带来相当大的不确定性，削弱执法和问责，最终有可能损害《人工智能法案》的核心利益。

此外，按照国际人权法，包括《联合国工商企业与人权指导原则》的规定，各国必须确保其监管人工智能产品和服务的立法框架能够提供充分的监督机制，以应对实际或可预见的人权影响。对包括科技公司自身在内的许多利益攸关方来说，科技公司参与提供公共产品已经成为人权关切的一个主要领域。

严格限制生物识别监测和个人化犯罪预测的使用

为监测目的而不断开发和部署越来越强大的人工智能系统，是全世界日益关切的人权问题。人权高专办大力支持按照适用的国际法严格限制或酌情禁止具有高度侵扰性的监测措施，因为这种做法会威胁人类尊严、隐私和民主的核心。

鉴于远程生物识别监测系统具有高度侵入性质，会对大量人口造成广泛影响，使用这些系统时的相称性尤其令人严重关切。例如，在执法过程中不加区分地使用面部识别工具扫描人群或抗议，这会带来不可接受的人权风险。在此背景下，人权高专办对欧洲议会在这一问题上的坚定立场表示欢迎。此外，人权高专办支持禁止使用生物识别工具和其他系统处理人们的生物特征数据，根据其肤色、性别或其他受保护特征对其进行分类。人权高专办也支持禁用试图推断人类情绪的人工智能系统、个人化犯罪预测工具和用于建立或扩展面部识别数据库的无目标抓取工具。这些工具往往由于缺乏科学基础而存在危险的准确性问题，并且极具侵入性。它们有可能对人权造成系统性损害，尤其是在正当程序和司法保障方面。

基本权利影响评估

人权高专办还要对欧洲议会关于进行全面的基本权利影响评估的建议表示大力支持。对于部署人工智能的公共和私营行为体来说，坚实而健全的基本权利影响评估是建立以人权为本的人工智能监管的关键部分。鉴于人工智能系统可能给享受人权带来严重风险，并且需要采取有意义的行动来减轻这些影响，旨在削弱或取消人权风险评估要求的建议令人非常关切。有意义的基本权利影响评估应涵盖人工智能的整个生命周期，并以明确的参数为基础，评估结果应具备透明度，受影响人群以及独立的公共当局都应参与评估进程。

无论是在私营还是公共部门使用人工智能，评估对人权的不利影响都应是人权尽职调查的核心组成部分，并遵循国际人权法和《联合国工商企业与人权指导原则》。¹人权高专办在联合国人权办发起的B-Tech项目中与领先的人工智能公司的合作表明，评估人工智能对人类的不利影响是“可行的艺术”。一些处于人工智能开发前沿的公司正在支持和落实以人权为本的风险管理办法。这一事实表明，基本权利能够成为尊重权利的人工智能实践以及《人工智能法案》的可行基础。

技术标准

人权高专办希望各位注意，《人工智能法案》草案中设想的标准制定组织扮演着复杂的角色。按照草案的规定，供应商应该使用这些标准来表明其产品或服务符合《人工智能法案》的要求。换言之，制定标准的组织将发挥关键作用，对享受人权产生深远影响。这使得确保最高的透明度变得尤为重要，包括公众可以自由获取所有相关文件和已通过的标准，所有利益攸关方都可以有意义地参与《人工智能法案》下的标准制定程序，以及落实有效的问责机制，如司法监督和获得有效补救。人权高专办最近的报告表明，亟需做出进一步努力，将人权专门知识更好地纳入技术标准制定程序。²鉴于民间社会利益攸关方普遍缺乏资源，无法以可持续方式参与标准制定程序，办事处还建议欧盟建立有关机制，为资源不足的利益攸关方提供物质和其他方面的支助。

全面应对人工智能在各个领域的危害

人权保护适用于在当事国领土和管辖内的每一个人。有鉴于此，人权高专办关切地注意到，欧盟理事会建议，《人工智能法案》一律不适用于因国家安全目的而开发或使用的人工智能系统，以及执法和边境管制中的例外情况。这将使许多广泛应用人工智能的领域得到豁免，例如尤其亟需保障措施的领域，以及有证据表明现有人工智能系统的使用对于已被边缘化社群中的个人存在过度针对的领域。执法、国家安全和移民控制等方面往往涉及侵入性措施和工具，这些措施和工具需要强化而不是弱化保障措施和正当程序保障。³这些领域的豁免和例外将给《人工智能法案》下的人权保护造成大量令人极为关切的空白。

人权高专办随时准备与欧洲联盟所有机构合作，以确保基本人权考虑能够为制定和执行《欧洲联盟人工智能法案》以及欧盟更广泛的数字框架提供信息。