Carta abierta de Türk a la Unión Europea subraya cuestiones problemáticas en relación con la Ley de IA

Señoras y señores,

Me gustaría remitirme a los debates sobre la propuesta de adopción de una Ley de la Unión Europea sobre Inteligencia Artificial (Ley de IA). Elogio la ambición mostrada por la Unión Europea con esta propuesta, la cual supone una oportunidad para afianzar aún más la protección de los derechos de las personas. Siendo una de las primeras apuestas de calado por intentar regular la IA, la Ley de IA no solo tendrá efectos dentro de la Unión Europea y sus Estados Miembros, sino que también tendrá influencia en otros marcos regulatorios que afectan a la IA en todo el mundo.

Las Naciones Unidas y la Unión Europea comparten su compromiso por respetar, proteger y promocionar los derechos humanos. La normativa internacional de derechos humanos ha de ser la brújula que nos guíe en un momento en que las aplicaciones de IA están aumentando sus capacidades y están empezando a ser usadas en todos los sectores, afectando a las vidas de todas las personas. Al basar de manera firme en los derechos humanos las nuevas normas que rijan el uso de la IA, la Unión Europea afianzaría de esta manera la protección de los derechos humanos ante el uso cada vez más frecuente de aplicaciones de IA en nuestras vidas diarias. Consciente de la importancia que implica esta oportunidad, y en respuesta a las propuestas que han surgido durante los debates legislativos, me complace compartir un análisis basado en los derechos humanos a la vez que recomendaciones procedentes de mi Oficina con relación a la Ley de IA en un anexo que acompaña a esta carta.

Mi Oficina está preparada para prestar su apoyo a las instituciones de la Unión Europea y sus Estados Miembros en el proceso de ultimar la Ley de IA y para asegurar que cumplirá su promesa de proteger y defender los derechos humanos de todas las personas.

Sírvase aceptar, Señoras y Caballeros, el testimonio de mi consideración más distinguida.

Volker Türk

Comisión Europea
Parlamento Europeo
Consejo de la Unión Europea

ANEXO

La Oficina del Alto Comisionado de las Naciones Unidas para los Derechos Humanos («ACNUDH») desea compartir el siguiente análisis y recomendaciones con respecto a la Ley Europea de Inteligencia Artificial (Ley de IA), actualmente en negociación, y sus posibles repercusiones para los derechos humanos. Estas no deben entenderse como una lista completa de cuestiones que afectan a los derechos humanos sino como aquellas cuestiones que ACNUDH considera que son las más relevantes en la etapa actual de desarrollo de la ley de IA.

Clasificaciones de alto riesgo

La Ley de IA distingue varias clases de riesgo, las cuales afectan a las obligaciones que tienen los desarrolladores, proveedores y demás encargados de implementar la IA. Es necesario de hecho proporcionar salvaguardias más sólidas para aquellas aplicaciones de IA que tengan un mayor potencial de resultar en vulneraciones de derechos humanos. En este contexto, ACNUDH desea subrayar que la consideración de riesgos debe estar vinculada a las repercusiones negativas reales o predecibles que puede tener una aplicación de IA para los derechos humanos y no tener una orientación exclusivamente técnica o centrada en la seguridad: Los sistemas de IA que conlleven riesgos considerables para el disfrute de los derechos humanos deben ser considerados de alto riesgo, y conllevar todas las obligaciones asociadas para sus proveedores y sus usuarios.

ACNUDH desea expresar su inquietud ante una propuesta, según la cual se les permitiría a las empresas determinar por sí solas si su sistema de IA no se encuadra en la categoría de alto riesgo, y de esta manera quedar excluidas de los requisitos más estrictos a los que se someten las clases de alto riesgo. Un modelo de auto-evaluación de los riesgos conllevaría una incertidumbre jurídica de bastante peso, socavaría la aplicación de la ley y la rendición de cuentas, y por ende correría el riesgo en última instancia de debilitar los beneficios principales de la Ley de IA.

Además, en conformidad con la normativa internacional de derechos humanos, incluyendo los Principios Rectores sobre las Empresas y los Derechos Humanos de las Naciones Unidas, los Estados deben garantizar que sus marcos legislativos que regulan los productos y servicios de IA incorporan mecanismos adecuados de supervisión que puedan atender a las repercusiones reales o predecibles para los derechos humanos. La implicación de las empresas de tecnología en la provisión de servicios públicos ya supone un ámbito destacado que suscita preocupación en materia de derechos humanos para muchos interesados, incluyendo a las propias empresas de tecnología.

Limitaciones más severas para el uso de métodos biométricos de vigilancia y de predicción individualizada de delitos

El crecimiento en el desarrollo y aplicación de sistemas de IA cada vez más potentes para fines de vigilancia es una cuestión que provoca cada vez mayor preocupación en todo el mundo en relación con los derechos humanos. ACNUDH respalda con firmeza las iniciativas dirigidas a limitar de manera estricta, o prohibir en los casos en que sea pertinente, en conformidad con la normativa internacional aplicable, las prácticas de vigilancia que sean innecesariamente invasivas, o que podrían amenazar el mismo núcleo de la dignidad humana, la privacidad y la democracia.

Los sistemas de vigilancia biométrica remota, de forma especial, suscitan serias dudas con respecto a su proporcionalidad, dado su carácter especialmente intrusivo y su gran alcance para un gran número de personas. Por ejemplo, el uso por parte de las autoridades encargadas de aplicar la ley de instrumentos de reconocimiento facial para el escaneo de grupos grandes de personas o en protestas es una acción indiscriminada, y acarrea un riesgo inaceptable para los derechos humanos. En este contexto, ACNUDH celebra la posición firme que ha mantenido el Parlamento respecto a esta cuestión. Además, ACNUDH respalda una prohibición en el uso de instrumentos de reconocimiento biométrico y otros sistemas que procesan los datos biométricos de personas para situarlas en categorías basándose en el color de su piel, su género, u otras características que deberían estar protegidas. Asimismo, ACNUDH también apoya las prohibiciones de sistemas de IA que intenten deducir las emociones de las personas, las herramientas de predicción individualizada de crímenes, así como las herramientas para la extracción no focalizada de información para elaborar o extender bases de datos de reconocimiento facial. Estas herramientas acarrean riesgos peligrosos respecto a su fiabilidad, lo que se debe a menudo a una falta de solidez científica, además de ser profundamente intrusivas. Estas herramientas amenazan con socavar de forma sistemática los derechos humanos, de forma especial el debido proceso y las garantías judiciales.

Evaluaciones de impacto para derechos fundamentales

ACNUDH también quiere expresar todo su apoyo a la propuesta del Parlamento Europeo para llevar a cabo evaluaciones de impacto para los derechos fundamentales (FRIA, según siglas en inglés). Un plan de FRIA firme y sólido tanto para actores públicos como privados que implementan la IA supone un componente clave para fundamentar las normativas sobre IA en los derechos humanos. Dado los graves riesgos que los sistemas de IA pueden acarrear para la realización de los derechos humanos y la necesidad de que existan medidas significativas para mitigar estas repercusiones, las propuestas presentadas para reducir o incluso eliminar los requisitos de llevar a cabo una evaluación de los riesgos para los derechos resultan altamente preocupantes. Un plan coherente de FRIA debe abarcar el ciclo de vida completo de la IA, estar basado en parámetros claros sobre la evaluación del impacto de la IA en los derechos fundamentales; ser transparente en cuanto a los resultados de las evaluaciones de impacto; que exista participación de las personas afectadas; y que cuente con la implicación de autoridades públicas independientes en las evaluaciones de impacto.

La evaluación del impacto negativo sobre los derechos humanos supone un componente central de la debida diligencia en materia de derechos humanos respecto al uso que hacen de la IA tanto el sector privado como el público, lo que se desprende de la normativa internacional de derechos humanos y de los Principios Rectores sobre las Empresas y los Derechos Humanos de las Naciones Unidas.¹ El trabajo llevado a cabo por ACNUDH con empresas punteras en IA en el contexto del proyecto B-Tech de Derechos Humanos de las Naciones Unidas demuestra que evaluar el impacto dañino de la IA para las personas es el «arte de hacerlo posible». El hecho de que algunas empresas situadas a la vanguardia del desarrollo de IA estén ya refrendando e implementando un enfoque basado en los derechos para la gestión de los riesgos hace ver a los derechos fundamentales como un cimiento prometedor para contar con prácticas de IA que respeten los derechos también en el contexto de la Ley de IA de la UE.

Normas de carácter técnico

ACNUDH quisiera dirigir su atención a la compleja función que desempeñan las organizaciones encargadas de establecer las normas tal como está previsto en los borradores de la Ley de IA. Conforme con el anteproyecto de ley, estas normas deben servir como medio para que los proveedores demuestren su conformidad con los requisitos que establece la Ley de IA. En otras palabras, las organizaciones encargadas de establecer las normas desempeñarán una función esencial con efectos de amplio alcance para el disfrute de los derechos humanos. Esto convierte su función en primordial para garantizar la máxima transparencia, que incluya el acceso libre del público a toda la documentación relevante y a la normativa aprobada, un acceso significativo de todos los interesados a los procesos instalados para elaborar las normativas en virtud de la Ley de IA, además de mecanismos eficaces de rendición de cuentas, como son la supervisión judicial y el acceso a recursos efectivos. Los recientes informes elaborados por ACNUDH han demostrado que se necesitan emplear mayores esfuerzos de forma urgente para una mejor integración de conocimientos especializados en derechos humanos en los procesos de establecimiento de normas técnicas.² Dada la ausencia general de recursos para que los actores de la sociedad civil puedan participar de forma considerable en los procesos de elaboración de normas, se recomienda también que la UE establezca mecanismos que puedan proporcionar materiales y otros apoyos para aquellos interesados que carezcan de recursos suficientes.

Un enfoque integral sobre los efectos nocivos de la IA en todas las esferas

Las protecciones de derechos humanos se aplican a todas las personas dentro del territorio y jurisdicción de los Estados en cuestión. A la vista de esto, ACNUDH advierte con preocupación sobre la propuesta presentada por el Consejo para una exención de corte general de la Ley de IA para aquellos sistemas de IA que se desarrollen o se utilicen para fines de seguridad nacional, así como otras excepciones de la Ley de IA para los organismos encargados de la aplicación de la ley o del control de las fronteras. Esto dejaría exentas a esferas de aplicación donde la IA se utiliza de manera amplia, donde la necesidad de establecer salvaguardias es especialmente urgente, y donde existan pruebas de que el uso actual de los sistemas de IA se centran de forma desproporcionada en personas que pertenecen a comunidades ya marginadas. Los contextos de aplicación de la ley, la seguridad nacional y el control de la migración suelen conllevar medidas y herramientas intrusivas, las cuales exigirían salvaguardias reforzadas y garantías de debido proceso, no lo contrario.³ La exención y excepción de estas esferas crearía una laguna importante y muy preocupante en la protección de los derechos humanos conforme a la Ley de IA.

ACNUDH está preparada para trabajar con todas las instituciones de la Unión Europea para asegurar que consideraciones sobre derechos humanos fundamentales son tenidas en cuenta en el desarrollo y aplicación de la Ley de IA de la UE y en todo el marco digital de la Unión Europea.