La AI Act pone límites al uso de sistemas de identificación biométrica por parte de las fuerzas del orden

Este miércoles, 13 de marzo, el Parlamento Europeo ha aprobado la Ley de Inteligencia Artificial (AI Act), que, según el comunicado emitido por esta institución, garantiza la seguridad y el cumplimiento de los derechos fundamentales, al tiempo que impulsa la innovación. El reglamento, acordado en negociaciones con los Estados miembros en diciembre de 2023, fue respaldado por los eurodiputados con 523 votos a favor, 46 en contra y 49 abstenciones.

Las nuevas reglas prohíben ciertas aplicaciones de inteligencia artificial que amenazan los derechos de los ciudadanos, incluidos los sistemas de categorización biométrica basados en características sensibles y la extracción no dirigida de imágenes faciales de Internet o imágenes de CCTV para crear bases de datos de reconocimiento facial.

También estarán prohibidos el reconocimiento de emociones en el lugar de trabajo y las escuelas, la puntuación social, la vigilancia policial predictiva (cuando se base únicamente en perfilar a una persona o evaluar sus características) y la IA que manipule el comportamiento humano o explote las vulnerabilidades de las personas.

El uso de sistemas de identificación biométrica (RBI) por parte de las fuerzas del orden está prohibido en principio, excepto en situaciones enumeradas exhaustivamente y definidas de forma estricta. La RBI “en tiempo real” sólo se puede implementar si se cumplen estrictas salvaguardias, por ejemplo, su uso está limitado en el tiempo y el alcance geográfico y está sujeto a una autorización judicial o administrativa previa específica. Dichos usos pueden incluir, por ejemplo, la búsqueda selectiva de una persona desaparecida o la prevención de un ataque terrorista. El uso de dichos sistemas post-facto (“RBI post-remoto”) se considera un caso de uso de alto riesgo, que requiere autorización judicial y está vinculado a un delito penal.

El uso de sistemas de identificación biométrica (RBI) por parte de las fuerzas del orden está prohibido en principio. La RBI en tiempo real se puede implementar en casos como la búsqueda de una persona desaparecida o la prevención de un ataque terrorista.

También se prevén obligaciones claras para otros sistemas de IA de alto riesgo (debido a su importante daño potencial a la salud, la seguridad, los derechos fundamentales, el medio ambiente, la democracia y el Estado de derecho). Ejemplos de usos de IA de alto riesgo incluyen infraestructura crítica, educación y capacitación vocacional, empleo, servicios públicos y privados esenciales (por ejemplo, atención médica, banca), ciertos sistemas de aplicación de la ley, migración y gestión de fronteras, justicia y procesos democráticos (por ejemplo, influir en las elecciones). Dichos sistemas deben evaluar y reducir los riesgos, mantener registros de uso, ser transparentes y precisos y garantizar la supervisión humana. Los ciudadanos tendrán derecho a presentar quejas sobre los sistemas de IA y a recibir explicaciones sobre las decisiones basadas en sistemas de IA de alto riesgo que afecten a sus derechos.

Los sistemas de IA de propósito general (GPAI) y los modelos GPAI en los que se basan, deben cumplir ciertos requisitos de transparencia, incluido el cumplimiento de la ley de derechos de autor de la UE y la publicación de resúmenes detallados del contenido utilizado para la capacitación. Los modelos GPAI más potentes que podrían plantear riesgos sistémicos enfrentarán requisitos adicionales, incluida la realización de evaluaciones de modelos, la evaluación y mitigación de riesgos sistémicos y la presentación de informes sobre incidentes.

Además, las imágenes, el contenido de audio o de vídeo artificiales o manipulados (“deepfakes”) deben etiquetarse claramente como tales.

El reglamento aún está sujeto a una revisión final por parte de los juristas lingüistas y se espera que sea adoptado definitivamente antes de que finalice la legislatura (mediante el llamado procedimiento de corrección de errores). La ley también necesita ser respaldada formalmente por el Consejo.

Entrará en vigor veinte días después de su publicación en el Diario Oficial y será plenamente aplicable 24 meses después de su entrada en vigor, excepto: prohibiciones de prácticas prohibidas, que se aplicarán seis meses después de la fecha de entrada en vigor; códigos de práctica (nueve meses después de su entrada en vigor); normas de IA de uso general, incluida la gobernanza (12 meses después de la entrada en vigor); y obligaciones para sistemas de alto riesgo (36 meses).

Durante el debate plenario del martes, el ponente de la Comisión de Mercado Interior, Brando Benifei (S&D, Italia), declaró: “Finalmente tenemos la primera ley vinculante del mundo sobre inteligencia artificial, para reducir riesgos, crear oportunidades, combatir la discriminación y aportar transparencia. Gracias al Parlamento, se prohibirán en Europa las prácticas inaceptables de IA y se protegerán los derechos de los trabajadores y los ciudadanos. La Oficina de IA se creará ahora para ayudar a las empresas a empezar a cumplir las normas antes de que entren en vigor. Nos aseguramos de que los seres humanos y los valores europeos estén en el centro del desarrollo de la IA”.

Por su parte, el ponente del Comité de Libertades Civiles, Dragos Tudorache (Renew, Rumania), afirmó: “La UE ha cumplido. Hemos vinculado el concepto de inteligencia artificial a los valores fundamentales que forman la base de nuestras sociedades. Sin embargo, queda mucho trabajo por delante que va más allá de la propia Ley de IA. La IA nos empujará a repensar el contrato social en el corazón de nuestras democracias, nuestros modelos educativos, los mercados laborales y la forma en que llevamos a cabo la guerra. La Ley de IA es un punto de partida para un nuevo modelo de gobernanza basado en la tecnología. Ahora debemos centrarnos en poner en práctica esta ley”.