La información procede de la organización afectada y deberá ser objeto de análisis

La Agencia Española de Protección de Datos (AEPD) ha recibido la primera notificación de una brecha de datos personales en la que el incidente habría sido ejecutado mediante un agente de inteligencia artificial que utilizó un conocido modelo de lenguaje. Francisco Pérez Bes, adjunto de la AEPD, analiza el caso y sus implicaciones para la gestión de riesgos en un artículo publicado en el blog de la Agencia.

Según explica Francisco Pérez Bes, especialista en protección de datos y seguridad de la información y ex secretario general del Incibe, el agente atacante inició una búsqueda de vulnerabilidades en archivos genéricos y realizó correctamente un login. Una vez dentro del sistema, comenzó a buscar de forma autónoma vulnerabilidades en la aplicación, lo que posteriormente le permitió modificar datos personales y acceder a facturas.

El autor advierte de que la información disponible procede de la notificación presentada por la organización afectada y deberá someterse al correspondiente análisis. También precisa que el uso de un modelo concreto de inteligencia artificial no implica que este o la infraestructura de su proveedor hayan sido comprometidos, ni que la herramienta se haya diseñado para desarrollar actividades maliciosas.

Para Pérez Bes, el aspecto relevante desde la perspectiva de la protección de datos es que un tercero habría empleado un agente de IA para encadenar distintas fases del ataque. Aunque esta primera notificación no permite establecer una tendencia estadística, considera que supone una señal de que los ataques apoyados en estas tecnologías comienzan a materializarse en incidentes que afectan a tratamientos reales de datos personales.

El adjunto de la AEPD explica que los modelos generativos ya se utilizan para facilitar actividades como la elaboración de mensajes de phishing, la suplantación de identidades, el análisis de código o la búsqueda de vulnerabilidades. Los agentes introducen un cambio cualitativo al poder recibir un objetivo, planificar tareas, utilizar herramientas, ejecutar código, interpretar resultados y adaptar autónomamente su actuación. La IA, puntualiza Pérez Bes, no crea nuevas amenazas, pero puede aumentar la velocidad, escala y capacidad de adaptación de técnicas maliciosas conocidas.

A partir de este caso, Pérez Bes considera necesario incorporar expresamente los ataques asistidos o ejecutados mediante IA a los análisis de riesgos de los tratamientos. Su automatización puede modificar la probabilidad, velocidad y alcance de los incidentes y hacer insuficientes los procedimientos de respuesta concebidos para ataques ejecutados manualmente.

El autor también llama la atención sobre la protección de identidades digitales y credenciales, ya que un agente que obtenga una cuenta, una clave API o un token con permisos excesivos puede operar a velocidad de máquina y acceder a distintos servicios antes de que la organización detecte un comportamiento anómalo.

Pérez Bes señala, asimismo, que la supervisión humana debe apoyarse en mecanismos de detección, contención y respuesta capaces de actuar con suficiente rapidez. El autor recuerda en este punto las recomendaciones de la guía CCN-CERT BP/36 sobre IA ofensiva, entre ellas reforzar los controles esenciales, acelerar la gestión de vulnerabilidades, proteger las identidades, controlar la cadena de suministro y gobernar adecuadamente el uso de agentes.

Pérez Bes considera que responsables, encargados y delegados de protección de datos deben prepararse para un aumento de la velocidad de los ataques, manteniendo fundamentos como el conocimiento de los tratamientos, la minimización de datos, la limitación de accesos, la corrección de vulnerabilidades, el control de proveedores y la preparación de la respuesta ante incidentes.

Consulta el artículo completo de Francisco Pérez Bes en el blog de la AEPD.