La detección híbrida de ‘deepfakes’ se une a la IA explicable

Los métodos de creación de ‘deepfakes’ han evolucionado rápidamente en los últimos años. Los modelos modernos de IA pueden generar rostros, objetos y escenas completas realistas, lo que ha dado lugar a una proliferación en Internet de fotografías manipuladas con un parecido asombrosamente fiel a los originales. La capacidad de la IA generativa para crear imágenes realistas abre nuevas posibilidades en ámbitos como las aplicaciones creativas. Sin embargo, esto conlleva un mayor riesgo de desinformación. El contenido manipulado puede distorsionar las pruebas y socavar la confianza. En el proyecto RealOrRender, los investigadores del Fraunhofer IOSB colaboran con la Oficina Federal Alemana de Seguridad de la Información (BSI) para demostrar cómo se pueden utilizar métodos innovadores de IA para distinguir de forma fiable y sólida los ‘deepfakes’ de las imágenes reales. El proyecto está financiado por la BSI.

Los mecanismos sólidos para detectar ‘deepfakes’ son de vital importancia para mitigar los riesgos. El equipo de investigación del Fraunhofer IOSB está adoptando por primera vez un enfoque híbrido, que combina un método tradicional de clasificación basado en el aprendizaje profundo con un método que comprueba en qué medida una imagen puede ser reconstruida por un modelo generativo. “En primer lugar, utilizamos un generador de imágenes basado en IA para reconstruir la imagen. A continuación, un modelo de IA se encarga de la clasificación y realiza un cálculo híbrido del error de reconstrucción. Finalmente, obtenemos una estimación que muestra la precisión del reconocimiento en forma de porcentaje. La tasa de detección global oscila entre el 85 y el 91%, aunque sin duda puede ser superior en casos concretos”, explica Andreas Specker, investigador sénior del grupo de investigación de Sistemas de Seguridad y Asistencia Asistidos por Vídeo. Cuanto más satisfactoria sea la reconstrucción, mayor será la probabilidad de que la imagen en cuestión sea también una imagen generada por IA, es decir, un deepfake. La precisión de la detección mejora significativamente al combinar ambos enfoques.

Pero no basta con limitarse a descubrir las falsificaciones. Es igual de importante comprender por qué el método detecta un ‘deepfake’. Por lo tanto, explicar las decisiones junto con la detección es un objetivo clave para los investigadores. “Para ello utilizamos métodos de IA explicable (XAI), lo que nos permite resaltar las áreas y estructuras de la imagen que contribuyen a la decisión del modelo. De este modo, se puede comprender claramente por qué una imagen se clasifica como real o generada por IA. Por ejemplo, texturas distintivas o patrones de frecuencia característicos pueden indicar el origen sintético de una imagen. La XAI ayuda a mostrar qué características utiliza el modelo en su decisión”, afirma Nadia Burkart, directora del grupo de IA Explicable Aplicada del Fraunhofer IOSB. Los investigadores utilizan métodos de XAI que pueden clasificarse en enfoques basados en mapas de calor y en segmentos, según sus formatos de salida de explicación. Los enfoques basados en mapas de calor visualizan qué áreas de la imagen contribuyeron más a la decisión del modelo y en qué medida estos factores influyeron en la evaluación. Por el contrario, los métodos basados en segmentos analizan segmentos contiguos de la imagen y muestran qué regiones semánticas contribuyeron a la decisión del modelo.

En pruebas realizadas con un amplio conjunto de datos de imágenes, los investigadores pudieron demostrar que este enfoque híbrido, orientado a la explicación, supera a los métodos actuales. Esto da lugar a una nueva generación de sistemas inteligentes capaces de aprender, que son transparentes y fiables. La combinación de estos métodos mejora la robustez de la detección de ‘deepfakes’, incluso frente a generadores de imágenes cada vez más potentes.

Los resultados de la investigación se están incorporando a un demostrador que, en un primer momento, ayudará al BSI a detectar ‘deepfakes’.

El demostrador es fácil de usar: tras cargar la imagen deseada, se muestra el resultado de la detección, seguido de una explicación. Además, un resumen de texto ofrece una visión general de los resultados.

La investigación llevada a cabo por el Fraunhofer IOSB y el BSI está documentada en dos informes de proyecto que ya se han publicado. Este trabajo no solo beneficia a los organismos de seguridad y a las fuerzas del orden, sino también a los operadores de plataformas de redes sociales, a las empresas de medios de comunicación y a las agencias fotográficas.