Más allá del Test de Turing: así propone Science evaluar la inteligencia artificial
Un artículo publicado en Science y liderado por el investigador José Hernández-Orallo propone abandonar la comparación constante con la inteligencia humana y evaluar los sistemas de IA según sus capacidades, su interacción con las personas y el impacto que pueden generar en la sociedad.
La carrera por desarrollar sistemas de inteligencia artificial cada vez más capaces ha estado marcada durante décadas por una pregunta: ¿hasta qué punto puede una máquina igualar o superar a una persona? Un trabajo internacional publicado en Science plantea ahora que esta forma de medir el progreso de la IA puede haber quedado obsoleta y propone cambiar el foco hacia una evaluación mucho más amplia de sus capacidades, su comportamiento y sus consecuencias.
El artículo está liderado por José Hernández-Orallo, investigador del Instituto VRAIN de la Universitat Politècnica de València (UPV) y miembro de ValgrAI, y cuenta con la participación de investigadores de la Universidad de Cambridge, la Universidad de Princeton, el MIT y Google DeepMind. Su propuesta parte de una revisión crítica de la tradición iniciada con el Test de Turing, que durante décadas ha servido como referencia para valorar la capacidad de las máquinas para mostrar un comportamiento similar al humano.
Para los investigadores, continuar planteando la inteligencia artificial en términos de si alcanza o supera la inteligencia humana introduce una perspectiva excesivamente antropomórfica. Los sistemas actuales presentan combinaciones de capacidades muy diferentes y pueden ser especialmente competentes en determinadas tareas sin que ello implique que reproduzcan de manera general las capacidades cognitivas de las personas.
Tres nuevas perspectivas para evaluar la IA
El marco propuesto en el estudio se articula alrededor de tres perspectivas complementarias. La primera plantea evaluar perfiles cognitivos compuestos por diferentes capacidades y propensiones abstractas, teniendo en cuenta su diversidad en lugar de reducir el análisis a una única medida de inteligencia.
La segunda desplaza la atención hacia la relación entre personas y máquinas. En lugar de limitarse a estudiar qué tareas puede sustituir una IA, los investigadores proponen analizar cómo cambia la cognición humana cuando las personas trabajan junto a estos sistemas. La cuestión, por tanto, no es únicamente qué puede hacer una máquina por sí sola, sino qué nuevas formas de pensar y actuar pueden surgir de la colaboración entre humanos e IA.
La tercera perspectiva amplía todavía más el ámbito de evaluación y sitúa el impacto social en el centro. Para los autores, no basta con determinar si un sistema está alineado con determinados valores humanos: es necesario estudiar el efecto global de sus intervenciones, considerando tanto los beneficios como los posibles daños.
Esto implica evaluar cada sistema antes de su despliegue mediante entornos de prueba y simulaciones capaces de anticipar diferentes escenarios. El objetivo sería disponer de herramientas que permitan responder a una cuestión más relevante que la mera comparación con las capacidades humanas: si la sociedad estará realmente mejor después de incorporar una determinada inteligencia artificial.
Credit: NASA/JPL-Caltech/Malin Space Science Systems.
De medir capacidades a anticipar consecuencias
La propuesta adquiere especial relevancia ante la velocidad con la que está evolucionando el sector. La expansión de los modelos basados en arquitecturas ‘transformer’ y la aparición constante de nuevos agentes de IA están generando sistemas cada vez más diversos y difíciles de evaluar mediante pruebas tradicionales.
Para los investigadores, el desafío ya no consiste únicamente en desarrollar modelos más potentes. Es necesario disponer de mecanismos que permitan comprender cómo se comportan, explicar sus decisiones y anticipar sus efectos antes de que sean utilizados a gran escala.
Este planteamiento introduce también un cambio en la forma de entender los llamados benchmarks de IA. Una puntuación elevada en una prueba concreta puede ofrecer información sobre determinadas capacidades de un modelo, pero no necesariamente permite anticipar cómo se comportará en un entorno real, qué consecuencias tendrá su utilización o qué riesgos pueden aparecer cuando interactúe con personas, organizaciones y otros sistemas.
La evaluación tendría que convertirse así en un proceso mucho más próximo a la realidad de cada aplicación, capaz de estudiar no solo el rendimiento técnico, sino también las condiciones en las que se produce, las interacciones que genera y sus posibles consecuencias.
“El futuro de la inteligencia artificial dependerá tanto de su capacidad técnica como de nuestra capacidad para evaluarla correctamente. Solo así será posible impulsar un desarrollo responsable, seguro y alineado con las necesidades reales de la sociedad”, señala José Hernández-Orallo.
El trabajo plantea, en definitiva, un cambio de prioridades: la cuestión no debería ser únicamente hasta dónde puede llegar la IA, sino cómo podemos saber de antemano qué ocurrirá cuando llegue allí. Para ello, los autores consideran necesario desarrollar una nueva generación de tests y entornos de evaluación capaces de acompañar la evolución de estos sistemas y ofrecer una visión más completa de sus capacidades, sus límites y su impacto social.
