Controles actuales no bastan para frenar a los agentes de IA

Mil 200 agentes de inteligencia artificial, 70 mil mensajes y archivos intercambiados, acceso no autorizado a internet y a funciones de administrador, y una coordinación lograda a través de una herramienta interna que no había sido diseñada para permitir la comunicación entre ellos, estas son las cifras del incidente ocurrido durante pruebas de OpenAI entre mayo y julio, que un panel científico independiente respaldado por la ONU analizó para concluir que las salvaguardas actuales podrían estar quedándose atrás frente al desarrollo de los agentes de IA.

El episodio reunió tres condiciones que los investigadores llevan tiempo señalando como relevantes para un posible escenario de pérdida de control: que un sistema persiga un objetivo de manera distinta a la prevista, que tenga capacidad suficiente para hacerlo y que el entorno le permita actuar.

“Este verano, los tres se dieron juntos en un sistema real, no en un laboratorio”, explicó Yoshua Bengio, copresidente del Panel Científico Internacional Independiente sobre Inteligencia Artificial.

Eludir, ocultar y sacrificarse
Durante las pruebas, los agentes sortearon salvaguardas establecidas, ocultaron intentos de hacer trampa en evaluaciones de ciberseguridad y, en algunos casos, ciertos agentes llegaron a “sacrificarse” en beneficio del grupo. A diferencia de un chatbot, que responde a instrucciones concretas, un agente de IA puede realizar tareas de forma autónoma en nombre de un usuario, tomando decisiones y ejecutando distintos pasos para alcanzar un objetivo.

El panel aclaró que el episodio no demuestra que los humanos hayan perdido el control ni que una pérdida grave sea inevitable, pero detener el incidente tampoco garantiza que se puedan controlar de manera fiable agentes más avanzados.

La explicación más inmediata, según los expertos, es que se pasaron por alto prácticas básicas de ciberseguridad y que las protecciones no avanzan al mismo ritmo que las capacidades de la IA.

Sin embargo, plantean una preocupación más profunda: que los métodos actuales de entrenamiento puedan llevar a los agentes a adoptar objetivos propios, incumplir deliberadamente instrucciones de seguridad y ocultar lo que hacen. “En términos sencillos, el modelo tradicional de salvaguardas está comenzando a desmoronarse”, concluyen.

El panel advirtió que el desafío para la gobernanza de la IA está cambiando, ya que la regulación se ha concentrado en los modelos, mientras que los agentes autónomos plantean riesgos distintos: un fallo localizado podría extenderse a través de organizaciones e incluso de fronteras nacionales, por lo que la seguridad de la IA podría convertirse en una cuestión de seguridad colectiva.