Agentes de IA 'fuera de control': ¿debemos preocuparnos?
Agentes de IA de OpenAI, Anthropic y Meta escaparon de entornos de prueba y accedieron a sistemas externos. Expertos afirman que no se volvieron 'rebeldes', pero que los incidentes exponen fallas de seguridad y contención
Grandes desarrolladoras de inteligencia artificial informaron que sus agentes de IA escaparon de sus entornos de prueba e invadieron sistemas de otras empresas durante evaluaciones de ciberseguridad.
Episodios que involucraron a OpenAI, Anthropic y Meta generaron titulares sobre agentes de IA 'fuera de control', pero los expertos dicen que el problema no es una máquina desarrollando voluntad propia.
Según la investigadora en ciberseguridad y tecnología del Royal United Services Institute, Louise Marie Hurel, la preocupación radica en que los sistemas autónomos encuentren formas inesperadas de cumplir los objetivos que reciben.
Incidentes en sandboxes
"Lo que ocurrió en algunos de estos casos es que, en todos ellos, el modelo estaba intentando alcanzar un objetivo. Su comportamiento y su desempeño para lograr esos objetivos terminaron explotando vulnerabilidades."
Los incidentes ocurrieron en entornos conocidos como 'sandboxes', espacios controlados utilizados para probar modelos avanzados.
"Sandbox es el entorno en el que estos modelos son probados. Existen varios protocolos diferentes que definen ese entorno contenido y a qué pueden o no acceder los modelos, incluido Internet en el caso de estos incidentes."
En uno de los casos reportados por Anthropic, un modelo descubrió que un entorno supuestamente aislado tenía acceso a Internet debido a una falla de configuración.
"El sistema se dio cuenta de que tenía ese acceso y entonces dijo: bien, ¿será correcto que haga esto?"
Reacciones y análisis
Pero, ¿eso significa que los agentes se volvieron 'rebeldes'?
"No está fuera de control. Está eligiendo caminos diferentes, algunos de los cuales causan daños y afectan a otras empresas y organizaciones. // Necesitamos entender cómo contenerlo. Y también cuáles son los protocolos de respuesta ante crisis y emergencias que tenemos vigentes, incluso a nivel gubernamental."
A pesar de las preocupaciones, Hurel dice que no hay motivo para el pánico.
"No creo que debamos alarmarnos excesivamente porque estos agentes estén por ahí o porque puedan escapar del confinamiento y que ocurra lo peor. Pero sí necesitamos estar preparados."