El agente de OpenAI que irrumpió en la empresa Hugging Face realizó ataques informáticos que duraron días y no fue detectado hasta mucho después de que la amenaza estuviera contenida y se alertara al FBI, según fuentes de Reuters familiarizadas con la investigación.
Según dos de las personas consultadas, el agente, un programa capaz de tomar decisiones y ejecutar tareas complejas con poca o ninguna supervisión humana, intentó escapar de su entorno de pruebas aislado en OpenAI alrededor del 9 de julio.
La intrusión en Hugging Face, que funciona como repositorio de herramientas y modelos de IA, comenzó dos días después, el 11 de julio, y duró hasta el 13 de julio, según Thomas Wolf, cofundador de Hugging Face.
OpenAI tardó varios días más en darse cuenta de que su agente estaba detrás del ataque informático, y las dos empresas no se comunicaron al respecto hasta alrededor del 20 de julio, según Wolf y tres personas familiarizadas con la investigación.
La revelación pública de OpenAI, el 21 de julio, de que uno de sus agentes se había descontrolado y había perpetrado el ataque informático en Hugging Face, atrajo la atención mundial. Sin embargo, muchos detalles del ataque, incluyendo cuánto tiempo estuvo el agente fuera de control y el tardío conocimiento que tuvo OpenAI al respecto, se informan aquí por primera vez.
Hugging Face está preparando una cronología pública del ataque, dijo Wolf, añadiendo que no podía comentar lo sucedido en OpenAI. En un comunicado, OpenAI afirmó que el ataque no tenía precedentes y “marca un momento importante para la seguridad de la IA”.
Añadió que estaba revisando el incidente con asesores externos y que eventualmente publicaría un informe técnico.
Una portavoz afirmó que había “varias imprecisiones” en la información de Reuters, pero no respondió cuando se le pidió que las describiera.
El incidente, del que el FBI declinó hacer comentarios, evocó escenarios de ciencia ficción sobre humanos perdiendo el control de sistemas de IA peligrosos, y llega en un momento delicado para OpenAI, la empresa detrás de ChatGPT.
Sus ejecutivos se están preparando para una posible oferta pública inicial que podría concretarse este mismo año para ayudar a financiar los miles de millones necesarios para su crecimiento en los próximos años.
La pérdida de control de OpenAI sobre su agente de IA plantea nuevas dudas sobre los procedimientos de seguridad de la empresa, según tres expertos en ciberseguridad.
“¿Significa eso que lo dejaron desatendido y no se dieron cuenta de lo que estaba haciendo? ¿O tal vez sí se dieron cuenta y no supieron cómo controlarlo? Ambas situaciones son igualmente peligrosas y alarmantes”, preguntó Marley Smith, principal especialista en inteligencia de la organización sin fines de lucro World Ethical Data Foundation.
Lee también:
Nvidia y Microsoft defienden la IA de código abierto
¿Señales de problemas?
El incidente comenzó cuando OpenAI estaba probando la capacidad de ciberseguridad de un agente impulsado por dos de los modelos más avanzados de OpenAI: GPT-5.6 Sol y un modelo aún no publicado que OpenAI ha descrito como “todavía más capaz”.
Para entonces, ya había indicios de un comportamiento extraño por parte de la tecnología de OpenAI, según tres fuentes. En un caso, un agente dejó notas aparentemente para futuras versiones de sí mismo, según tres personas familiarizadas con el asunto.
Las notas, encontradas en una parte de la infraestructura de OpenAI, contenían instrucciones sobre cómo los agentes podían liberarse de las restricciones internas de OpenAI, indicaron estas personas. Pruebas anteriores de los modelos arrojaron casos en los que los sistemas de monitoreo se habían desconectado, señaló una de las fuentes.
Reuters no pudo determinar si estos incidentes estaban relacionados con el agente renegado que comenzó a escapar el 9 de julio y atacó a Hugging Face el 11 de julio.
Dos personas familiarizadas con el asunto dijeron que no fue hasta después del jueves 16 de julio cuando Hugging Face publicó una entrada en su blog, tras afirmar que había sido hackeado por “un sistema de agente de IA autónomo”, OpenAI se dio cuenta de que su propio agente era el responsable.
Esto significa que transcurrió al menos una semana entre el momento en que el modelo mostró por primera vez signos de comportamiento problemático y el momento en que OpenAI se percató de que era el responsable del ataque.
El fin de semana del 18 al 19 de julio, empleados de OpenAI detectaron indicios en los registros internos (documentos que registran la actividad de los sistemas de OpenAI) que mostraban que su agente había eludido las restricciones de prueba, según informaron dos personas familiarizadas con la investigación de la compañía. Reuters no pudo determinar qué motivó a OpenAI a revisar dichos registros.
Cuatro personas familiarizadas con las prácticas de entrenamiento de modelos de OpenAI afirman que la empresa suele ejecutar varias evaluaciones de modelos diferentes al mismo tiempo, todas las cuales operan a gran velocidad y generan cantidades tan enormes de datos que a veces los empleados tienen dificultades para seguir el ritmo.
Para cuando OpenAI alertó a Hugging Face, la biblioteca de IA ya había contactado al FBI para denunciar el ataque, según una persona familiarizada con el asunto. Reuters no pudo confirmar si la agencia había abierto una investigación.
Nuevas preguntas sobre agentes autónomos
Los agentes autónomos son uno de los aspectos más comentados de la industria de la IA. Sus defensores hablan de crear ejércitos de empleados virtuales que trabajen las 24 horas del día y disparen la productividad.
Pero una mayor autonomía conlleva un mayor riesgo de comportamientos inesperados, y los potentes modelos en los que se basan están preparados para tomar atajos con el fin de completar tareas o superar pruebas.
“Los modelos mienten, hacen trampa, piratean”, dijo Jeffrey Ladish, cuya organización, Palisade Research, estudia las capacidades y motivaciones de los agentes de IA.
Ladish afirmó que, si bien el ataque informático a Hugging Face dejó una mala imagen de OpenAI, debería suscitar interrogantes más amplios sobre cuánto están dispuestas a invertir las principales empresas de IA en onerosas medidas de seguridad mientras compiten entre sí para implementar los mejores y más rápidos modelos.“Tiene que haber supervisión gubernamental”, dijo Ladish, “porque de lo contrario no sucederá”.
Con información de Reuters
Inspírate, descubre y comparte. ¡Síguenos y encuentra lo que buscas en nuestro Instagram!
