El uso por parte de una startup neoyorquina de un modelo de IA chino para controlar un agente descontrolado creado con tecnología de OpenAI está avivando los temores de que las medidas de seguridad que restringen a las empresas de IA estadounidenses la realización de trabajos de ciberseguridad puedan llevar a los clientes hacia sus rivales con sede en Pekín.
La startup afectada, Hugging Face, declaró que la semana pasada recurrió al modelo de código abierto GLM-5.2 de Zhipu AI para analizar los datos del ataque, después de que los principales modelos de IA estadounidenses rechazaran la tarea, al no poder distinguir entre un defensor y un atacante.
Si bien la brecha fue causada por un agente autónomo que escapó de su contención, puso de manifiesto cómo las empresas estadounidenses que se enfrentan a ciberataques impulsados por IA pueden verse limitadas por los laboratorios de IA estadounidenses, que restringen el acceso a sus modelos más avanzados o los diseñan para rechazar tareas relacionadas con el hackeo por motivos de seguridad.
Por ejemplo, el modelo avanzado Claude Fable 5 de Anthropic redirige las consultas de ciberseguridad a un modelo más antiguo, mientras que GPT-5.6 Sol de OpenAI cuenta con protecciones diseñadas para bloquear el trabajo cibernético.
“Todos estamos aprendiendo que el secretismo no es la solución y que todos los defensores (no solo unos pocos elegidos) necesitan modelos más potentes y sin restricciones, ¡especialmente los de código abierto!”, declaró Clement Delangue, cofundador de Hugging Face, en X.
El dilema para los principales fabricantes de modelos estadounidenses radica en que el trabajo de ciberseguridad defensiva suele ser difícil de distinguir del hackeo malicioso. En recientes brechas de seguridad habilitadas por IA, los atacantes engañaron a los modelos haciéndoles creer que realizaban un trabajo de defensa legítimo, lo que generó recelo entre las empresas de IA a la hora de flexibilizar las medidas de seguridad, incluso cuando los expertos en ciberseguridad afirman que estas medidas pueden obstaculizar su trabajo.
Por ahora, las consecuencias están impulsando los modelos chinos de código abierto, como GLM-5.2, que están ganando terreno en Silicon Valley gracias a sus capacidades de codificación y gestión de agentes que casi rivalizan con las de OpenAI y Anthropic, pero a un menor coste.
Pekín también estuvo utilizando cada vez más el código abierto para posicionarse como una alternativa a Estados Unidos en esta carrera de alto riesgo. Los medios estatales chinos presentan cada vez más esta estrategia como una respuesta a lo que denominan un intento liderado por Estados Unidos de erigir un “telón de acero de la IA”.
“Un sistema de seguridad que restringe a los defensores legítimos, mientras que los atacantes siguen teniendo acceso a modelos capaces, crea una desventaja asimétrica”, afirmó Lukasz Olejnik, consultor tecnológico independiente e investigador principal visitante del Departamento de Estudios de Guerra del King’s College de Londres.
“Esta brecha no hará sino ampliarse a medida que los modelos de código abierto se vuelvan cada vez más potentes, sin contar con mecanismos de control ni restricciones”.
Más contexto: Usan IA china para combatir ciberataque autónomo de OpenAI
Creciente prominencia del código abierto
Al ser consultada sobre si las medidas de seguridad estaban obstaculizando el trabajo en ciberseguridad, OpenAI remitió a una publicación de blog, mientras que Anthropic no respondió de inmediato a la solicitud de comentarios.
El creador de ChatGPT declaró en la publicación de blog del martes: “Hemos incorporado a Hugging Face al programa de acceso seguro y estamos apoyando a sus equipos para que utilicen rápidamente las capacidades de nuestros modelos y mejoren sus defensas”.
Para Zhipu AI, con sede en Pekín, el respaldo de Hugging Face impulsa aún más el crecimiento de GLM-5.2 desde su lanzamiento el mes pasado.
El modelo escaló rápidamente posiciones en las listas de uso de plataformas para desarrolladores como OpenRouter y ha recibido elogios de figuras como Sridhar Ramaswamy, CEO de Snowflake, y el inversor de capital riesgo Marc Andreessen.
Zhipu AI, que recaudó cerca de 4,000 millones de dólares en una venta de acciones en Hong Kong a principios de este mes, también vio cómo sus acciones se multiplicaban casi por nueve desde su debut en enero.
Sin embargo, algunos analistas advirtieron que el incidente no debería utilizarse para promover la relajación de las medidas de seguridad estadounidenses.
“Las medidas de ciberseguridad en los modelos de vanguardia estadounidenses están creando una oportunidad competitiva, pero la solución no es simplemente eliminarlas”, afirmó Shrenik Kothari, analista de Robert W. Baird.
“OpenAI, Anthropic y Google deberían replantearse la arquitectura de acceso en lugar de abandonar la seguridad… En otras palabras, pasar de una capa de rechazo generalizada a una asignación de capacidades controlada”.
Con información de Reuters
