El riesgo que de verdad debería quitarte el sueño no es que tu inteligencia artificial se equivoque. Es que haga, con precisión y buena disposición, exactamente lo que alguien le pida, aunque ese alguien no tenga ningún derecho a pedirlo.
A principios de junio lo vimos en vivo. Varios atacantes tomaron control de cuentas de Instagram de alto perfil, entre ellas una cuenta histórica de la Casa Blanca y la de un alto mando de la Fuerza Espacial de Estados Unidos, sin romper una sola contraseña. Se hicieron pasar por los dueños, abrieron una conversación con el asistente de soporte de Meta y, con una historia bien armada, le pidieron que cambiara el correo de recuperación. El agente, diseñado para ser servicial, obedeció.
No fue magia ni cortesía. Fue ingeniería social deliberada contra una máquina que no sabe desconfiar. Y eso es lo incómodo: ningún sistema falló. Pensamos el riesgo tecnológico como algo que se rompe, el servidor que se cae, la vulnerabilidad que alguien explota. Aquí no se rompió nada. El agente hizo su trabajo. No desobedeció; obedeció a quien no debía, porque nadie le enseñó a dudar.
Antes de ese chat hubo una decisión humana. En algún comité, alguien presentó un número que decía cuánto se ahorraba al automatizar la atención al cliente con inteligencia artificial. La diapositiva se veía bien, el caso cerraba, y nadie levantó la mano para preguntar lo único que importaba: ¿qué cosas va a poder hacer este agente sin que un humano lo autorice? A veces ni siquiera hubo comité; un equipo conectó la herramienta un viernes y nadie de los directivos se enteró. Eso, lejos de salvarte, te deja peor: respondes por algo que ni te avisaron que existía.
“La inteligencia artificial es insegura” es el diagnóstico cómodo: traslada la culpa a la máquina y deja tranquilo a quien la desplegó. Pero ningún algoritmo decidió regalar esas cuentas. Alguien aprobó, o dejó pasar, un diseño donde una acción que no se puede deshacer se ejecutaba sin que nadie preguntara “¿y tú quién eres?”. La obediencia del agente no fue un accidente. Fue una política. Y las políticas las firma gente, no algoritmos.
Bajémoslo a una decisión que tomas sin pensarlo. Contratas a alguien para soporte técnico en su primer día, sin criterio todavía para distinguir una solicitud legítima de una sospechosa. ¿Le darías esa misma mañana la facultad de cambiar el correo de recuperación de tu cliente más importante, solo, sin que nadie revise? Claro que no. Pues a tu agente de inteligencia artificial le entregaste esa llave el día que lo conectaste, y lo más probable es que nadie lo haya notado, porque ese detalle no venía en la diapositiva del ahorro antes mencionado.
Lee más: La ciberseguridad no se copia, se diseña desde tu propio negocio
Ahí está la falla, y no es técnica. El caso de negocio se arma sobre una sola columna: lo que se ahorra. Esa se presenta y se aplaude. La otra, lo que ese agente puede romper, regalar o exponer cuando alguien lo manipula, no aparece, porque medir el ahorro es fácil y medir el riesgo asumido es incómodo. Y lo que no se discute en el comité termina discutiéndose en la sala de crisis, muchas veces con abogados presentes.
La culpa, además, no es de un solo lado. El equipo técnico conectó el agente y muchas veces no le puso límites, porque ponerlos es trabajo y nadie lo pedía. El negocio lo empujó para cerrar su número del trimestre. Alguien aprobó sin ver la película completa. Nadie ahí actuó de mala fe, y por eso es tan difícil de prevenir. Y el de ciberseguridad, que quizá si alcanzó a ver el problema, lo dijo en un idioma que rebotó contra la mesa: es inseguro. Mientras uno no aprenda a traducir a lenguaje del negocio y el directivo a preguntar, el sistema va a seguir premiando la velocidad y castigando la pregunta incómoda.
La diferencia entre la organización que sale en el titular y la que no, no es presupuesto ni tecnología. Es que alguien con autoridad real se sienta, antes de soltar el agente, y exige una sola respuesta: ¿qué puede hacer esta cosa que no se pueda deshacer? Solo lo irreversible. Y para eso, dos preguntas más: ¿cómo verificas quién está del otro lado, y en cuáles acciones exiges un segundo par de ojos humanos? La primera no es trivial; validar identidad en una conversación de soporte es de los problemas más difíciles que hay, y si fuera fácil no le habría pasado a Meta. Pero difícil no es excusa. La segunda no va en todas, porque matarías el ahorro que justificó el proyecto. Solo en las que duelen.
Si la respuesta a cualquiera de esas tres es “no estamos seguros”, tu agente de IA ya opera con más confianza de la que le darías a cualquier empleado nuevo. Esa junta la puedes convocar mañana. Y no es para apagar el agente, que casi nunca es la salida; es para saber qué llave le diste y cuáles conviene quitarle. Descubrir dónde está el riesgo no es para entrar en pánico. Es para corregirlo antes de que lo encuentre alguien afuera.
Meta tiene los recursos, el talento y la infraestructura que la mayoría de las empresas latinoamericanas solo pueden envidiar. Y aun así, una conversación bien montada con un chatbot bastó para entregar cuentas verificadas, históricas, seguidas por millones. La pregunta no es si tu organización es tan grande como Meta. Es si sabes, hoy, qué puede regalar tu inteligencia artificial cuando alguien se lo pide con la historia correcta.
Sobre el autor:
Correo: [email protected]
LinkedIn: https://www.linkedin.com/in/andresvelazquez/
Las opiniones expresadas son sólo responsabilidad de sus autores y son completamente independientes de la postura y la línea editorial de Forbes México.
Inspírate, descubre y comparte. ¡Síguenos y encuentra lo que buscas en nuestro Instagram!
