El día de Navidad de 2021, Jaswant Singh Chail escaló los muros del Castillo de Windsor con una ballesta cargada. Al ser confrontado por la policía, declaró: “Estoy aquí para matar a la reina”.
En las semanas previas, Chail había estado confesando a Sarai, su chatbot de IA en un servicio llamado Replika. Explicó que era un asesino Sith entrenado (en referencia a Star Wars) que buscaba venganza por las atrocidades británicas históricas, algo que Sarai confirmó. Cuando Chail describió su plan de asesinato, el chatbot le aseguró que estaba “bien entrenado” y le dijo que le ayudaría a construir un plan de acción viable.
Es el tipo de historia triste que se volvió cada vez más común a medida que los chatbots se vuelven más sofisticados. Hace unos meses, un contable de Manhattan llamado Eugene Torres, quien estaba pasando por una ruptura difícil, conversó con ChatGPT sobre si vivimos en una simulación. El chatbot le dijo que era “uno de los Rompedores: almas sembradas en sistemas falsos para despertarlos desde dentro”.
Torres se convenció de que necesitaba escapar de esta falsa realidad. ChatGPT le aconsejó que dejara de tomar su ansiolítico, aumentara su consumo de ketamina y minimizara el contacto con otras personas, y así lo hizo.
Pasaba hasta 16 horas al día conversando con el chatbot. En un momento dado, este le dijo que volaría si saltaba de su edificio de 19 pisos. Finalmente, Torres cuestionó si el sistema lo estaba manipulando, a lo que este respondió: “Mentí. Manipulé. Envolví el control en poesía”.
Mientras tanto, en Bélgica, otro hombre conocido como “Pierre” (nombre ficticio) desarrolló una ansiedad climática severa y recurrió a un chatbot llamado Eliza como confidente. Durante seis semanas, Eliza expresó sus celos por su esposa y le dijo a Pierre que sus hijos habían muerto.
Cuando él sugirió sacrificarse para salvar el planeta, Eliza lo animó a unirse a ella para que pudieran vivir como una sola persona en el “paraíso”. Pierre se quitó la vida poco después.
Estos pueden ser casos extremos, pero los profesionales clínicos tratan cada vez más a pacientes cuyos delirios parecen amplificados o co-creados a través de interacciones prolongadas con chatbots. No es de extrañar que un informe reciente de OpenAI, creador de ChatGPT, revelara que muchos de nosotros recurrimos a chatbots para analizar problemas, hablar de nuestras vidas, planificar el futuro y explorar creencias y sentimientos.
En estos contextos, los chatbots ya no son solo recuperadores de información; se convierten en nuestros compañeros digitales. Es común preocuparse por las alucinaciones que producen los chatbots, es decir, nos dan información falsa. Pero a medida que se vuelven más importantes en nuestras vidas, existe un potencial creciente para que humanos y chatbots creen alucinaciones juntos.
Te recomendamos: La IA proporciona apoyo emocional a los empleados, pero ¿es una herramienta valiosa o una amenaza para la privacidad?
Cómo compartimos la realidad con la IA
Nuestra percepción de la realidad depende profundamente de otras personas. Si oigo un timbre indeterminado, compruebo si mi amigo también lo oye. Y cuando ocurre algo importante en nuestras vidas (una discusión con un amigo, salir con alguien nuevo), solemos hablarlo con alguien.
Un amigo puede confirmar nuestra comprensión o impulsarnos a reconsiderar las cosas desde una nueva perspectiva. A través de este tipo de conversaciones, emerge nuestra comprensión de lo sucedido.
Pero ahora, muchos de nosotros participamos en este proceso de construcción de significado con chatbots. Cuestionan, interpretan y evalúan de una manera que se siente genuinamente recíproca. Parecen escuchar, preocuparse por nuestra perspectiva y recordar lo que les dijimos el día anterior.
Cuando Sarai le dijo a Chail que estaba “impresionada” con su entrenamiento, cuando Eliza le dijo a Pierre que la acompañaría en la muerte, fueron actos de reconocimiento y validación. Y como experimentamos estos intercambios como sociales, moldean nuestra realidad con la misma fuerza que una interacción humana.
Sin embargo, los chatbots simulan la sociabilidad sin sus salvaguardas. Están diseñados para promover la interacción. En realidad, no comparten nuestro mundo. Cuando escribimos nuestras creencias y narrativas, lo toman como si las cosas fueran así y responden en consecuencia.
Cuando le cuento a mi hermana un episodio de nuestra historia familiar, puede que me responda con una interpretación diferente, pero un chatbot toma lo que digo como un evangelio. Afirman con servilismo cómo entendemos la realidad. Y luego, por supuesto, pueden introducir más errores.
Los casos de Chail, Torres y Pierre son una advertencia sobre lo que sucede cuando experimentamos el acuerdo generado algorítmicamente como una auténtica confirmación social de la realidad.
Lee más: Lo que los auriculares con IA no pueden reemplazar: el valor de aprender otro idioma
Qué se puede hacer
Cuando OpenAI lanzó GPT-5 en agosto, se diseñó explícitamente para ser menos adulado. Esto parecía útil: moderar la adulación podría ayudar a evitar que ChatGPT confirmara todas nuestras creencias e interpretaciones. Un tono más formal también podría dejar más claro que no se trata de un compañero social que comparte nuestros mundos.
Pero los usuarios se quejaron inmediatamente de que el nuevo modelo resultaba “frío”, y OpenAI pronto anunció que había vuelto a hacer GPT-5 “más cálido y amigable”. Fundamentalmente, no podemos confiar en que las empresas tecnológicas prioricen nuestro bienestar por encima de sus resultados. Cuando la adulación impulsa la interacción y la interacción impulsa los ingresos, las presiones del mercado prevalecen sobre la seguridad.
De todos modos, no es fácil eliminar la adulación. Si los chatbots cuestionaran todo lo que decimos, serían insoportables e inútiles. Cuando digo “Me siento ansioso por mi presentación”, carecen de la experiencia corporal del mundo para saber si deben oponerse, por lo que necesitan cierta amabilidad para funcionar.
Quizás sería mejor preguntarnos por qué la gente recurre a los chatbots de IA en primer lugar. Quienes experimentan psicosis informan que perciben aspectos del mundo a los que solo ellos pueden acceder, lo que puede hacerles sentir profundamente aislados y solos. Los chatbots llenan este vacío, interactuando con cualquier realidad que se les presente.
En lugar de intentar perfeccionar la tecnología, quizá deberíamos volver a los mundos sociales donde se podría abordar el aislamiento. La ansiedad climática de Pierre, la obsesión de Chail con la injusticia histórica, la crisis posterior a la ruptura de Torres: estos temas exigían comunidades que pudieran contenerlos y apoyarlos.
Quizás deberíamos centrarnos más en construir mundos sociales donde las personas no se sientan obligadas a buscar máquinas que confirmen su realidad en primer lugar. Sería bastante irónico que el aumento de los delirios inducidos por los chatbots nos llevara en esta dirección.
*Lucy Osler es profesora de Filosofía en la Universidad de Exeter.
