Un miembro del personal de Anthropic que dirigió un equipo que investigaba la seguridad de la IA abandonó la empresa el lunes, advirtiendo oscuramente tanto de un mundo “en peligro” como de la dificultad de poder dejar que “nuestros valores gobiernen nuestras acciones”, sin ningún tipo de elaboración, en una carta de renuncia pública que también sugería que la empresa había dejado de lado sus valores.
Datos clave
Mrinank Sharma, quien dirigió el equipo de investigación de salvaguardias de Anthropic desde su lanzamiento el año pasado, compartió su carta de renuncia en una publicación el lunes por la mañana, que rápidamente atrajo atención y fue vista 1 millón de veces.
En su carta, Sharma dijo que “tiene claro que ha llegado el momento de seguir adelante” y afirmó que “el mundo está en peligro”, no solo por la IA, sino por “toda una serie de crisis interconectadas que se desarrollan en este mismo momento”.
Sharma dijo que había visto “repetidamente lo difícil que es realmente dejar que nuestros valores gobiernen nuestras acciones” mientras estuvo en Anthropic, y agregó que “constantemente enfrentamos presiones para dejar de lado lo que más importa”, aunque no ofreció detalles.
Después de dejar Anthropic, Sharma dijo que podría estudiar poesía y “dedicarse a la práctica del discurso valiente”, y agregó que quiere “contribuir de una manera que se sienta plenamente íntegra”.
Sharma rechazó una solicitud de comentarios (Forbes también contactó a Anthropic para solicitar comentarios y no recibió respuesta).
Lee también:
Apollo y xAI se acercan a un acuerdo de 3,400 mdd para financiar chips de IA
Cita crucial
“Parece que nos estamos acercando a un umbral en el que nuestra sabiduría debe crecer en la misma medida que nuestra capacidad de afectar al mundo, para no enfrentar las consecuencias”, escribió Sharma en su carta.
¿Qué hizo Sharma en Anthropic?
Sharma, doctor en aprendizaje automático por la Universidad de Oxford, empezó a trabajar en Anthropic en agosto de 2023, según su perfil de LinkedIn . Según su sitio web, el equipo que dirigía en Anthropic investiga cómo mitigar los riesgos de la IA. En su carta de renuncia, Sharma afirmó que parte de su trabajo incluía desarrollar defensas contra el bioterrorismo asistido por IA e investigar la adulación por IA , el fenómeno en el que los chatbots de IA elogian y adulan excesivamente a un usuario. Según un informe publicado en mayo por el equipo de Sharma, el Equipo de Investigación de Medidas de Seguridad se había centrado en investigar y desarrollar medidas de seguridad contra actores que utilizan un chatbot de IA para buscar orientación sobre cómo llevar a cabo actividades maliciosas.
El nuevo estudio de Sharma descubrió que los chatbots podrían crear una realidad distorsionada
Según un estudio que Sharma publicó la semana pasada, en el que investigó cómo el uso de chatbots de IA podría causar que los usuarios se formen una percepción distorsionada de la realidad, descubrió que miles de interacciones de este tipo, que pueden producir estas distorsiones, ocurren a diario. Los casos graves de percepción distorsionada de la realidad, a los que Sharma se refiere como patrones de desempoderamiento, son poco frecuentes, pero las tasas son más altas en temas como las relaciones y el bienestar. Sharma afirmó que sus hallazgos «resaltan la necesidad de sistemas de IA diseñados para apoyar firmemente la autonomía y el desarrollo humano».
Tangente
Otros empleados de empresas de IA de alto perfil han renunciado alegando preocupaciones éticas. Tom Cunningham, exinvestigador económico de OpenAI, dejó la empresa en septiembre y, según se informa, dijo en un mensaje interno que se había frustrado porque la empresa supuestamente se estaba volviendo más reticente a publicar investigaciones críticas sobre el uso de la IA. En 2024, OpenAI disolvió Superalignment, un equipo de investigación de seguridad, después de que dos de sus miembros clave renunciaran. Uno de estos miembros, Jan Leike, quien ahora dirige la investigación de seguridad en Anthropic, dijo en una publicación en X tras su renuncia que había estado “en desacuerdo con el liderazgo de OpenAI sobre las prioridades centrales de la empresa durante bastante tiempo, hasta que finalmente llegamos a un punto de ruptura”. Gretchen Krueger , quien dejó su puesto como investigadora de políticas de IA poco después de Leike, dijo en publicaciones en X que la empresa necesita hacer más para mejorar “los procesos de toma de decisiones; la rendición de cuentas; la transparencia” y “las mitigaciones de los impactos en la desigualdad, los derechos y el medio ambiente”.
Este artículo fue publicado originalmente por Forbes US
