Una nueva herramienta de detección de IA de Meta, que la empresa presentó esta semana junto con el lanzamiento de su modelo de generación de imágenes Muse Image, no logró identificar algunas de sus propias imágenes generadas por IA una vez recortadas, según un análisis de Reuters.
Este hallazgo pone de relieve las dificultades que plantea la verificación de imágenes generadas por IA tras sufrir modificaciones, una limitación que podría dificultar la identificación de “deepfakes” durante un año en el que se celebran las elecciones de medio mandato en Estados Unidos.
En un análisis de 40 imágenes generadas con Muse Image, Reuters descubrió que la herramienta de detección verificó todas las imágenes originales generadas por IA, pero no logró verificar el 55% de las mismas imágenes después de que se recortaron a aproximadamente un tercio o la mitad de su tamaño original.
En su sitio web, Meta afirma que la herramienta de detección de vista previa puede identificar sus propias imágenes generadas por IA, incluso si están recortadas, mediante un sistema de marca de agua invisible llamado Content Seal, que está integrado en cada imagen generada por Muse Image y está diseñado para ayudar a los usuarios a verificar si fue creada por los modelos de IA de Meta.
Al ser consultada sobre los resultados del análisis de Reuters de la herramienta de detección, Meta señaló que se trataba de una versión preliminar.
La compañía afirmó que la marca de agua está diseñada para permanecer intacta tras ediciones comunes, pero que la señal podría perderse si la imagen se recorta considerablemente.
Las empresas tecnológicas rivales Google y OpenAI han advertido que sus herramientas de detección no son infalibles contra las técnicas de alteración de imágenes.
En marzo, el Consejo de Supervisión de Meta, un grupo de expertos que toma decisiones vinculantes y emite recomendaciones sobre cuestiones de contenido en las plataformas de redes sociales de la empresa, pidió a la empresa hacer más para abordar la “proliferación de contenido engañoso generado por IA” en sus plataformas e invertir en herramientas de detección más potentes.
Siwei Lyu, profesor de informática en la Universidad Estatal de Nueva York en Buffalo, que investiga la informática forense de imágenes mediante IA, dijo que no había evaluado la herramienta de Meta, pero que los sistemas basados en marcas de agua tienen limitaciones.
“Los métodos basados en marcas de agua pueden ser muy eficaces cuando la marca de agua permanece intacta, pero cualquier modificación que elimine o debilite la señal incrustada —como recortar, redimensionar, comprimir intensamente o editar— puede reducir su eficacia, dependiendo de cómo esté diseñada la marca de agua”, dijo Lyu.
Sarah Barrington, investigadora de IA y candidata a doctorado en la Escuela de Información de la UC Berkeley, afirmó que la marca de agua es prometedora para el futuro del contenido generado por IA, pero que su alcance es limitado.
“Al igual que muchas medidas preventivas de ciberseguridad o seguridad física, puede que no sea totalmente infalible, pero incluso si solo detectamos el 90% de los casos, eso sigue siendo un gran avance con respecto a cero”, dijo.
Con información de Reuters
Lee: Instagram se enfrenta a críticas por Muse Image
¿Te gusta informarte por Google News? Sigue nuestro Showcase para tener las mejores historias
