Desde el lanzamiento de ChatGPT a finales de 2022, millones de personas empezaron a utilizar grandes modelos de lenguaje para acceder al conocimiento. Y es fácil entender su atractivo: haz una pregunta, obtén una síntesis pulida y sigue adelante: parece un aprendizaje sin esfuerzo.
Sin embargo, un nuevo artículo que coautor aporta pruebas experimentales de que esta facilidad puede tener un coste: cuando las personas dependen de grandes modelos de lenguaje para resumir la información sobre un tema, tienden a desarrollar un conocimiento más superficial sobre él en comparación con el aprendizaje a través de una búsqueda estándar en Google.
El coautor Jin Ho Yun y yo, ambos profesores de marketing, informamos de este hallazgo en un artículo basado en siete estudios con más de 10,000 participantes. La mayoría de los estudios usaron el mismo paradigma básico: se pidió a los participantes que aprendieran sobre un tema —como cómo cultivar un huerto— y se les asignó aleatoriamente hacerlo usando un LLM como ChatGPT o la “antigua”, navegando por enlaces mediante una búsqueda estándar en Google.
No se impusieron restricciones sobre el uso de las herramientas; podían buscar en Google todo el tiempo que quisieran y seguir solicitando ChatGPT si querían más información. Una vez terminada su investigación, se les pidió que escribieran consejos a un amigo sobre el tema basados en lo que habían aprendido.
Los datos revelaron un patrón consistente: las personas que aprendieron sobre un tema a través de un LLM frente a una búsqueda web sentían que aprendían menos, invertían menos esfuerzo en escribir posteriormente sus consejos y, en última instancia, escribían consejos más breves, menos fácticos y más genéricos. A su vez, cuando este consejo se presentó a una muestra independiente de lectores, que no sabían qué herramienta se había utilizado para aprender sobre el tema, encontraron que el consejo era menos informativo, menos útil y era menos probable que lo adoptaran.
Encontramos que estas diferencias son robustas en una variedad de contextos. Por ejemplo, una posible razón por la que los usuarios de LLM escribieron consejos más breves y genéricos es simplemente que los resultados de LLM expusieron a los usuarios a información menos ecléctica que los resultados de Google. Para controlar esta posibilidad, realizamos un experimento en el que los participantes estuvieron expuestos a un conjunto idéntico de hechos en los resultados de sus búsquedas en Google y ChatGPT. Asimismo, en otro experimento mantuvimos constante la plataforma de búsqueda – Google – y variamos si los participantes aprendían a partir de los resultados estándar de Google o de la función de Resumen de IA de Google.
Los hallazgos confirmaron que, incluso manteniendo los hechos y la plataforma constantes, aprender a partir de respuestas LLM sintetizadas conducía a un conocimiento más superficial en comparación con recopilar, interpretar y sintetizar información por uno mismo a través de enlaces web estándar.
Te puede interesar: Google planea invertir 40,000 mdd en centros de datos en Texas en medio del auge de la IA
Por qué es importante
¿Por qué el uso de los LLMs parecía disminuir el aprendizaje? Uno de los principios más fundamentales del desarrollo de habilidades es que las personas aprenden mejor cuando están activamente implicadas con el material que intentan aprender.
Cuando aprendemos sobre un tema a través de la búsqueda en Google, nos enfrentamos a mucha más “fricción”: debemos navegar por diferentes enlaces web, leer fuentes informativas e interpretarlas y sintetizarlas nosotros mismos.
Aunque es más desafiante, esta fricción conduce al desarrollo de una representación mental más profunda y original del tema en cuestión. Pero con los LLM, todo este proceso se realiza en nombre del usuario, transformando el aprendizaje de un proceso más activo a uno pasivo.
¿Qué sigue?
Para ser claros, no creemos que la solución a estos problemas sea evitar el uso de LLMs, especialmente dado el beneficio innegable que ofrecen en muchos contextos. Más bien, nuestro mensaje es que las personas simplemente necesitan convertirse en usuarios más inteligentes o estratégicos de los LLMs, lo que comienza por entender los ámbitos en los que los LLMs son beneficiosos y en los que perjudican sus objetivos.
¿Necesitas una respuesta rápida y factual a una pregunta? Siéntete libre de usar tu copiloto IA favorito. Pero si tu objetivo es desarrollar un conocimiento profundo y generalizable en un área, confiar solo en síntesis de LLM será menos útil.
Como parte de mi investigación sobre la psicología de las nuevas tecnologías y los nuevos medios, también me interesa saber si es posible hacer que el aprendizaje en LLM sea un proceso más activo. En otro experimento probamos esto haciendo que los participantes interactuaran con un modelo GPT especializado que ofrecía enlaces web en tiempo real junto con sus respuestas sintetizadas. Sin embargo, allí descubrimos que, una vez que los participantes recibían un resumen de LLM, no estaban motivados para profundizar en las fuentes originales. El resultado fue que los participantes desarrollaron un conocimiento más superficial en comparación con quienes usaron Google estándar.
A partir de esto, en mi futura investigación planeo estudiar herramientas de IA generativa que impongan fricciones saludables para las tareas de aprendizaje, concretamente, examinar qué tipos de barreras o obstáculos motivan con mayor éxito a los usuarios a aprender activamente más allá de respuestas fáciles y sintetizadas. Estas herramientas parecerían especialmente críticas en la educación secundaria, donde un gran desafío para los educadores es cómo equipar mejor a los estudiantes para desarrollar habilidades fundamentales de lectura, escritura y matemáticas, mientras se preparan para un mundo real donde los LLM probablemente serán una parte integral de su vida diaria.
*Shiri Melumad es profesora asociada de Marketing de la Universidad de Pensilvania.
Este artículo fue publicado originalmente en The Conversation
