Un estudio a ciegas dirigido por el profesor de la Facultad de Derecho de Stanford, Julian Nyarko, y publicado el lunes, concluyó que las respuestas generadas por inteligencia artificial superaron a las redactadas por profesores de derecho en el 75% de casi 3,000 comparaciones directas, un resultado que los propios autores calificaron como sorprendente.
Datos clave
Cuando se entregó a profesores de derecho un conjunto de respuestas anónimas a preguntas de estudiantes sobre derecho contractual y se les pidió elegir la mejor, optaron por la respuesta generada por IA en tres de cada cuatro ocasiones.
No te pierdas: Nvidia dice puede satisfacer el fuerte crecimiento de la IA a pesar de las limitaciones
En 16 facultades de derecho, los profesores evaluaron casi 3,000 comparaciones anónimas sin saber si una respuesta determinada había sido elaborada por una máquina o por un colega.
Los profesores calificaron las respuestas de IA como pedagógicamente engañosas o perjudiciales solo en el 3.5% de los casos, frente al 12% de las respuestas escritas por otros profesores. Esto significa que las respuestas humanas tenían más de tres veces más probabilidades de ser consideradas potencialmente perjudiciales para la comprensión del estudiante.
Nyarko, quien dirige el Laboratorio de Innovación Jurídica mediante Tecnología de Frontera de Stanford, afirmó que el grupo “no está defendiendo una adopción masiva de tutores de IA”, pero añadió que “nuestros datos sugieren que el escepticismo generalizado puede ser igualmente injustificado”.
¿Por qué se evaluó el derecho contractual?
El derecho contractual fue elegido precisamente porque no se presta a respuestas únicas y definitivas. Las 40 preguntas utilizadas en el estudio —del tipo que un estudiante podría plantear después de clase o durante horas de consulta— exigían sintetizar argumentos contrapuestos y llegar a una conclusión defendible, en lugar de limitarse a recordar información. Esto permitió evaluar si un modelo podía razonar en situaciones donde no existe una única respuesta correcta.
Contexto clave
El estudio fue elaborado por Nyarko junto con el investigador de liftlab Alejandro Salinas, autor principal del trabajo, además de colegas de Yale, la Universidad de Nueva York, la Universidad de Chicago y otras instituciones.
Los participantes redactaron sus propias respuestas antes de evaluar las de otros. Las evaluaciones se realizaron de forma ciega mediante múltiples métodos de puntuación, y las respuestas generadas por IA fueron ajustadas para igualar la longitud y la estructura de las respuestas humanas.
El equipo probó diversos sistemas, incluidos tutores comerciales de inteligencia artificial y NotebookLM de Google, y encontró diferencias de rendimiento entre ellos. Incluso cuando los modelos operaban con un contexto limitado, los evaluadores seguían prefiriéndolos con frecuencia frente a las respuestas de sus colegas humanos.
Los hallazgos llegan en medio de un debate aún sin resolver dentro de la educación jurídica. Mientras algunas facultades avanzan rápidamente en la integración de la inteligencia artificial, otras advierten sobre los riesgos de las alucinaciones de los modelos, la dependencia excesiva de los estudiantes y la posible erosión gradual de las habilidades de pensamiento crítico que la formación jurídica busca desarrollar.
También lee: Cisco lanza herramientas para proteger los sistemas de TI con agentes de IA
Qué hay que observar
Los autores subrayan que la calidad de las respuestas y la forma en que se implementa la tecnología son cuestiones distintas, y que el estudio solo abordó la primera.
Nyarko afirmó que el debate debería pasar ahora de preguntarse si la inteligencia artificial puede producir respuestas jurídicas precisas y de alta calidad a analizar cómo puede beneficiar mejor a los estudiantes.
Este artículo se publicó originalmente en Forbes US
Sigue la información de la tecnología en nuestra sección especializada
