Las innovaciones tecnológicas pueden parecer implacables. En informática, algunos afirman que “un año en aprendizaje automático equivale a un siglo en cualquier otro campo”. Pero, ¿cómo saber si estos avances son pura publicidad o realidad?
Los fracasos se multiplican rápidamente cuando hay una avalancha de nuevas tecnologías, especialmente cuando estos desarrollos no se probaron adecuadamente ni se comprenden del todo. Incluso las innovaciones tecnológicas de laboratorios y organizaciones de confianza a veces resultan en fracasos estrepitosos.
Pensemos en IBM Watson, un programa de IA que la compañía aclamó como una herramienta revolucionaria para el tratamiento del cáncer en 2011. Sin embargo, en lugar de evaluar la herramienta basándose en los resultados de los pacientes, IBM utilizó medidas menos relevantes, posiblemente incluso irrelevantes, como las valoraciones de expertos en lugar de los resultados de los pacientes. Como resultado, IBM Watson no solo no ofreció a los médicos recomendaciones de tratamiento fiables e innovadoras, sino que también sugirió algunas perjudiciales.
Cuando se lanzó ChatGPT en noviembre de 2022, el interés por la IA se expandió rápidamente en la industria y la ciencia, junto con afirmaciones cada vez más exageradas sobre su eficacia. Pero dado que la gran mayoría de las empresas ven fracasar sus intentos de incorporar IA generativa, surgen preguntas sobre si la tecnología cumple con lo prometido por sus desarrolladores.
En un mundo de rápidos cambios tecnológicos, se plantea una pregunta apremiante: ¿Cómo podemos determinar si una nueva maravilla tecnológica funciona realmente y es segura?
Tomando prestado el lenguaje científico, esta pregunta se centra en la validez, es decir, en la solidez, la fiabilidad y la constancia de una afirmación. La validez es el veredicto final sobre si una afirmación científica refleja con precisión la realidad. Podemos pensar en ella como un control de calidad para la ciencia: ayuda a los investigadores a saber si un medicamento realmente cura una enfermedad, si una aplicación de seguimiento de la salud mejora realmente la condición física o si un modelo de un agujero negro describe con precisión su comportamiento en el espacio.
La forma de evaluar la validez de las nuevas tecnologías e innovaciones no ha estado clara, en parte porque la ciencia se centró principalmente en validar afirmaciones sobre el mundo natural.
En nuestro trabajo como investigadores que estudian cómo evaluar la ciencia en diversas disciplinas, desarrollamos un marco para evaluar la validez de cualquier diseño, ya sea una nueva tecnología o una política. Creemos que establecer estándares claros y consistentes de validez y aprender a evaluarla puede empoderar a las personas para tomar decisiones informadas sobre la tecnología y determinar si una nueva tecnología realmente cumplirá su promesa.
Te interesa: México será sede de foro para la cooperación en ciencia, tecnología e innovación
La validez es la base del conocimiento
Históricamente, la validez se centraba principalmente en asegurar la precisión de las mediciones científicas, como la exactitud de la medición de la temperatura por un termómetro o la precisión de la evaluación de la ansiedad por una prueba psicológica. Con el tiempo, se hizo evidente que existen diversos tipos de validez.
Los diferentes campos científicos tienen sus propias maneras de evaluar la validez. Los ingenieros prueban los nuevos diseños según las normas de seguridad y rendimiento. Los investigadores médicos utilizan experimentos controlados para verificar que los tratamientos sean más efectivos que las opciones existentes.
Los investigadores de distintas disciplinas utilizan diferentes tipos de validez, dependiendo del tipo de afirmación que realizan.
La validez interna se pregunta si la relación entre dos variables es realmente causal. Un investigador médico, por ejemplo, podría realizar un ensayo controlado aleatorizado para asegurarse de que un nuevo fármaco fue el responsable de la recuperación de los pacientes y no de algún otro factor, como el efecto placebo.
La validez externa se refiere a la generalización: si los resultados se mantendrían fuera del laboratorio o en una población más amplia o diferente. Un ejemplo de baja validez externa es que muchos estudios iniciales que funcionan en ratones no siempre se traducen a los humanos.
La validez de constructo, por otro lado, se centra en el significado. Psicólogos y científicos sociales la utilizan para determinar si una prueba o encuesta realmente refleja la idea que pretende medir. ¿Refleja una escala de perseverancia la verdadera perseverancia o solo la terquedad?
Finalmente, la validez ecológica indaga si algo funciona en el mundo real, y no solo en condiciones de laboratorio ideales. Un modelo de comportamiento o un sistema de IA puede funcionar de maravilla en una simulación, pero fallar cuando entran en juego el comportamiento humano, los datos con ruido o la complejidad institucional.
En todos estos tipos de validez, el objetivo es el mismo: garantizar que las herramientas científicas —desde experimentos de laboratorio hasta algoritmos— se correspondan fielmente con la realidad que pretenden explicar.
Te recomendamos: Auge de la IA impulsa billonarias valoraciones tecnológicas y apuestas récord en fabricantes de chips
Evaluación de afirmaciones tecnológicas
Desarrollamos un método para ayudar a investigadores de diversas disciplinas a evaluar con claridad la fiabilidad y la eficacia de sus invenciones y teorías. El marco de validez de la ciencia del diseño identifica tres tipos críticos de afirmaciones que los investigadores suelen hacer sobre la utilidad de una tecnología, innovación, teoría, modelo o método.
En primer lugar, una afirmación de criterio sostiene que un descubrimiento ofrece resultados beneficiosos, generalmente superando los estándares actuales. Estas afirmaciones justifican la utilidad de la tecnología al mostrar claras ventajas sobre las alternativas existentes.
Por ejemplo, los desarrolladores de modelos de IA generativa como ChatGPT pueden observar una mayor interacción tecnológica cuanto más halague y esté de acuerdo con el usuario. En consecuencia, pueden programar la tecnología para que sea más complaciente —una característica denominada adulación— con el fin de aumentar la retención de usuarios. Los modelos de IA cumplen con la afirmación de criterio de que los usuarios los consideran más halagadores que hablar con personas. Sin embargo, esto contribuye poco a mejorar la eficacia de la tecnología en tareas como ayudar a resolver problemas de salud mental o problemas de pareja.
En segundo lugar, una afirmación causal aborda cómo componentes o características específicas de una tecnología contribuyen directamente a su éxito o fracaso. En otras palabras, se trata de una afirmación que demuestra que los investigadores saben qué hace que una tecnología sea efectiva y por qué funciona exactamente.
Al analizar los modelos de IA y la adulación excesiva, los investigadores descubrieron que interactuar con modelos más aduladores reducía la disposición de los usuarios a resolver conflictos interpersonales y aumentaba su convicción de tener razón. La afirmación causal aquí es que la característica de adulación de la IA reduce el deseo del usuario de resolver conflictos.
En tercer lugar, una afirmación contextual especifica dónde y bajo qué condiciones se espera que una tecnología funcione eficazmente. Estas afirmaciones exploran si los beneficios de una tecnología o sistema se generalizan más allá del laboratorio y pueden llegar a otras poblaciones y entornos.
En el mismo estudio, los investigadores examinaron cómo la adulación excesiva afectaba las acciones de los usuarios en otros conjuntos de datos, incluida la comunidad “¿Soy el imbécil?” en Reddit. Descubrieron que los modelos de IA afirmaban más las decisiones de los usuarios que las personas, incluso cuando el usuario describía un comportamiento manipulador o dañino. Esto respalda la afirmación contextual de que el comportamiento adulador de un modelo de IA se aplica a diferentes contextos conversacionales y poblaciones.
La validez como consumidor
Comprender la validez de las innovaciones científicas y tecnológicas de consumo es fundamental tanto para los científicos como para el público en general. Para los científicos, es una guía para garantizar que sus invenciones sean evaluadas rigurosamente. Y para el público, significa saber que las herramientas y los sistemas de los que dependen —como aplicaciones de salud, medicamentos y plataformas financieras— son realmente seguros, eficaces y beneficiosos.
Aquí te mostramos cómo puedes usar la validez para comprender las innovaciones científicas y tecnológicas que te rodean.
Dado que es difícil comparar todas las características de dos tecnologías entre sí, céntrate en las características que más valoras de una tecnología o modelo. Por ejemplo, ¿prefieres que un chatbot sea preciso o que proteja mejor la privacidad? Examina las afirmaciones que se hacen sobre él en ese aspecto y comprueba que sea tan bueno como se afirma.
Considera no solo los tipos de afirmaciones que se hacen sobre una tecnología, sino también las que no se hacen. Por ejemplo, ¿aborda una empresa de chatbots el sesgo en su modelo? Es la clave para saber si se trata de una exageración sin fundamento y potencialmente peligrosa o de un avance genuino.
Al comprender la validez, las organizaciones y los consumidores pueden ir más allá de la exageración y llegar a la verdad detrás de las últimas tecnologías.
*Kai R. Larsen es profesor de Sistemas de Información en la Universidad de Colorado Boulder; Roman Lukyanenko es profesor Asociado de Comercio en la Universidad de Virginia y Thomas H. Davenport es profesor de Tecnologías de la Información y Gestión en Babson College
Este texto fue publicado originalmente en The Conversation
¿Te gusta informarte por Google News? Sigue nuestro Showcase para tener las mejores historias
