En la última década, el éxito de la IA dio lugar a un entusiasmo descontrolado y a afirmaciones audaces, aunque los usuarios experimentan con frecuencia los errores que comete la IA. Un asistente digital impulsado por IA puede malinterpretar el habla de alguien de formas embarazosas, un chatbot podría alucinar hechos o, como yo experimenté, una herramienta de navegación basada en IA incluso podría guiar a los conductores por un campo de maíz, todo ello sin registrar los errores.
La gente tolera estos errores porque la tecnología hace que ciertas tareas sean más eficientes. Sin embargo, cada vez más defensores abogan por el uso de la IA —a veces con supervisión humana limitada— en campos donde los errores tienen un alto coste, como la sanidad. Por ejemplo, un proyecto de ley presentado en la Cámara de Representantes de EU a principios de 2025 permitiría a los sistemas de IA recetar medicamentos de forma autónoma. Desde entonces, tanto los investigadores sanitarios como los legisladores han debatido si dicha prescripción sería factible o recomendable.
Cómo funcionaría exactamente esa prescripción si esta o similares se aproban, está por verse. Pero aumenta la importancia de cuántos errores pueden permitir que los desarrolladores de IA cometan sus herramientas y cuáles serían las consecuencias si esas herramientas llevaran a resultados negativos, incluso muertes de pacientes.
Como investigador que estudia sistemas complejos, investigo cómo interactúan diferentes componentes de un sistema para producir resultados impredecibles. Parte de mi trabajo se centra en explorar los límites de la ciencia – y, más concretamente, de la IA.
Durante los últimos 25 años trabajé en proyectos como la coordinación de semáforos, la mejora de burocracias y la detección de evasión fiscal. Incluso cuando estos sistemas pueden ser muy efectivos, nunca son perfectos.
Para la IA en particular, los errores pueden ser una consecuencia ineludible de cómo funcionan los sistemas. La investigación de mi laboratorio sugiere que ciertas propiedades de los datos utilizados para entrenar modelos de IA juegan un papel. Es poco probable que esto cambie, independientemente de cuánto tiempo, esfuerzo y financiación dediquen los investigadores a mejorar los modelos de IA.
Nadie – y nada, ni siquiera la IA – es perfecto
Como dijo Alan Turing, considerado el padre de la informática: “Si se espera que una máquina sea infalible, no puede ser también inteligente.” Esto se debe a que aprender es una parte esencial de la inteligencia, y la gente suele aprender de los errores. Veo esta lucha entre inteligencia e infalibilidad en mi investigación.
En un estudio publicado en julio de 2025, mis colegas y yo demostramos que organizar perfectamente ciertos conjuntos de datos en categorías claras puede ser imposible. En otras palabras, puede haber una cantidad mínima de errores que produce un conjunto de datos determinado, simplemente porque los elementos de muchas categorías se solapan. Para algunos conjuntos de datos —el núcleo de muchos sistemas de IA— la IA no funcionará mejor que el azar.
Por ejemplo, un modelo entrenado con un conjunto de datos de millones de perros que registre solo su edad, peso y altura probablemente distinguirá a los chihuahuas de los grandes danés con perfecta precisión. Pero puede cometer errores al distinguir entre un malamute de Alaska y un pinscher dóberman, ya que individuos diferentes de distintas especies pueden estar dentro de los mismos rangos de edad, peso y altura.
Esta categorización se llama clasificabilidad, y mis estudiantes y yo empezamos a estudiarla en 2021. Utilizando datos de más de medio millón de estudiantes que asistieron a la Universidad Nacional Autónoma de México entre 2008 y 2020, queríamos resolver un problema aparentemente sencillo. ¿Podríamos usar un algoritmo de IA para predecir qué estudiantes terminarían sus estudios universitarios a tiempo, es decir, en un plazo de tres, cuatro o cinco años desde que comenzaron sus estudios, dependiendo de la especialidad?
Probamos varios algoritmos populares que se utilizan para la clasificación en IA y también desarrollamos el nuestro propio. Ningún algoritmo era perfecto; Los mejores —incluso uno que desarrollamos específicamente para esta tarea— alcanzaron una precisión de aproximadamente el 80%, lo que significa que al menos 1 de cada 5 estudiantes fue mal clasificado. Nos dimos cuenta de que muchos estudiantes eran idénticos en cuanto a notas, edad, género, estatus socioeconómico y otras características, aunque algunos terminaban a tiempo y otros no. En estas circunstancias, ningún algoritmo podría hacer predicciones perfectas.
Podrías pensar que más datos mejorarían la previsibilidad, pero esto suele traer rendimientos decrecientes. Esto significa que, por ejemplo, por cada aumento de precisión del 1%, podrías necesitar 100 veces más datos. Por tanto, nunca tendríamos suficientes estudiantes para mejorar significativamente el rendimiento de nuestro modelo.
Además, muchos giros impredecibles en la vida de los estudiantes y sus familias —desempleo, muerte, embarazo— pueden ocurrir tras su primer año de universidad, lo que probablemente afecta a si terminan a tiempo. Así que, incluso con un número infinito de estudiantes, nuestras predicciones seguirían dando errores.
Te puede interesar: Demandan a OpenAI por presuntamente alentar a un hombre a asesinar y suicidarse
Los límites de la predicción
En términos más generales, lo que limita la predicción es la complejidad. La palabra complejidad proviene del latín plexus, que significa entrelazados. Los componentes que conforman un sistema complejo están entrelazados, y son las interacciones entre ellos las que determinan qué les ocurre y cómo se comportan.
Por tanto, estudiar elementos del sistema de forma aislada probablemente proporcionaría ideas engañosas sobre ellos, así como sobre el sistema en su conjunto.
Por ejemplo, un coche que viaja por una ciudad. Sabiendo la velocidad a la que se desplaza, teóricamente es posible predecir dónde acabará en un momento determinado. Pero en el tráfico real, su velocidad dependerá de la interacción con otros vehículos en la carretera. Dado que los detalles de estas interacciones surgen en el momento y no pueden conocerse de antemano, predecir con precisión qué ocurre con el coche es posible solo unos minutos después.
No con mi salud
Estos mismos principios se aplican a la prescripción de medicamentos. Diferentes condiciones y enfermedades pueden tener los mismos síntomas, y las personas con la misma condición o enfermedad pueden presentar síntomas distintos. Por ejemplo, la fiebre puede ser causada por una enfermedad respiratoria o digestiva. Y un resfriado puede causar tos, pero no siempre.
Esto significa que los conjuntos de datos sanitarios tienen solapamientos significativos que impedirían que la IA esté libre de errores.
Ciertamente, los humanos también cometemos errores. Pero cuando la IA diagnostica mal a un paciente, como seguramente ocurrirá, la situación cae en un limbo legal. No está claro quién o qué sería responsable si un paciente resultara herido. ¿Compañías farmacéuticas? ¿Desarrolladores de software? ¿Agencias de seguros? ¿Farmacias?
En muchos contextos, ni los humanos ni las máquinas son la mejor opción para una tarea determinada. “Centauros”, o “inteligencia híbrida” —es decir, una combinación de humanos y máquinas— tienden a ser mejores que cada uno por separado. Un médico podría usar la IA para decidir posibles fármacos para diferentes pacientes, dependiendo de su historial médico, detalles fisiológicos y composición genética. Los investigadores ya están explorando este enfoque en la medicina de precisión.
Pero el sentido común y el principio de precaución sugieren que es demasiado pronto para que la IA prescriba medicamentos sin supervisión humana. Y el hecho de que los errores puedan estar integrados en la tecnología podría significar que, donde está en juego la salud humana, la supervisión humana siempre será necesaria.
*Carlos Gershenson es profesor de Innovación en la Universidad de Binghamton.
Este artículo fue publicado originalmente en The Conversation
