Sam Altman, director ejecutivo de OpenAI —quizás la cara más prominente del auge de la inteligencia artificial (IA), que se aceleró con el lanzamiento de ChatGPT en 2022—, adora las leyes de escala.
Estas reglas generales, ampliamente admiradas, que vinculan el tamaño de un modelo de IA con sus capacidades, son la base de la vertiginosa carrera de la industria de la IA por adquirir potentes chips informáticos, construir centros de datos inimaginablemente grandes y reabrir centrales nucleares clausuradas.
Como argumentó Altman en una entrada de blog a principios de este año, la idea es que la “inteligencia” de un modelo de IA “es aproximadamente igual al logaritmo de los recursos utilizados para entrenarlo y ejecutarlo”, lo que significa que se puede obtener un mejor rendimiento de forma constante aumentando exponencialmente la escala de datos y la potencia de cálculo implicada.
Observadas por primera vez en 2020 y perfeccionadas en 2022, las leyes de escala para modelos de lenguaje grandes (LLM) se basan en el dibujo de líneas en gráficos de datos experimentales. Para los ingenieros, ofrecen una fórmula sencilla que indica el tamaño del próximo modelo y el aumento de rendimiento esperado. ¿Seguirán escalando las leyes de escalado a medida que los modelos de IA se hacen cada vez más grandes? Las empresas de IA apuestan cientos de miles de millones de dólares a que así será, pero la historia sugiere que no siempre es tan sencillo.
Las leyes de escalado no son solo para la IA
Las leyes de escalado pueden ser maravillosas. La aerodinámica moderna se basa en ellas, por ejemplo.
Utilizando un elegante ejemplo matemático llamado el teorema π de Buckingham, los ingenieros descubrieron cómo comparar pequeños modelos en túneles de viento o cuencas de prueba con aviones y barcos a escala real, asegurándose de que algunos números clave coincidieran.
Estas ideas de escalado informan el diseño de casi todo lo que vuela o flota, así como de ventiladores y bombas industriales.
Otra famosa idea de escalado sustentó las décadas de auge de la revolución de los chips de silicio. La ley de Moore —la idea de que el número de diminutos interruptores llamados transistores en un microchip se duplicaría aproximadamente cada dos años— ayudó a los diseñadores a crear la pequeña y potente tecnología informática que tenemos hoy.
Pero hay una trampa: no todas las “leyes de escala” son leyes de la naturaleza. Algunas son puramente matemáticas y pueden mantenerse indefinidamente. Otras son simplemente líneas ajustadas a datos que funcionan a la perfección hasta que uno se aleja demasiado de las circunstancias en las que fueron medidas o diseñadas.
Te recomendamos: Psicosis inducida por IA: el peligro de que humanos y máquinas alucinen juntos
Cuando las leyes de escala fallan
La historia está llena de dolorosos recordatorios de leyes de escala que fallaron. Un ejemplo clásico es el colapso del puente Tacoma Narrows en 1940.
El puente se diseñó ampliando lo que había funcionado para puentes más pequeños a uno más largo y delgado. Los ingenieros asumieron que los mismos argumentos de escala serían válidos: si cierta relación entre rigidez y longitud del puente funcionaba antes, debería funcionar de nuevo.
En cambio, los vientos moderados desencadenaron una inestabilidad inesperada llamada vibración aeroelástica. El tablero del puente se desgarró, colapsando tan solo cuatro meses después de su apertura.
De igual manera, incluso las “leyes” de la fabricación de microchips tenían fecha de caducidad. Durante décadas, la ley de Moore (el número de transistores se duplica cada dos años) y el escalado de Dennard (un mayor número de transistores más pequeños funcionando a mayor velocidad con el mismo consumo de energía) fueron guías sorprendentemente fiables para el diseño de chips y las hojas de ruta de la industria.
Sin embargo, a medida que los transistores se hicieron lo suficientemente pequeños como para medirse en nanómetros, estas sencillas reglas de escalado comenzaron a chocar con límites físicos estrictos.
Cuando las puertas de los transistores se redujeron a tan solo unos pocos átomos de espesor, comenzaron a perder corriente y a comportarse de forma impredecible. Los voltajes de funcionamiento ya no podían reducirse, ya que se perdían en el ruido de fondo.
Con el tiempo, la reducción dejó de ser la solución. Los chips se han vuelto más potentes, pero ahora mediante nuevos diseños en lugar de simplemente reducir su escala.
¿Leyes de la naturaleza o reglas generales?
Las curvas de escalado de modelos de lenguaje que Altman celebra son reales y, hasta ahora, fueron extraordinariamente útiles.
Indicaron a los investigadores que los modelos seguirían mejorando si se les proporcionaban suficientes datos y potencia de cálculo. También demostraron que los sistemas anteriores no estaban fundamentalmente limitados, sino que simplemente no se les habían asignado suficientes recursos.
Pero, sin duda, estas son curvas que se han ajustado a los datos. Se parecen menos a las leyes matemáticas de escalado derivadas utilizadas en aerodinámica y más a las útiles reglas generales utilizadas en el diseño de microchips, lo que significa que probablemente no funcionarán eternamente.
Las reglas de escalado de modelos de lenguaje no necesariamente reflejan problemas del mundo real, como las limitaciones en la disponibilidad de datos de alta calidad para el entrenamiento o la dificultad de lograr que la IA se ocupe de tareas novedosas, por no hablar de las restricciones de seguridad o las dificultades económicas de construir centros de datos y redes eléctricas. No existe ninguna ley de la naturaleza ni teorema que garantice que la inteligencia escale eternamente.
Te interesa: La IA proporciona apoyo emocional a los empleados, pero ¿es una herramienta valiosa o una amenaza para la privacidad?
Invirtiendo en las curvas
Hasta ahora, las curvas de escalamiento de la IA parecen bastante fluidas, pero las curvas financieras son otra historia.
Deutsche Bank advirtió recientemente sobre un “déficit de financiación” en IA, basándose en estimaciones de Bain Capital que indican un desajuste de 800 000 millones de dólares entre los ingresos proyectados por IA y la inversión en chips, centros de datos y energía necesaria para mantener el crecimiento actual.
JP Morgan, por su parte, ha estimado que el sector de la IA en general podría necesitar alrededor de 650 000 millones de dólares en ingresos anuales tan solo para obtener una modesta rentabilidad del 10 % en el desarrollo previsto de infraestructura de IA.
Aún estamos descubriendo qué tipo de ley rige las LLM fronterizas. Es posible que la realidad siga influyendo en las normas de escalamiento actuales, o que nuevos cuellos de botella (datos, energía, disposición a pagar de los usuarios) puedan inclinar la curva.
Altman apuesta a que las leyes de escalamiento de las LLM se mantendrán. De ser así, podría merecer la pena desarrollar enormes cantidades de potencia informática, ya que las ganancias son predecibles. Por otra parte, la creciente inquietud de los bancos es un recordatorio de que algunas historias de escalamiento pueden resultar como Tacoma Narrows: hermosas curvas en un contexto, que esconden una desagradable sorpresa en el siguiente.
*Nathan Garland es profesor de Matemáticas Aplicadas y Física en la Universidad Griffith.
