Un nuevo estudio del MIT sugiere que los modelos de IA más grandes y con mayor uso computacional pronto podrían ofrecer rendimientos decrecientes en comparación con modelos más pequeños. Al comparar las leyes de escala con las mejoras continuas en la eficiencia del modelo, los investigadores descubrieron que podría resultar más difícil obtener saltos en el rendimiento de modelos gigantes, mientras que las ganancias en eficiencia podrían hacer que los modelos que funcionan con hardware más modesto sean cada vez más capaces durante la próxima década.
«En los próximos cinco a diez años, es muy probable que las cosas empiecen a estrecharse», dice Neil Thompson, científico informático y profesor del MIT que participó en el estudio.
Saltos en eficiencia, como los observados con El modelo notablemente económico de DeepSeek en enero, ya han servido como una prueba de la realidad para la industria de la IA, que está acostumbrada a quemar cantidades masivas de computación.
Tal como están las cosas, un modelo de frontera de una empresa como OpenAI es actualmente mucho mejor que un modelo entrenado con una fracción de la computación de un laboratorio académico. Si bien la predicción del equipo del MIT podría no cumplirse si, por ejemplo, nuevos métodos de entrenamiento como el aprendizaje por refuerzo producen nuevos resultados sorprendentes, sugieren que las grandes empresas de IA tendrán menos ventaja en el futuro.
Hans Gundlach, un científico investigador del MIT que dirigió el análisis, se interesó en el tema debido a la naturaleza difícil de manejar de ejecutar modelos de vanguardia. Junto con Thompson y Jayson Lynch, otro científico investigador del MIT, trazó el desempeño futuro de los modelos de frontera en comparación con aquellos construidos con medios computacionales más modestos. Gundlach dice que la tendencia prevista es especialmente pronunciada para los modelos de razonamiento que ahora están de moda, que dependen más de cálculos adicionales durante la inferencia.
Thompson dice que los resultados muestran el valor de perfeccionar un algoritmo, así como de ampliar la computación. «Si estás gastando mucho dinero entrenando estos modelos, entonces deberías gastar una parte tratando de desarrollar algoritmos más eficientes, porque eso puede ser muy importante», añade.
El estudio es particularmente interesante dado el auge actual de la infraestructura de IA (¿o deberíamos decir “burbuja”?), que muestra pocas señales de desaceleración.
OpenAI y otras empresas tecnológicas estadounidenses han firmó acuerdos por valor de cien mil millones de dólares para construir infraestructura de IA en los Estados Unidos. «El mundo necesita mucha más computación», dijo el presidente de OpenAI, Greg Brockman, proclamado esta semana mientras anunciaba una asociación entre OpenAI y Broadcom para chips de IA personalizados.
Un número creciente de expertos cuestiona la solidez de estos acuerdos. Apenas 60 por ciento del costo de construir un centro de datos se destina a las GPU, que tienden a depreciarse rápidamente. También aparecen asociaciones entre los principales actores. circular y opaco.
