Uno de los científicos de IA más importantes de las Big Tech quiere descartar el enfoque actual para construir IA a nivel humano. Lo que necesitamos, ha indicado Yann LeCun, no son grandes modelos lingüísticos, sino “modelos mundiales”.
Se espera que LeCun, científico jefe de IA de “investigación fundamental de IA” en Meta, renuncie pronto a Meta. de acuerdo a múltiple informes de medios creíbles. LeCun es un anciano estadista de 65 años en el mundo de la ciencia de la IA y ha tenido recursos aparentemente ilimitados a su disposición trabajando como el gran cerebro de la IA en una de las empresas tecnológicas más grandes del mundo.
¿Por qué deja una empresa que ha estado gastando generosamente? cazando furtivamente a los expertos en IA más cualificados de otras empresas y, según un informe de julio publicación de blog por el CEO Mark Zuckerburg, dando saltos tan sorprendentes internamente que supuestamente el desarrollo de la “superinteligencia ahora está a la vista”?
De hecho, ha estado insinuando la respuesta durante mucho tiempo. Cuando se trata de inteligencia a nivel humano, LeCun se ha vuelto famoso últimamente por decir que los LLM tal como los entendemos actualmente son un fracaso y que ya no vale la pena seguirlos, sin importar cuánto los amplíen las grandes tecnologías. el dijo en abril del año pasado que «un LLM es básicamente una rampa de salida, una distracción, un callejón sin salida». (El archicrítico de la IA, Gary Marcus, ha arrancado en LeCun por defender “beligerantemente” los LLM de las propias críticas de Marcus y luego cambiar de opinión).
Un diario de Wall Street análisis de la carrera de LeCun publicado el viernes apunta a algunas otras posibilidades sobre los motivos de su salida a la luz de esta creencia. El verano pasado, un joven de 28 años llamado Alexandr Wang, cocreador de ChatGPT, una sensación basada en LLM, se convirtió en el jefe de IA en Meta, convirtiendo a un fanático de LLM en el jefe de LeCun. Y Meta contrató a otro científico jefe relativamente joven para trabajar por encima de LeCun este año, Shengjia Zhao. El anuncio de Meta sobre el nuevo rol de Zhao revendedores un “gran avance” que aparentemente logró. LeCun dice que ha perdido la fe en escalar.
Si te preguntas cómo LeCun puede ser un científico jefe si Zhao también lo es, es porque la operación de IA de Meta parece que tiene una organigrama excéntrico, dividir en múltiples, grupos separados. Cientos de personas estaban despedido el mes pasadoaparentemente en un esfuerzo por arreglar todo esto.
El Financial Times' informe sobre LeCun de principios de esta semana sugiere que LeCun ahora fundará una startup centrada en «modelos mundiales».
Una vez más, LeCun no ha tenido reparos en explicar por qué cree que los modelos mundiales tienen las respuestas que la IA necesita. Él dio un discurso detallado sobre esto en la Cumbre de Acción de IA celebrada en París en febrero, pero quedó un poco eclipsado por el representante de Estados Unidos, el vicepresidente JD Vancedando un discurso belicoso sobre cómo sería mejor que todos se apartaran del camino de Estados Unidos en materia de IA.
¿Por qué a Yann LeCun le fascinan los modelos mundiales?
Como se explicó en su discurso, LeCun, que trabajó en las gafas inteligentes Meta AI, pero no en gran medida en Meta's Llama LLM—cree firmemente en los wearables.
Es sorprendente cómo las gafas Ray-Ban Meta pueden ayudar a las personas con discapacidad visual. https://t.co/w3ZxCFtTlE
—Yann LeCun (@ylectun) 30 de septiembre de 2024
Necesitaremos interactuar con futuros dispositivos portátiles como si fueran personas, piensa, y los LLM simplemente no entienden el mundo como lo hace la gente. Con los LLM, dice, «ni siquiera podemos reproducir la inteligencia de los gatos o las ratas, y mucho menos la de los perros. Pueden realizar hazañas asombrosas. Entienden el mundo físico. Cualquier gato doméstico puede planificar acciones muy complejas. Y tienen modelos causales del mundo».
LeCun proporciona un experimento mental para ilustrar lo que él cree que podría generar, por así decirlo, un modelo mundial, y es algo que cree que cualquier ser humano puede hacer fácilmente y que un LLM simplemente no puede:
«Si te digo 'imagina un cubo flotando en el aire frente a ti. Bien, ahora gira este cubo 90 grados alrededor de un eje vertical. ¿Cómo se ve?' Es muy fácil para ti tener este modelo mental de un cubo girando”.
Con muy poco esfuerzo, un LLM puede escribir una quintilla sucia sobre un cubo giratorio y flotante, claro, pero en realidad no puede ayudarte a interactuar con uno. LeCun afirma que esto se debe a una diferencia entre los datos de texto y los datos derivados del procesamiento de muchas partes del mundo que no son texto. Si bien los LLM están entrenados en una cantidad de texto que tardaría 450.000 años en leer, dice LeCun, un niño de cuatro años que ha estado despierto durante 16.000 horas ha procesado, con sus ojos o tocando, 1,4 x 10^14 bytes de datos sensoriales sobre el mundo, lo que, según él, es más que un LLM.
Éstas, por cierto, son sólo las estimaciones que LeCun da en su discurso, y cabe señalar que él ha dado a otros. Sin embargo, la abstracción a la que apuntan las cifras es que los LLM están limitados de una manera que LeCun cree que no lo estarían los modelos mundiales.
¿Qué modelo quiere construir LeCun y cómo lo hará?
LeCun ya comenzó a trabajar en modelos mundiales en Meta—Incluyendo la realización de un vídeo introductorio que te implora que imagines un cubo giratorio.
El modelo de los sueños de LeCun, tal como se describe en su discurso en la Cumbre de Acción de IA, contiene una «estimación del estado del mundo» actual, en forma de una especie de representación abstracta de, bueno, todoo al menos todo lo que es relevante en el contexto actual, y en lugar de una predicción secuencial y tokenizada, «predice el estado resultante del mundo que ocurrirá después de que usted tome esa secuencia de acciones».
Los modelos mundiales permitirán a los futuros científicos informáticos construir, afirma, “sistemas que puedan planificar acciones (posiblemente jerárquicamente) para cumplir un objetivo, y sistemas que puedan razonar”. LeCun también insiste en que dichos sistemas tendrán características de seguridad más sólidas, porque las formas en que los controlamos estarán integradas en ellos, en lugar de ser misteriosas cajas negras que escupen texto y que deben perfeccionarse mediante ajustes finos.
En lo que LeCun considera IA clásica, como el software utilizado en un motor de búsqueda, todos los problemas se pueden reducir a la optimización. Su modelo mundial, sugiere, observará el estado actual del mundo y buscará compatibilidad con algún estado diferente mediante la búsqueda de soluciones eficientes. «Lo que se desea es una función de energía que mida la incompatibilidad y, dada una x, encontrar una ay que tenga poca energía para esa x», dice LeCun en su discurso.
Nuevamente, estos son solo informes creíbles de información filtrada sobre los planes de LeCun, y ni siquiera ha confirmado que esté fundando algo nuevo. Si todo lo que podemos improvisar a partir de las declaraciones públicas de LeCun suena tentativo y un poco confuso en la fase actual, así debería ser. Parece que LeCun tiene un objetivo en mente y está presionando para lograr otra explosión de habilidades asombrosas similar a la de ChatGPT. Podrían pasar años –o literalmente una eternidad–, por no hablar de miles de millones de dólares de los inversores, para que se materialice algo realmente extraordinario.
Gizmodo contactó a Meta para comentar sobre cómo el trabajo de LeCun encaja en la misión de IA de la compañía y lo actualizará si recibimos una respuesta.
