Cada vez es más claro que los modelos de idiomas de IA son una herramienta de productos básicos, ya que el ascenso repentino de las ofertas de código abierto como Veterano Muestre que pueden ser pirateados juntos con un presupuesto relativamente pequeño. Un nuevo participante llamado S1 una vez más está reforzando esta idea, ya que los investigadores de Stanford y la Universidad de Washington capacitaron el modelo de «razonamiento» que usa menos de $ 50 en créditos de cómputo en la nube.
S1 es un competidor directo del O1 de OpenAI, que se llama modelo de razonamiento porque produce respuestas a las indicaciones «pensando» a través de preguntas relacionadas que podrían ayudarlo a verificar su trabajo. Por ejemplo, si se le pide al modelo que determine cuánto dinero podría costar reemplazar todos los vehículos de Uber en la carretera con la flota de Waymo, podría desglosar la pregunta en múltiples pasos, como verificar cuántos Ubers hay en la carretera hoy, Y luego cuánto cuesta un vehículo Waymo para fabricar.
De acuerdo a TechCrunchS1 se basa en un modelo de lenguaje listo para usar, que se enseñó a razonar estudiando preguntas y respuestas de un modelo de Google, Gemini 2.0 Flashing Thinking Experimental. El modelo de Google muestra el proceso de pensamiento detrás de cada respuesta que regresa, lo que permite a los desarrolladores de S1 dar a su modelo una cantidad relativamente pequeña de datos de capacitación (1,000 preguntas cuidadosamente seleccionadas, junto con las respuestas, y enseñarlo a imitar el proceso de pensamiento de Gemini.
Otro detalle interesante es cómo los investigadores pudieron mejorar el rendimiento de razonamiento de S1 utilizando un método ingeniosamente simple:
Los investigadores usaron un ingenioso truco para que S1 verifique su trabajo y extienda su tiempo de «pensamiento»: le dijeron que esperara. Agregar la palabra «esperar» durante el razonamiento de S1 ayudó al modelo a llegar a respuestas un poco más precisas, según el documento.
Esto sugiere que, a pesar de las preocupaciones de que los modelos de IA están golpeando una pared en capacidades, sigue habiendo una gran cantidad de frutos bajos. Algunas mejoras notables a una rama de la informática están reduciendo a conjurar las palabras de encantamiento correctas.
Según los informes, Openai tiene ave llorada sobre el equipo chino del equipo Deepseek en sus resultados modelo. La ironía no se pierde en la mayoría de las personas. ChatGPT y otros modelos importantes fueron capacitados fuera de los datos raspados de toda la web sin permiso, un problema aún se litigó en los tribunales como compañías como la New York Times busca proteger su trabajo de ser utilizado sin compensación. Google también técnicamente prohíbe a los competidores como S1 capacitar en los resultados de Gemini.
En última instancia, el rendimiento de S1 es impresionante, pero no sugiere que uno pueda entrenar un modelo más pequeño desde cero con solo $ 50. El modelo esencialmente aprovechó todo el entrenamiento de Géminis, obteniendo una hoja de trucos. Una buena analogía podría ser la compresión en las imágenes. Se puede comparar una versión destilada de un modelo AI con un JPEG de una foto. Bien, pero aún con pérdida. Y los modelos de idiomas grandes aún sufren muchos problemas con la precisión, especialmente los modelos generales a gran escala que buscan toda la web para producir respuestas. Pero un modelo como S1 podría ser útil en áreas como el procesamiento en el dispositivo para características como Apple Intelligence.
Ha habido mucho debate sobre lo que el aumento de los modelos baratos y de código abierto podría significar para la industria de la tecnología por escrito. ¿Operai está condenado si sus modelos pueden ser copiados fácilmente por alguien? Los defensores de la compañía dicen que los modelos de idiomas siempre estaban destinados a ser mercantilizados. OpenAI, junto con Google y otros, tendrá éxito en la creación de aplicaciones útiles en la parte superior de los modelos. Más de 300 millones de personas usan ChatGPT cada semana, y el producto se ha convertido en sinónimo de chatbots y una nueva forma de búsqueda. La interfaz en la parte superior de los modelos, como OpenAi's Operador Eso puede navegar por la web para un usuario, o un conjunto de datos único como el acceso de Xai a los datos X (anteriormente Twitter), es lo que será el diferenciador final.
Otra cosa a considerar es que se espera que la «inferencia» siga siendo costosa. La inferencia es el procesamiento real de cada consulta de usuario enviada a un modelo. A medida que los modelos de IA se vuelven más baratos y más accesibles, el pensamiento dice, la IA infectará todas las facetas de nuestras vidas, lo que resulta en una demanda mucho mayor de recursos informáticos, no menos. Y Openai's Proyecto de granja de servidores de $ 500 mil millones no será un desperdicio. Eso es siempre que toda esta exageración en torno a la IA no sea solo una burbuja.
