El marco permite a los desarrolladores tomar cualquier modelo basado en PyTorch de cualquier dominio (modelos de lenguaje grande (LLM), modelos de lenguaje de visión (VLM), segmentación de imágenes, detección de imágenes, audio y más) e implementarlo directamente en dispositivos perimetrales sin la necesidad de convertir a otros formatos o reescribir el modelo. El equipo dijo que ExecuTorch ya está impulsando aplicaciones del mundo real, incluidas Instagram, WhatsApp, Messenger y Facebook, acelerando la innovación y la adopción de IA en los dispositivos para miles de millones de usuarios.
Los ejemplos tradicionales de IA en dispositivos incluyen la ejecución de algoritmos de visión por computadora en dispositivos móviles para la edición y el procesamiento de fotografías. Pero recientemente ha habido un rápido crecimiento en nuevos casos de uso impulsados por avances en hardware y modelos de IA, como agentes locales impulsados por LLM y aplicaciones de IA ambiental en gafas inteligentes y dispositivos portátiles, dijo el equipo de PyTorch. Sin embargo, al implementar estos modelos novedosos en entornos de producción en dispositivos, como aplicaciones móviles, de escritorio y integradas, los modelos a menudo tenían que convertirse a otros tiempos de ejecución y formatos. Estas conversiones consumen mucho tiempo para los ingenieros de aprendizaje automático y, a menudo, se convierten en cuellos de botella en el proceso de implementación de producción debido a problemas como discrepancias numéricas y pérdida de información de depuración durante la conversión.
ExecuTorch permite a los desarrolladores crear estas novedosas aplicaciones de IA utilizando herramientas familiares de PyTorch, optimizadas para dispositivos perimetrales, sin necesidad de conversiones. A lanzamiento beta de ExecuTorch se anunció hace un año.
