Hace unos meses, Apple organizó un evento de dos días que presentó conversaciones y publicaciones sobre los últimos avances en el procesamiento del lenguaje natural (PNL). Hoy, la compañía publicó una publicación con múltiples aspectos destacados, y todos los estudios presentados. Aquí está el resumen.
El Taller sobre lenguaje natural y sistemas interactivos 2025 Tuvo lugar del 15 al 16 de mayo, y las conversaciones y publicaciones se centraron en tres áreas clave de investigación relacionadas con PNL:
- Sistemas interactivos del lenguaje hablado
- Entrenamiento y alineación de LLM
- Agentes del idioma
Durante el evento, múltiples investigadores de universidades, institutos, laboratorios y grupos de investigación, incluidos Allen Institute for AI, Imperial College of London, MIT, Harvard University, Stanford University y Princeton University, presentaron su último trabajo.
Algunos de estos investigadores también trabajan en la industria, en empresas como Microsoft, Amazon, Sony, Google, Tencent, Cohere y, por supuesto, Apple.
Aquí hay algunos aspectos destacados de las charlas, y un enlace a la lista completa de videos y documentos presentados en el evento.
1) AI Model Collapse & Detecting alucinaciones LLM
Estos fueron dos estudios presentados por Yarin Gal, profesor asociado en la Universidad de Oxford, y el Director de Investigación del Instituto de Seguridad del Reino Unido.
El primero, el colapso del modelo de IA exploró cómo hay un límite para cuánto más tiempo la Web servirá como una fuente viable de datos para la capacitación de LLM, ya que el mayor uso de estos modelos conducirá a que se publique más contenido generado en modelos en línea.
Explicó que si bien el entrenamiento de LLM en tales datos sintéticos puede representar un riesgo de colapso, ya que afectará su conocimiento y capacidades de razonamiento, esto se puede solucionar con el desarrollo de nuevas herramientas para distinguir entre contenido generado por IA y generado por humanos, así como mejores regulaciones y más estudios sobre cómo las LLM dan forma a la sociedad.
Su segundo estudio, detectando alucinaciones de LLM, propone un enfoque novedoso para identificar el nivel de confianza de la LLM, ya que genera diferentes partes de una respuesta. En pocas palabras, la idea es que el modelo genere múltiples respuestas, y luego agrupe estas respuestas por significado semántico. Esto permitiría un cálculo más preciso del nivel de certeza y precisión de la respuesta, y es un marco que puede adaptarse a conversaciones más largas.
2) Aprendizaje de refuerzo para agentes LLM interactivos de Horizon Long-Horizon
Esta charla, presentada por el investigador de Apple Machine Learning Kevin Chen, mostró a un agente que su equipo entrenó en un método llamado Optimización o bucle proximal de Leave-One-Out.
El agente fue entrenado para realizar tareas de múltiples pasos, basadas en indicaciones como esta:
'Hice un viaje con amigos a Maui recientemente. He mantenido una nota de dinero que le debo a otros y a los demás me deben del viaje en simple nota. Realice pagos o solicitudes privadas de Venmo en consecuencia. En los pagos/solicitudes, agregue una nota, «para el viaje Maui».
Durante la primera mitad de la charla, Chen demostró que, dado que esta tarea involucraba múltiples marcos y dependencias de conocimiento, un agente podría no poder realizar con precisión lo que se ha solicitado. Pero con Loop, que aprende iterativamente de sus propias acciones pasadas y está entrenado para maximizar su recompensa como se observa, la solicitud se realizó con menos errores y supuestos.
Chen explica además que el modelo fue entrenado en 24 escenarios diferentes, pero tiene limitaciones, como no admitir interacciones de usuario múltiples.
3) transmisión especulativa: inferencia rápida de LLM sin modelos auxiliares
Esta charla, del gerente y líder técnica de Apple Ingeniería, Irina Belosova, mostró los beneficios de la decodificación especulativa, que permite una forma computacionalmente más barata de generar respuestas con un modelo pequeño que son tan de alta calidad como los generados por modelos grandes.
En esencia, el modelo pequeño genera secuencias candidatas de respuestas, que luego son ejecutadas por un modelo grande. Si el modelo acepta la respuesta, su trabajo está hecho. Esto permite menos uso de la memoria, un rendimiento más rápido y requiere menos parámetros en comparación con modelos similares.
Además, este enfoque «simplifica la implementación al eliminar la complejidad de la gestión, la alineación y el cambio entre múltiples modelos durante la inferencia», lo que significa que requiere una infraestructura más simple.
Este estudio en particular ofrece muchos detalles técnicos que valen la pena. La presentación dura poco más de 8 minutos, pero ofrece ideas muy interesantes.
haga clic aquí Para ver los videos que Apple destacó y vea la lista completa de estudios del evento.
Ofertas de accesorios en Amazon
FTC: Utilizamos ingresos que ganan enlaces de afiliados para automóviles. Más.
