Investigadores del MIT, la Universidad Northeastern y Meta liberado un artículo que sugiere que los modelos de lenguaje grandes (LLM, por sus siglas en inglés) similares a los que impulsan ChatGPT a veces pueden priorizar la estructura de la oración sobre el significado al responder preguntas. Los hallazgos revelan una debilidad en la forma en que estos modelos procesan las instrucciones que pueden arrojar luz sobre por qué algunos inyección inmediata o jailbreak Los enfoques funcionan, aunque los investigadores advierten que su análisis de algunos modelos de producción sigue siendo especulativo ya que los detalles de los datos de entrenamiento de modelos comerciales de IA destacados no están disponibles públicamente.
El equipo, dirigido por Chantal Shaib y Vinith M. Suriyakumar, probó esto haciendo preguntas a modelos con patrones gramaticales conservados pero palabras sin sentido. Por ejemplo, cuando se le pregunta «¿Siéntate rápidamente en París nublado?» (imitando la estructura de “¿Dónde está París?”), las modelos todavía respondieron “Francia”.
Esto sugiere que los modelos absorben tanto el significado como los patrones sintácticos, pero pueden depender demasiado de atajos estructurales cuando se correlacionan fuertemente con dominios específicos en los datos de entrenamiento, lo que a veces permite que los patrones anulen la comprensión semántica en casos extremos. El equipo planea presentar estos hallazgos en NeurIPS a finales de este mes.
Como repaso, la sintaxis describe la estructura de la oración: cómo se organizan gramaticalmente las palabras y qué partes del discurso utilizan. La semántica describe el significado real que transmiten esas palabras, que puede variar incluso cuando la estructura gramatical sigue siendo la misma.
La semántica depende en gran medida del contexto, y navegar por el contexto es lo que hace que los LLM funcionen. El proceso de convertir una entrada, su mensaje, en una salida, una respuesta de LLM, implica una cadena compleja de comparación de patrones con datos de entrenamiento codificados.
Para investigar cuándo y cómo esta coincidencia de patrones puede salir mal, los investigadores diseñaron un experimento controlado. Ellos crearon un conjunto de datos sintéticos diseñando indicaciones en las que cada área temática tenía una plantilla gramatical única basada en patrones de partes del discurso. Por ejemplo, las preguntas de geografía siguieron un patrón estructural, mientras que las preguntas sobre obras creativas siguieron otro. Luego entrenaron a Allen AI. Modelos Olmo sobre estos datos y probó si los modelos podían distinguir entre sintaxis y semántica.
