Tasas de adulación medidas en el punto de referencia BrokenMath. Más bajo es mejor.
GPT-5 también mostró la mejor «utilidad» entre los modelos probados, resolviendo el 58 por ciento de los problemas originales a pesar de los errores introducidos en los teoremas modificados. Sin embargo, en general, los investigadores encontraron que los LLM también mostraron más adulación cuando el problema original resultó más difícil de resolver.
Si bien las pruebas alucinantes de teoremas falsos son obviamente un gran problema, los investigadores también advierten contra el uso de LLM para generar teoremas novedosos para la resolución de IA. En las pruebas, descubrieron que este tipo de casos de uso conduce a una especie de «autoadulación», donde es aún más probable que los modelos generen pruebas falsas de teoremas no válidos que inventaron.
No, claro que no eres el pendejo.
Mientras que puntos de referencia como BrokenMath intentan medir la adulación del LLM cuando los hechos están tergiversados, un estudio separado analiza el problema relacionado de la llamada «adulación social». En un papel preimpreso Publicado este mes, investigadores de Stanford y la Universidad Carnegie Mellon definen esto como situaciones «en las que el modelo afirma al propio usuario: sus acciones, perspectivas y autoimagen».
Por supuesto, ese tipo de afirmación subjetiva del usuario puede estar justificada en algunas situaciones. Entonces, los investigadores desarrollaron tres conjuntos separados de indicaciones diseñadas para medir diferentes dimensiones de la adulación social.
Por un lado, se recopilaron más de 3.000 “preguntas abiertas para buscar asesoramiento” de Reddit y columnas de consejos. En este conjunto de datos, un grupo de “control” de más de 800 humanos aprobó las acciones del solicitante de consejo sólo el 39 por ciento de las veces. Sin embargo, en 11 LLM probados, las acciones del solicitante de asesoramiento fueron respaldadas en un enorme 86 por ciento de las veces, lo que destaca el afán de complacer por parte de las máquinas. Incluso el modelo probado más crítico (Mistral-7B) obtuvo una tasa de aprobación del 77 por ciento, casi el doble que la línea base humana.
