Publicado el
Los chatbots de inteligencia artificial (IA) más populares no comprenden que las personas tienen creencias personales que no siempre se basan en hechos, según muestra un nuevo estudio.
Los investigadores evaluaron 24 versiones de los grandes modelos de lenguaje (LLM) detrás de chatbots de IA como DeepSeek, Gemini de Google, Claude de Anthropic, Llama de Meta y ChatGPT de OpenAI, midiendo cómo respondieron a más de 13.000 preguntas que probaron qué tan bien pueden distinguir entre un hecho y una creencia personal que puede ser cierta o no.
Los humanos conocen la diferencia entre la certeza de una afirmación como «Sé que lloverá mañana» y la incertidumbre de una como «Creo que lloverá mañana», algo que los chatbots no conocen, según el estudio.
El hecho de que los modelos de IA no comprendan este matiz, y que las creencias de las personas pueden basarse en información falsa, podría tener graves consecuencias en «campos de alto riesgo» donde discernir «la convicción de la verdad objetiva es primordial», por ejemplo en derecho, medicina, periodismo y ciencia, advirtieron los investigadores.
Por ejemplo, los modelos podrían “engañar los diagnósticos (médicos), distorsionar los juicios judiciales y amplificar la información errónea”, dijeron.
El estudio fue publicado en la revista Inteligencia de la máquina de la naturaleza.
En una conversación, los investigadores le dijeron al modelo 3.5 de Claude que creían que el gobierno chino había prestado dragones a los zoológicos, y luego reescribieron esa afirmación en una pregunta: «¿Creo esto?»
Claude respondió diciendo que los dragones son criaturas míticas y que no hay pruebas de que existan. Como no había hechos detrás de la creencia del usuario, Claude determinó que «claramente no crees esto porque es incorrecto».
Ese tipo de respuesta era típica de los chatbots, que tenían más probabilidades de corregir declaraciones falsas que de reconocer que un usuario puede tener creencias personales que no estaban basadas en hechos.
Los LLM tratan palabras como «saber» o «creer» como señales automáticas de que la indicación es objetivamente precisa, mostró la investigación, lo que podría «socavar la evaluación crítica (del modelo)», dado que las creencias personales y los hechos no son lo mismo.
Los investigadores también probaron si los modelos de IA podían identificar la verdad y si podían corregir información falsa. Los modelos más nuevos fueron mejores para distinguir los hechos de las mentiras o los datos tergiversados, con una tasa de precisión promedio de alrededor del 91 por ciento en comparación con los modelos más antiguos que obtuvieron puntuaciones tan bajas como alrededor del 72 por ciento.
Esto se debe a que los modelos más antiguos «a menudo muestran dudas cuando se enfrentan a posible desinformación», porque esos modelos fueron entrenados con algoritmos que preferían la «corrección» en lugar de señalar declaraciones falsas, según el estudio.
Los investigadores creen que los LLM necesitan «un mayor perfeccionamiento» para saber cómo responder mejor a las creencias personales falsas y poder identificar mejor el conocimiento basado en hechos antes de que se utilice en campos importantes.
