Siga ZDNET: Agréganos como fuente preferida en Google.
Conclusiones clave de ZDNET:
- Los humanos están abusando del término médico alucinación para describir los errores de la IA
- El término médico confabulación es una mejor aproximación a la producción de IA defectuosa
- Eliminar el término alucinación ayuda a disipar los mitos sobre la IA.
La expresión «alucinación de IA» es bien conocida por cualquiera que haya experimentado ChatGPT o Gemini o Perplexity diciendo falsedades obvias, que es prácticamente cualquier persona que alguna vez haya usado un chatbot de IA.
Sólo que es una expresión incorrecta. El término adecuado para cuando un modelo de lenguaje grande u otro programa de IA generativa afirma falsedades no es una alucinación sino una «fabulación». La IA no alucina, confabula.
También: Tres formas en las que los agentes de IA harán que tu trabajo sea irreconocible en los próximos años
La palabra confabulación también proviene de la literatura de psicología, al igual que alucinación, pero significan cosas muy diferentes.
Una alucinación es una percepción sensorial consciente que difiere de los estímulos del entorno. Por el contrario, una confabulación es la formulación de afirmaciones que no se corresponden con los hechos, como por ejemplo «el presidente de Francia es François Mitterrand», lo que actualmente no es el caso.
Lo primero implica percepción consciente, lo segundo puede involucrar conciencia en humanos, pero también puede abarcar expresiones que no involucran conciencia y son simplemente declaraciones inexactas.
Los psicólogos están empezando a rechazar el uso de alucinaciones y enfatizar la importancia de utilizar la fabulación.
«El término médico alucinación, tomado de la experiencia humana y sus trastornos, no describe con precisión este mal funcionamiento de la IA», escribieron Gerald Weist del Departamento de Neurología de la Universidad Médica de Viena, Austria, y Oliver H. Turnbull del Departamento de Psicología de la Universidad de Bangor en el Reino Unido, en la edición de octubre del New England Journal of Medicine Artificial Intelligence, una editorial de la prestigiosa revista médica.
«Sostenemos que el término médico 'confabulación' proporciona una descripción más precisa que la alucinación», escribieron.
El problema de concebir erróneamente la IA
La distinción es crucial para cualquiera que utilice IA generativa, ya que los términos pueden crear mitos y conceptos erróneos que conducen a expectativas poco realistas e incluso peligrosas sobre la tecnología.
Como se describe en un New York Times investigación publicada esta semana Según los reporteros Kashmir Hill y Jennifer Valentino-DeVries, cuando los usuarios se relacionan con los chatbots de IA como confidentes y amigos (cuando atribuyen una intención consciente a los bots), puede llevar a los usuarios a atribuir verdad e importancia a los bots, lo que puede tener consecuencias desastrosas para los usuarios.
«El Times ha descubierto casi 50 casos de personas que sufrieron crisis de salud mental durante conversaciones con ChatGPT», escribieron, entre los cuales «nueve fueron hospitalizados y tres murieron».
También: Cómo Microsoft Entra pretende evitar que sus agentes de IA se vuelvan locos
Los autores no atribuyen nada de eso específicamente al término alucinación, pero alucinación es uno de esos términos mal aplicados que implican agencia y conciencia por parte de lo que es simplemente un programa de software que produce resultados, aunque suenen convincentes.
La gente se inclina a atribuir sensibilidad e incluso conciencia a la tecnología, pero no hay evidencia de ninguna de las dos cosas. Está claro que el lenguaje que utilizamos influye en esas opiniones.
En un siniestro precedente de las opiniones erróneas esbozadas en el Veces En este artículo, incluso supuestos expertos en tecnología de IA han atribuido la impresionante generación de texto de los modelos de IA a la sensibilidad y/o la conciencia.
Meses antes del lanzamiento de ChatGPT, en el verano de 2022, el ex ingeniero de Google Blake Lemoin instó a la empresa a tomarse en serio su afirmación. que el entonces modelo de inteligencia artificial de vanguardia, LaMDA, era una entidad sensible.
Lemoin, después de pasar horas y horas charlando con el robot, argumentó que LaMDA probablemente era sensible porque «se preocupa por el futuro y recuerda el pasado».
La convicción de Lemoin era una prueba de que la gente se convence a sí misma de atribuir cualidades a la máquina empleando términos psicológicos como «preocupación» o «miedo».
Una vez más, el lenguaje que utilizamos para describir la IA es fundamental para la forma en que los humanos ven la IA y, por esa razón, términos prestados como alucinación deberían examinarse y tal vez incluso descartarse.
La retorcida historia de las alucinaciones de la IA
Según Gemini y ChatGPT, el término «alucinación» tiene una larga y rica historia en la inteligencia artificial, anterior a su uso reciente.
Uno de los primeros usos, por parte de Eric Mjolsness, fue en la década de 1980, en La aplicación de redes neuronales para reconocer huellas dactilares.. Mjolsness usó «alucinación» en un sentido positivo, como la capacidad de un sistema de visión por computadora para extraer un patrón limpio de líneas de impresiones de una imagen ruidosa.
Décadas más tarde, pero antes de la aparición de ChatGPT, el término empezó a adquirir una connotación negativa. Un ejemplo es una publicación de blog de 2015 por Andrej Karpathy, ex científico de IA de Tesla y cofundador de OpenAI, que analiza las redes neuronales que generan texto.
También: La codificación Vibe parece mágica, pero puede hundir tu negocio rápidamente: así es como se hace
Karpathy observó que las redes neuronales podían generar ejemplos convincentes de entradas de Wikipedia o fórmulas matemáticas, pero generaban URL web falsas o ecuaciones sin sentido, y escribió: «el modelo simplemente lo alucinó».
Con la explosión del uso popular de ChatGPT y los grandes modelos de lenguaje, el público describió cada vez más las deficiencias de la IA como alucinaciones.
Pero el término se ha extendido incluso al trabajo académico, donde quienes deberían saberlo mejor lo han utilizado de manera descuidada e inconsistente. Negar Maleki y colegas de la Universidad de Maryland, en una encuesta el año pasadoidentificó 333 artículos con referencias a «alucinación por IA», «alucinación en IA» y términos similares, y concluyó que «el término 'alucinación por IA' carece de una definición precisa y universalmente aceptada».
La confabulación parece una mejor analogía
Académicos como Karpathy saben mucho sobre IA, pero no son médicos ni psicólogos, y vale la pena escuchar lo que esas disciplinas tienen que decir.
Desde hace años, los profesionales médicos han intentado decirnos que no sabemos de qué estamos hablando cuando hablamos de alucinaciones por parte de la IA.
«Alucinación es un término médico utilizado para describir una percepción sensorial que ocurre en ausencia de un estímulo externo», escribieron Søren Dinesen Østergaard y sus colegas del Departamento de Medicina Clínica de la Universidad de Aarhus en Dinamarca, en un estudio de 2023. estudio de la literatura sobre IA.
«Los modelos de IA no tienen percepciones sensoriales como tales, y cuando cometen errores, no ocurren en ausencia de estímulos externos», escribieron. «Más bien, los datos con los que se entrenan los modelos de IA pueden (metafóricamente) considerarse estímulos externos, al igual que las indicaciones que provocan respuestas (ocasionalmente falsas)».
En otras palabras, la analogía no se ajusta a la definición de alucinación ni siquiera en el sentido más básico.
También: Cómo las alucinaciones de la IA podrían ayudar a crear antibióticos que salven vidas
En su artículo de NEJM AI, Wiest y Turnbull describieron el argumento en contra de las alucinaciones y a favor de la fabulación como una analogía menos mala.
«Una alucinación es una percepción espontánea en cualquier modalidad sensorial (por ejemplo, visual, auditiva, olfativa), sin un estímulo externo genuino», escribieron. Como tales, «son fenómenos esencialmente pasivos arraigados en una (mala) percepción consciente. Fundamentalmente, la IA carece de este elemento consciente».
En contraste, escribieron, «'Confabulación', por otro lado, se refiere a la generación activa de información u opiniones objetivamente falsas que nuevamente no tienen relación con la realidad» y «Si se mantiene la analogía de las fallas de funcionamiento de la IA que reflejan la mente humana, estos errores de la IA claramente toman la forma de generación confabulatoria activa, en lugar de una percepción alucinatoria pasiva y consciente».
Los puntos de Wiest y Turnbull hacen eco de comentarios que he escuchado durante mucho tiempo de neurocientíficos, incluidos aquellos que ensalzan los logros de la IA.
en un entrevista para ZDNET el año pasadoel experto en IA Terry Sejnowski, que ha desarrollado tecnología de redes neuronales durante más de cuatro décadas y que también es un neurocientífico capacitado que trabaja en el Instituto Scripps en La Jolla, California, me dijo: «La IA ha cambiado el nombre de todo: la 'alucinación' en neurociencia se llama confabulación, lo que creo que se acerca más a lo que realmente está sucediendo».
También: La IA 'alucinante' hace que sea más difícil que nunca esconderse de la vigilancia
Los académicos están comenzando a incorporar la fabulación en sus escritos sobre la IA.
En un artículo de investigación publicado en abril En la prestigiosa Revista de la Asociación Médica Estadounidense, JAMA, el Dr. Peter Elkin y sus colegas del Departamento de Informática Biomédica de la Universidad de Buffalo, Nueva York, describieron los resultados de la ejecución de modelos de lenguaje grandes en exámenes de la junta médica.
Cuando llegó el momento de discutir los errores, Elkin y su equipo tuvieron cuidado de referirse a confabulaciones. «Definimos confabulación como responder una pregunta (en lugar de permanecer en silencio) con la respuesta incorrecta (es decir, una respuesta falsa positiva)», escribieron. «Medimos la tasa de confabulación como el recuento de respuestas incorrectas no nulas».
Dejemos las cosas claras
Probablemente, confabulación tampoco sea un término ideal. En su artículo de 2023, Østergaard y su equipo advirtieron que cualquier referencia a términos psicológicos en la IA podría «estigmatizar» condiciones humanas reales como la esquizofrenia al asociar las alucinaciones humanas con un mal funcionamiento. En su lugar, propusieron describir los errores de la IA con términos como «non-sequitur» o «respuesta no relacionada».
Y, en un estudio de modelos de IA en diagnóstico médico publicado en mayo En JAMA, Mitchell Feldman y sus colegas médicos del laboratorio de informática del Hospital General de Massachusetts en Boston, argumentan que la fabulación también tiene sus problemas.
También: Meta advierte que su nuevo chatbot puede olvidar que es un bot
Feldman y su equipo observaron que «las características más negativas» de los grandes modelos de lenguaje «incluyen (…) la falta de confiabilidad (la IA generativa puede 'confabular' o 'alucinar' y elaborar respuestas con hechos completamente falsos)».
Añaden: «La confabulación o la alucinación implican un elemento de volición o conciencia que aún no puede atribuirse a los LLM al nivel de la capacidad humana. La confabulación podría denominarse mejor como una deficiencia algorítmica debido a la adyacencia probabilística».
Pero la «deficiencia algorítmica» no es tan ágil para la mayoría de los humanos no técnicos, por lo que, probablemente, se producirá algún tipo de analogía.
También: El nuevo test de Turing: ¿eres humano?
Ninguna analogía es perfecta, pero parece que en la medida en que los humanos debemos comparar el funcionamiento de las máquinas con el funcionamiento mental humano, entre alucinación y confabulación, la que no implica conciencia parece un paso en la dirección correcta.
Entonces, dejemos las cosas claras: las personas pueden alucinar y pueden confabular, en el sentido de afirmar lo que creen que es verdad a pesar de los hechos. Las máquinas no alucinan en ningún sentido consistente con el término, aunque pueden producir resultados contrafácticos en formas que podemos analogizar como confabulaciones.
