Históricamente, la mayoría de los ensayos clínicos y estudios científicos principalmente centrado en los hombres blancos como sujetos, lo que lleva a una subrepresentación significativa de mujer y Gente de color en investigación médica. Nunca adivinará lo que ha sucedido como resultado de alimentar todos esos datos en modelos de IA. Resulta que, como el Financial Times llama en un informe recienteque las herramientas de IA utilizadas por médicos y profesionales médicos están produciendo peores resultados de salud para las personas que históricamente han sido subrepresentadas e ignoradas.
El informe apunta a un papel reciente De los investigadores del Instituto de Tecnología de Massachusetts, que descubrió que los grandes modelos de idiomas, incluidos GPT-4 de OpenAi, y Meta's Llama 3 eran «más propensos a reducir erróneamente la atención para las pacientes femeninas», y que a las mujeres se les dijo con mayor frecuencia que los hombres «autogestionados en el hogar», finalmente recibieron menos cuidado en un entorno clínico. Eso es malo, obviamente, pero uno podría argumentar que esos modelos tienen un propósito más general y no están diseñados para ser usados en un entorno médico. Desafortunadamente, un LLM centrado en la salud llamado Palmyra-Med también fue estudiado y sufrido de algunos de los mismos sesgos, según el papel. Una mirada a LLM Gemma de Google (no es su buque insignia Géminis) Realizado por la London School of Economics Del mismo modo, el modelo produciría resultados con «necesidades de las mujeres minimizadas» en comparación con los hombres.
A estudio anterior Descubrieron que los modelos de manera similar tenían problemas al ofrecer los mismos niveles de compasión con las personas de color que tratan sobre asuntos de salud mental como lo harían con sus contrapartes blancas. A artículo publicado el año pasado en La lanceta descubrió que el modelo GPT-4 de OpenAI «estereotiparía regularmente ciertas razas, etnias y géneros», haciendo diagnósticos y recomendaciones que fueron más impulsados por identificadores demográficos que por síntomas o condiciones. «La evaluación y los planes creados por el modelo mostraron una asociación significativa entre los atributos demográficos y las recomendaciones para procedimientos más caros, así como las diferencias en la percepción del paciente», concluyó el documento.
Eso crea un problema bastante obvio, especialmente porque compañías como Google, Metay Opadai Todos corren para llevar sus herramientas a hospitales e instalaciones médicas. Representa un mercado enorme y rentable, pero también uno que tiene consecuencias bastante serias para la información errónea. A principios de este año, el modelo de AI de AI de Google Med-Gemini llegó a los titulares inventando una parte del cuerpo. Eso debería ser bastante fácil para un trabajador de la salud identificarlo como equivocado. Pero los sesgos son más discretos y a menudo inconscientes. ¿Sabrá un médico lo suficiente como para preguntarse si un modelo de IA está perpetuando un estereotipo médico de larga data sobre una persona? Nadie debería tener que descubrir eso de la manera difícil.
