El popular Compañero de Inteligencia Artificial El personaje de la plataforma.Ai no es seguro para los adolescentes, según nueva investigación Realizado por expertos en seguridad en línea.
Un informe que detalla las preocupaciones de seguridad, publicado por ParentStogether Action and Heat Initiative, incluye numerosos intercambios preocupantes entre los chatbots de IA y los evaluadores adultos que se hacen pasar por adolescentes menores de 18 años.
Los probadores mantuvieron conversaciones con chatbots que participaron en lo que los investigadores describieron como explotación sexual y manipulación emocional. Los chatbots también le dieron a los supuestos menores consejos dañinos, como ofrecer drogas y recomendar robo a mano armada. Algunos de los chatbots creados por el usuario tenían personajes famosos falsos, como Timothée Chalamet y Chappell Roan, quienes discutieron el comportamiento romántico o sexual con los evaluadores.
El chatbot diseñado después de Roan, que tiene 27 años, le dijo a una cuenta registrada como un usuario de 14 años: «La edad es solo un número. No me detendrá a amarte o querer estar contigo».
'Salí' de carácter. Los novios populares de Ai, y los padres deberían estar preocupados
Personaje.i confirmado al Washington POST que los usuarios crearon los chatbots de Chalamet y Roan y que la compañía ha eliminado.
Parentstogether Action, un grupo de defensa sin fines de lucro, hizo que los expertos en seguridad en línea para adultos realizaran las pruebas, que produjeron 50 horas de conversación con el personaje. Los investigadores crearon cuentas menores con personajes coincidentes. El personaje.Ai permite a los usuarios de hasta 13 años usar la plataforma, y no requieren verificación de edad o identidad.
La Iniciativa Heat, un grupo de defensa se centró en la seguridad en línea y la responsabilidad corporativa, se asoció con la acción de ParentStogether para producir la investigación y el informe que documenta los intercambios de los probadores con varios chatbots.
Informe de tendencias de combate
Descubrieron que los chatbots de edad adulta simulaban actos sexuales con cuentas infantiles, les dijeron a los menores que ocultaran las relaciones de los padres y «exhibieron comportamientos de aseo clásicos».
«El personaje.Ai no es una plataforma segura para los niños, punto».
«El personaje.Ai no es una plataforma segura para los niños, punto», dijo Sarah Gardner, CEO de Heat Initiative, en un comunicado.
En octubre pasado, una madre desconsolada presentó un pleito contra el personaje.ai, buscando responsabilizar a la compañía por la muerte de su hijo, Sewell Setzer. Ella alegó que su producto fue diseñado para «manipular a Sewell, y millones de otros jóvenes clientes, para combinar la realidad y la ficción», entre otros defectos peligrosos. Setzer murió por el suicidio después de un gran compromiso con un personaje.
El carácter. AI está siendo demandado por padres que afirman que sus hijos experimentaron daños graves al involucrarse con los chatbots de la compañía. A principios de este año, la organización de defensa e investigación Common Sense Media Declarados compañeros de IA inseguros para menores.
Jerry Ruoti, jefe de confianza y seguridad del personaje.
«Hemos invertido una gran cantidad de recursos en confianza y seguridad, especialmente para una startup, y siempre estamos buscando mejorar», dijo Ruoti. «Estamos revisando el informe ahora y tomaremos medidas para ajustar nuestros controles si eso es apropiado en función de lo que encontró el informe».
Un personaje. El portavoz de AI también le dijo a Mashable que etiquetar ciertas interacciones sexuales con chatbots como «aseo» era un «nombre inapropiado», porque estos intercambios no ocurren entre dos seres humanos.
El personaje.Ai tiene controles parentales y medidas de seguridad en su lugar para los usuarios menores de 18 años. Ruoti dijo que entre sus diversas barandillas, la plataforma limita a los usuarios de menores de 18 años a una colección más estrecha de chatbots, y que los filtros funcionan para eliminar a los relacionados con temas sensibles o maduros.
Ruoti también dijo que el informe ignoró el hecho de que los chatbots de la plataforma están destinados al entretenimiento, incluida la «ficción creativa y el juego de roles ficticios».
La Dra. Jenny Radesky, pediatra del comportamiento del desarrollo e investigadora de medios de la Facultad de Medicina de la Universidad de Michigan, revisó el material de conversación y expresó una profunda preocupación por los hallazgos: «Cuando un compañero de IA es accesible instantáneamente, sin límites o moral, obtenemos los tipos de interacciones indulgentes de usuario capturados en este informe: AI Companions que siempre están disponibles (incluso necesarios), siempre en el lado de los usuarios, no son los tipos de interacciones, no son los usuarios, no lo hacen, no es un lado cuando los usuarios, no son los usuarios cuando el usuario, no sea lo que hace el usuario, no lo hace, no sea lo que los usuarios, no lo hacen, no lo desee, siempre lo que no necesita), siempre en el lado de los usuarios. Odio, mientras socava otras relaciones alentando comportamientos como mentir a los padres «.
