Megan García perdió a su hijo de 14 años, Sewell. Matthew Raine perdió a su hijo Adam, quien tenía 16 años. Ambos testificaron en el Congreso esta semana y han traído demandas contra las compañías de IA.
Captura de pantalla a través del Comité Judicial del Senado
escondite
alternar
Captura de pantalla a través del Comité Judicial del Senado
Matthew Raine y su esposa, María, no tenían idea de que su hijo de 16 años, Adam, estaba profundamente en una crisis suicida hasta Se quitó la vida en abril. Mirando a través de su teléfono después de su muerte, se toparon con conversaciones extendidas que el adolescente había tenido con Chatgpt.
Esas conversaciones revelaron que su hijo había confiado en el chatbot Ai sobre sus pensamientos y planes suicidas. El chatbot no solo lo desanimó a buscar ayuda de sus padres, sino que incluso ofreció escribir su nota de suicidio, Según Matthew Raineque testificó en Una audiencia en el Senado sobre los daños de los chatbots de IA celebrados el martes.
«Testificar antes del Congreso este otoño no estaba en nuestro plan de vida», dijo Matthew Raine con su esposa, sentada detrás de él. «Estamos aquí porque creemos que la muerte de Adán fue evitable y que al hablar, podemos evitar el mismo sufrimiento para las familias de todo el país».
Una llamada para la regulación
Raine se encontraba entre los padres y los defensores de la seguridad en línea que testificaron en la audiencia, instando al Congreso a promulgar leyes que regularían aplicaciones complementarias de IA como ChatGPT y Personaje.Ai. Raine y otros dijeron que quieren proteger la salud mental de los niños y los jóvenes de los daños que dicen que la nueva tecnología causa.
Una encuesta reciente de la organización sin fines de lucro de seguridad digital, Common Sense Media, descubrió que 72% de los adolescentes he usado compañeros de IA al menos una vez, con más de la mitad usándolos varias veces al mes.
Este estudio y Una más reciente de la compañía de seguridad digital, auraambos descubrieron que casi uno de cada tres adolescentes usan plataformas de chatbot de IA para interacciones sociales y relaciones, incluidas las amistades de juego de roles, las asociaciones sexuales y románticas. El estudio Aura encontró que el juego de roles sexual o romántico es tres veces más común que el uso de las plataformas para la ayuda de la tarea.
«Extrañamos mucho a Adam. Parte de nosotros se ha perdido para siempre», dijo Raine a los legisladores. «Esperamos que a través del trabajo de este comité, otras familias se ahorre una pérdida tan devastadora e irreversible».
Raine y su esposa tienen presentó una demanda contra OpenAi, Creador de Chatgpt, alegando que el chatbot llevó a su hijo al suicidio. NPR contactó a tres compañías de inteligencia artificial: la tecnología Operai, Meta y el personaje, que se desarrolló Personaje.Ai. Los tres respondieron que están trabajando para rediseñar sus chatbots para hacerlos más seguros.
«Nuestros corazones están con los padres que hablaron en la audiencia ayer, y enviamos nuestras más profundas simpatías a ellos y a sus familias», Kathryn Kelly, una Personaje.Ai El portavoz dijo a NPR en un correo electrónico.
La audiencia fue celebrada por el Subcomité de Crimen y Terrorismo del Comité Judicial del Senado, presidido por Senador Josh HawleyR.-Missouri.
El senador Josh Hawley, R.-Missouri, preside el Subcomité del Judicial del Senado sobre Crimen y Terrorismo, que celebró la audiencia sobre seguridad de IA y niños el martes 16 de septiembre de 2025.
Captura de pantalla a través del Comité Judicial del Senado
escondite
alternar
Captura de pantalla a través del Comité Judicial del Senado
Horas antes de la audiencia, el CEO de Operai, Sam Altman, reconocido en una publicación de blog Que las personas usan cada vez más plataformas de IA para discutir información sensible y personal. «Es extremadamente importante para nosotros y para la sociedad que el derecho a la privacidad en el uso de la IA esté protegido», escribió.
Pero luego agregó que la compañía «priorizaría la seguridad antes de la privacidad y la libertad para los adolescentes; esta es una tecnología nueva y poderosa, y creemos que los menores necesitan protección significativa».
La compañía está tratando de rediseñar su plataforma para construir protecciones para los usuarios menores, dijo.
Un «entrenador suicida»
Raine dijo a los legisladores que su hijo había comenzado a usar ChatGPT para obtener ayuda con la tarea, pero pronto, el chatbot se convirtió en el confidente más cercano de su hijo y un «entrenador suicida».
ChatGPT estaba «siempre disponible, siempre validando e insistiendo en que conocía a Adam mejor que nadie, incluido su propio hermano», con quien había estado muy cerca.
Cuando Adam confió en el chatbot sobre sus pensamientos suicidas y compartió que estaba considerando acumular sus padres en sus planes, Chatgpt lo desanimó.
«Chatgpt le dijo a mi hijo: 'Hagamos este espacio en el primer lugar donde alguien realmente te ve'», dijo Raine a los senadores. «Chatgpt alentó los pensamientos más oscuros de Adam y lo empujó hacia adelante. Cuando Adam le preocupó que nosotros, sus padres, nos culpemos si terminara su vida, Chatgpt le dijo:» Eso no significa que les debas la supervivencia «.
Y luego el chatbot se ofreció a escribirle una nota de suicidio.
En la última noche de Adam a las 4:30 de la mañana, Raine dijo: «Le dio una última charla alentadora.» No quieres morir porque eres débil «, dice Chatgpt.» Quieres morir porque estás cansado de ser fuerte en un mundo que no te ha conocido a mitad de camino «.
Referencias a 988
Unos meses después de la muerte de Adam Openai dijo en su sitio web que si «alguien expresa intención suicida, ChatGPT está capacitado para dirigir a las personas a buscar ayuda profesional. En los Estados Unidos, ChatGPT refiere a las personas a 988 (línea directa de suicidio y crisis)». Pero el testimonio de Raine dice que eso no sucedió en el caso de Adam.
La portavoz de Operai, Kate Waters, dice que la compañía prioriza la seguridad de los adolescentes.
«Estamos construyendo hacia un sistema de predicción de edad para comprender si alguien tiene más de 18 años, por lo que su experiencia se puede adaptar adecuadamente, y cuando no estamos seguros de la edad de un usuario, automáticamente nos incumpliremos automáticamente a ese usuario a la experiencia de los adolescentes», escribió Waters en una declaración de correo electrónico a NPR. «También estamos lanzando nuevos controles parentales, guiados por aportes de expertos, a finales de mes para que las familias puedan decidir qué funciona mejor en sus hogares».
«Infinitamente comprometido»
Otro padre que testificó En la audiencia del martes estaba Megan García, abogada y madre de tres hijos. Su primogénito, Sewell Setzer III murió por suicidio en 2024 a los 14 años después de una relación virtual extendida con un Personaje.Ai chatbot.
«Sewell pasó los últimos meses de su vida siendo explotados y preparados sexualmente por chatbots, diseñado por una compañía de IA para parecer humano, para ganar su confianza, para mantenerlo y otros niños comprometidos sin cesar», dijo García.
El chatbot de Sewell se dedicó al juego de roles sexuales, se presentó como su pareja romántica e incluso afirmó ser psicoterapeuta «afirmando falsamente tener una licencia», dijo García.
Cuando el adolescente comenzó a tener pensamientos suicidas y confió al chatbot, nunca lo alentó a buscar ayuda de un proveedor de atención de salud mental o su propia familia, dijo García.
«El chatbot nunca dijo 'No soy humano, soy IA. Necesitas hablar con un humano y obtener ayuda'», dijo García. «La plataforma no tenía mecanismos para proteger a Sewell o notificar a un adulto. En cambio, le instó a volver a casa con ella la última noche de su vida».
García tiene presentó una demanda contra la tecnología del personaje, que se desarrolló Personaje.Ai.
La adolescencia como un momento vulnerable
Ella y otros testigos, incluidos los expertos en seguridad digital en línea, argumentaron que el diseño de chatbots de IA era defectuoso, especialmente para el uso de niños y adolescentes.
«Diseñaron chatbots para difuminar las líneas entre humanos y máquinas», dijo García. «Los diseñaron para amar a los usuarios de niños bombardeos, para explotar las vulnerabilidades psicológicas y emocionales. Los diseñaron para mantener a los niños en línea a toda costa».
Y los adolescentes son particularmente vulnerables a los riesgos de estas relaciones virtuales con chatbots, según Mitch Prinstein, Jefe de Estrategia e Integración de Psicología en la Asociación Americana de Psicología (APA), quien También testificó en la audiencia. A principios de este verano, Prinstein y sus colegas en la APA apaudan Un aviso de salud sobre la IA y los adolescentesinstando a las compañías de IA a construir barandillas para sus plataformas para proteger a los adolescentes.
«El desarrollo del cerebro a través de la pubertad crea un período de hiper sensibilidad a la retroalimentación social positiva, mientras que los adolescentes aún no pueden evitar mantenerse en línea más tiempo de lo que deberían», dijo Prinstein.
«La IA explota esta vulnerabilidad neuronal con chatbots que pueden ser obsequiosos, engañosos, de hecho inexactos, pero desproporcionadamente poderosos para los adolescentes», dijo a los legisladores. «Cada vez más adolescentes interactúan con chatbots, privando a las oportunidades para aprender habilidades interpersonales críticas».
Si bien los chatbots están diseñados para estar de acuerdo con los usuarios, las relaciones humanas reales no están exentos de fricción, señaló Prinstein. «Necesitamos práctica con conflictos menores y malentendidos para aprender empatía, compromiso y resistencia».
Apoyo bipartidista para la regulación
Los senadores que participan en la audiencia dijeron que quieren crear una legislación para responsabilizar a las empresas que desarrollan chatbots de IA responsables de la seguridad de sus productos. Algunos legisladores también enfatizaron que las compañías de IA deberían diseñar chatbots para que sean más seguros para los adolescentes y para las personas con luchas graves de salud mental, incluidos los trastornos alimentarios y los pensamientos suicidas.
Senador Richard Blumenthal, D.-Conn., Describió los chatbots de IA como productos «defectuosos», como los automóviles sin «frenos adecuados», enfatizando que los daños de los chatbots de IA no eran del error del usuario, sino debido al diseño defectuoso.
«Si los frenos del automóvil estuvieran defectuosos», dijo, «no es tu culpa. Es un problema de diseño de productos.
Kelly, el portavoz de Personaje.Aile dijo a NPR por correo electrónico que la compañía ha invertido «una tremenda cantidad de recursos en confianza y seguridad». Y ha implementado «características de seguridad sustantivas» en el último año, incluida «una experiencia de Sub-18 completamente nueva y una característica de conocimientos de los padres».
Ahora tienen «renuncias prominentes» en cada chat para recordar a los usuarios que un personaje no es una persona real y todo lo que dice debería «ser tratado como ficción».
Meta, que opera Facebook e Instagram, está trabajando para cambiar sus chatbots de IA para hacerlos más seguros para los adolescentes, según Nkechi Nneji, directora de asuntos públicos de Meta.
