California ha dado un gran paso hacia la regulación de la IA. SB 243 – Un proyecto de ley que regularía los chatbots complementarios de IA para proteger a menores y usuarios vulnerables, aprobó tanto la Asamblea Estatal como el Senado con soporte bipartidista y ahora se dirige al escritorio del gobernador Gavin Newsom.
Newsom tiene hasta el 12 de octubre para vetar el proyecto de ley o firmarlo. Si firma, entraría en vigencia el 1 de enero de 2026, lo que hace que California sea el primer estado en exigir a los operadores de chatbot de IA que implementen protocolos de seguridad para compañeros de IA y responsabilicen legalmente a las empresas si sus chatbots no cumplen con esos estándares.
El proyecto de ley tiene como objetivo específicamente evitar chatbots complementarios, que la legislación define como sistemas de IA que proporcionan respuestas adaptativas y humanas y que son capaces de satisfacer las necesidades sociales de un usuario, de participar en conversaciones en torno a la ideación suicida, la autolesión o el contenido sexualmente explícito. El proyecto de ley requeriría que las plataformas proporcionen alertas recurrentes a los usuarios, cada tres horas para los menores, recordándoles que están hablando a un chatbot de IA, no a una persona real, y que deberían tomar un descanso. También establece requisitos anuales de informes y transparencia para las compañías de IA que ofrecen chatbots complementarios, incluidos los principales jugadores OpenAi, el personaje. AI y Replika, que entrarían en vigencia el 1 de julio de 2027.
El proyecto de ley de California también permitiría a las personas que creen que han sido heridas por violaciones para presentar demandas contra compañías de IA que buscan un alivio cautelar, daños (hasta $ 1,000 por violación) y honorarios de abogados.
El proyecto de ley ganó impulso en la legislatura de California después de la Muerte del adolescente Adam Rainequien se suicidó después de chats prolongados con el chatgpt de Openai que implicaba discutir y planificar su muerte y su autolesión. La legislación también responde a filtrada documentos internos Según los informes, los chatbots de Meta se permitieron participar en chats «románticos» y «sensuales» con niños.
En las últimas semanas, los legisladores y reguladores estadounidenses han respondido con el escrutinio intensificado de las salvaguardas de las plataformas de IA para proteger a los menores. El Comisión federal se está preparando para investigar cómo los chatbots de IA impactan la salud mental de los niños. Fiscal General de Texas Ken Paxton tiene Investigaciones lanzadas en meta y carácter. Ai, acusándolos de niños engañosos con reclamos de salud mental. Mientras tanto, ambos Senador Josh Hawley (R-mo) y Senador Ed Markey (D-MA) han lanzado sondas separadas en meta.
«Creo que el daño es potencialmente excelente, lo que significa que tenemos que movernos rápidamente», dijo Padilla a TechCrunch. «Podemos establecer salvaguardas razonables para asegurarnos de que en particular los menores sepan que no están hablando con un ser humano real, que estas plataformas vinculan a las personas con los recursos apropiados cuando las personas dicen cosas como están pensando en lastimarse a sí mismas o en apuros (y) para asegurarse de que no haya una exposición inapropiada a un material inapropiado».
Evento de TechCrunch
San Francisco
|
27-29 de octubre de 2025
Padilla también enfatizó la importancia de que las compañías de IA compartan datos sobre la cantidad de veces que remiten a los usuarios a los servicios de crisis cada año, «por lo que tenemos una mejor comprensión de la frecuencia de este problema, en lugar de solo darnos cuenta cuando alguien está perjudicado o peor».
SB 243 anteriormente tenía requisitos más fuertes, pero muchos se redujeron a través de enmiendas. Por ejemplo, el proyecto de ley originalmente habría requerido que los operadores eviten que los chatbots de IA usen tácticas de «recompensa variable» u otras características que fomenten el compromiso excesivo. Estas tácticas, utilizadas por compañías complementarias de IA como Replika y personaje, ofrecen a los usuarios mensajes especiales, recuerdos, historias o la capacidad de desbloquear respuestas raras o nuevas personalidades, creando lo que los críticos llaman un bucle de recompensa potencialmente adictivo.
El proyecto de ley actual también elimina las disposiciones que habrían requerido que los operadores rastreen e informen con qué frecuencia los chatbots iniciaron discusiones sobre ideación suicida o acciones con los usuarios.
«Creo que logra el equilibrio correcto de causar daños sin hacer cumplir algo que es imposible de cumplir con las empresas, ya sea porque técnicamente no es factible o simplemente mucho papeleo para nada», dijo Becker a TechCrunch.
SB 243 se está moviendo hacia la ley en un momento en que las compañías de Silicon Valley están vertiendo millones de dólares en pro-ai Los Comités de Acción Política (PAC) para respaldar a los candidatos en las próximas elecciones de mitad de período que favorecen un enfoque de toque de luz para la regulación de la IA.
El proyecto de ley también se produce cuando California pesa otro proyecto de ley de seguridad de IA, SB 53que exigiría los requisitos integrales de informes de transparencia. Operai ha escrito una carta abierta al gobernador Newsom, pidiéndole que abandone ese proyecto de ley a favor de marcos federales e internacionales menos estrictos. Las principales compañías tecnológicas como Meta, Google y Amazon también se han opuesto a SB 53. En contraste, solo Anthrope ha dicho que admite SB 53.
«Rechazo la premisa de que esta es una situación de suma cero, que la innovación y la regulación son mutuamente excluyentes», dijo Padilla. «No me digas que no podemos caminar y masticar chicle. Podemos apoyar la innovación y el desarrollo que creemos que es saludable y tiene beneficios, y hay beneficios para esta tecnología, claramente, y al mismo tiempo, podemos proporcionar salvaguardas razonables para las personas más vulnerables».
«Estamos monitoreando de cerca el panorama legislativo y regulatorio, y damos la bienvenida a trabajar con reguladores y legisladores a medida que comienzan a considerar la legislación para este espacio emergente», dijo un personaje. El portavoz de AI, dijo a TechCrunch, señalando que la startup ya incluye renuncias destacadas a lo largo de la experiencia de chat del usuario que explica que debería ser tratado como la ficción.
Un portavoz de Meta declinó hacer comentarios.
TechCrunch se ha comunicado con OpenAi, Anthrope y Replika para hacer comentarios.
