El Líneas rojas de ai Iniciativa lanzada en la Asamblea General de las Naciones Unidas el martes, el lugar perfecto para una declaración muy inespecífica.
Más de 200 premios Nobel y otros inteligencia artificial expertos (incluido Opadai cofundador Wojciech Zaremba), más 70 organizaciones que tratan con IA (incluida Google DeepMind y Antrópico), firmó una carta que pidió «líneas rojas globales para evitar riesgos de IA inaceptables». Sin embargo, fue marcado tanto por lo que no dijo como lo que hizo.
«Los sistemas de inteligencia artificial ya han exhibido un comportamiento engañoso y dañino, y sin embargo, estos sistemas se les da más autonomía», dijo la carta, estableciendo una fecha límite de 2026 para que su recomendación se implementa: «Un acuerdo internacional sobre líneas rojas claras y verificables es necesario para prevenir riesgos universalmente inaceptables».
Justo, pero qué Líneas rojas, exactamente? La carta solo dice que estos parámetros «deberían basarse y hacer cumplir los marcos globales existentes y los compromisos corporativos voluntarios, asegurando que todos los proveedores de IA avanzados sean responsables de los umbrales compartidos».
Intenté aprender del tutor de AI de Anthrope. Sentí que estaba de vuelta en la universidad.
La falta de detalles puede ser necesaria para mantener juntos una coalición muy suelta de firmantes. Incluyen alarmistas de IA como Geoffrey Hinton, de 77 años, el llamado «AI Padrino» quien ha pasado los últimos tres años prediciendo varias formas de fatalidad a partir de la inminente llegada de Agi (inteligencia general artificial); La lista también incluye escépticos de IA como el científico cognitivo Gary Marcus, quien ha pasado los últimos tres años diciéndonos que AGI no es Pronto pronto.
¿En qué podrían estar todos de acuerdo? Para el caso, ¿qué podrían los gobiernos ya en desacuerdo sobre AI, principalmente los Estados Unidos y Chinade acuerdo y confiar el uno en el otro para implementar? Buena pregunta.
Velocidad de luz mashable
Este tweet no está disponible actualmente. Puede estar cargando o ha sido eliminado.
Probablemente la respuesta más concreta de un firmante vino de Stuart Russell, veterano profesor de informática en UC Berkeley, a raíz de un intento anterior de hablar de líneas rojas en la Cumbre Global de Seguridad de AI 2023. En un artículo titulado «¿Hacer que AI sea segura o hacer una IA segura?» Russell escribió que las compañías de IA ofrecen «intentos después del hecho de reducir el comportamiento inaceptable una vez que se ha construido un sistema de IA». Contrasta eso con el enfoque de Red Lines: garantice la seguridad incorporada en el diseño desde el principio, y el «comportamiento inaceptable» no será posible en primer lugar.
«Debería ser posible que los desarrolladores digan, con gran confianza, que sus sistemas no exhibirán comportamientos dañinos», escribió Russell. «Un efecto secundario importante de la regulación de la línea roja será aumentar sustancialmente las capacidades de ingeniería de seguridad de los desarrolladores».
En su artículo, Russell llegó a cuatro ejemplos de línea roja: los sistemas de IA no deberían intentar replicarse; Nunca deben intentar entrar en otros sistemas informáticos; No se les debe permitir dar instrucciones sobre la fabricación de biowapons. Y su producción no debe permitir ninguna «declaración falsa y dañina sobre las personas reales».
Desde el punto de vista de 2025, podríamos agregar líneas rojas que se ocupan de las amenazas actuales actuales de AI Piosisy Chatbots de IA que supuestamente se pueden manipular para dar consejos sobre el suicidio.
Todos podemos estar de acuerdo en eso, ¿verdad?
El problema es que Russell también cree que ningún modelo de idioma grande (LLM) es «capaz de demostrar cumplimiento», incluso con sus cuatro requisitos mínimos de línea roja. ¿Por qué? Porque son motores de palabras predictivas que fundamentalmente no entienden lo que están diciendo. Ellos son no capaz de razonarincluso en rompecabezas lógicos básicos, y respuestas cada vez más «alucinar» para satisfacer a sus usuarios.
Entonces, la verdadera seguridad de la línea roja de IA, posiblemente, significaría que ninguno de los modelos de IA actuales se permitiría en el mercado. Eso no molesta a Russell; Como él señala, no nos importa que el cumplimiento sea difícil cuando se trata de medicina o energía nuclear. Regulamos independientemente del resultado.
¿Pero la noción de que las compañías de IA simplemente cerrarán voluntariamente sus modelos hasta que puedan demostrar a los reguladores que ningún daño vendrá a los usuarios? Esta es una mayor alucinación que cualquier cosa que se le ocurra a Chatgpt.
Temas
Inteligencia artificial
