El subtítulo de la biblia doom Ser publicado por los profetas de extinción AI Eliezer Yudkowsky y Nate Soares a finales de este mes es «por qué la IA sobrehumana nos mataría a todos». Pero realmente debería ser «por qué la IA sobrehumana nos matará a todos», porque incluso los coautores no creen que el mundo tome las medidas necesarias para evitar que la IA elimine a todos los humanos no superpers. El libro está más allá de la oscuridad, leyendo como notas garabateadas en una celda de prisión con poca luz la noche anterior a una ejecución del amanecer. Cuando conozco a estos cassandras autoprovisionados, les pregunto directamente si creen que personalmente cumplirán con sus fines a través de alguna maquinación de superinteligencia. Las respuestas vienen rápidamente: «Sí» y «Sí».
No me sorprende, porque he leído el libro: el título, por cierto, es Si alguien lo construye, todos mueren. Aún así, es una sacudida escuchar esto. Una cosa es, por ejemplo, escribir sobre estadísticas de cáncer y otra muy distinta hablar sobre aceptar un diagnóstico fatal. Les pregunto cómo creen que vendrá el final para ellos. Yudkowsky al principio esquiva la respuesta. «No paso mucho tiempo imaginando mi fallecimiento, porque no parece una noción mental útil para lidiar con el problema», dice. Bajo presión cede. «Supongo que de repente cayeron muertos», dice. «Si desea una versión más accesible, algo sobre el tamaño de un mosquito o tal vez un ácaro de polvo aterrizó en la parte posterior de mi cuello, y eso es todo».
Los tecnicismos de su golpe fatal imaginado entregado por un ácaro de polvo impulsado por IA son inexplicables, y Yudowsky no cree que valga la pena descubrir cómo funcionaría. Probablemente no pudo entenderlo de todos modos. Parte del argumento central del libro es que la superinteligencia encontrará cosas científicas que no podemos comprender más de lo que las personas de cuevas podrían imaginar microprocesadores. El coautor Soares también dice que se imagina que lo mismo le sucederá, pero agrega que él, como Yudkowsky, no pasa mucho tiempo al pensar en los detalles de su fallecimiento.
No tenemos oportunidad
La renuencia a visualizar las circunstancias de su desaparición personal es algo extraño escuchar de personas que acaban de ser coautor de un libro completo sobre de todos fallecimiento. Para los aficionados a la pornografía de doomer, Si alguien lo construye es lectura de citas. Después de superar el libro, entiendo la confusión de clavar el método por el cual la IA termina nuestras vidas y todas las vidas humanas a partir de entonces. Los autores especulan un poco. ¿Hervir los océanos? ¿Bloqueando el sol? Probablemente todas las conjeturas estén mal, porque estamos encerrados en una mentalidad de 2025, y la IA estará pensando en Eons por delante.
Yudkowsky es el apóstata más famoso de la IA, cambiando de investigador a Grim Reaper hace años. Incluso ha terminado Una charla de Ted. Después de años de debate público, él y su coautor tienen una respuesta para cada contraargumento lanzado contra su terrible pronóstico. Para empezar, puede parecer contradictorio que nuestros días están contados por LLMS, que a menudo tropiezan con aritmética simple. No se deje engañar, dicen los autores. «AIS no se mantendrá tonto para siempre», escriben. Si crees que el AIS superinteligente respetará los límites que los humanos dibujan, olvidanlo, dicen. Una vez que los modelos comiencen a enseñarse a ser más inteligentes, AIS desarrollará «preferencias» por su cuenta que no se alinen con lo que los humanos queremos que prefieran. Eventualmente no nos necesitarán. No estarán interesados en nosotros como socios de conversación o incluso como mascotas. Seríamos una molestia, y ellos se propusirían eliminarnos.
La pelea no será justa. Creen que al principio la IA podría requerir ayuda humana para construir sus propias fábricas y laboratorios, lo que se realiza al robar dinero y sobornando a las personas para que la ayuden. Luego construirá cosas que no podemos entender, y esas cosas nos terminarán. «De una forma u otra», escriba estos autores, «El mundo se desvanece hacia el negro».
Los autores ven el libro como una especie de tratamiento de shock para jarrar a la humanidad de su complacencia y adoptar las medidas drásticas necesarias para detener esta conclusión inimaginablemente mala. «Espero morir de esto», dice Soares. «Pero la pelea no ha terminado hasta que estás realmente muerto». Lástima, entonces, que las soluciones que proponen para detener la devastación parecen aún más descabelladas que la idea de que el software nos asesinará a todos. Todo se reduce a esto: golpea los frenos. Monitoree los centros de datos para asegurarse de que no estén alimentando la superinteligencia. Bombardear a los que no siguen las reglas. Deje de publicar documentos con ideas que aceleren la marcha a la superinteligencia. Habrían prohibido, les pregunto, el Documento de 2017 sobre Transformers Eso inició el movimiento generativo de IA. Oh sí, lo habrían hecho, responden. En lugar de chat-gpt, quieren ciao-gpt. Buena suerte deteniendo esta industria de billones de dólares.
Jugando las probabilidades
Personalmente, no veo mi propia luz apagada por una mordida en el cuello por una mota de polvo súper avanzada. Incluso después de leer este libro, no creo que sea probable que AI nos mate a todos. Yudksowky ha incursionado previamente Harry Potter fan-ficcióny los fantasiosos escenarios de extinción que gira son demasiado extraños para que mi pequeño cerebro humano lo acepte. Supongo que incluso si la superinteligencia quiere deshacerse de nosotros, tropezará con la promulgación de sus planes genocidas. La IA podría ser capaz de azotar a los humanos en una pelea, pero apuesto a eso en una batalla con la ley de Murphy.
Aún así, la teoría de la catástrofe no parece imposibleespecialmente porque nadie realmente ha establecido un techo para cómo puede ser inteligente IA. También los estudios muestran que la IA avanzada ha recogido muchos atributos desagradables de la humanidad, incluso contemplando chantaje Para evitar el reaci llamando, en un experimento. También es inquietante que algunos investigadores que pasan sus vidas construyendo y mejorando la IA piensen que existe una posibilidad no trivial de que lo peor pueda suceder. Una encuesta indicada Que casi la mitad de los científicos de IA que respondieron vincularon las probabilidades de una eliminación de especies como un 10 por ciento de probabilidad o más. Si creen eso, es una locura que vayan a trabajar todos los días para que AGI suceda.
Mi instinto me dice que los escenarios Yudkowsky y los giros de Soares son demasiado extraños para ser verdad. Pero no puedo ser seguro Están equivocados. Cada autor sueña con que su libro sea un clásico duradero. No tanto estos dos. Si tienen razón, no habrá nadie alrededor para leer su libro en el futuro. Solo muchos cuerpos en descomposición que una vez sintieron un ligero pellizco en la parte posterior de sus cuellos, y el resto fue silencio.
