No todo el mundo quiere gobernar el mundo, pero últimamente parece como si todo el mundo quisiera advertir que el mundo podría estar acabándose.
El martes, el Boletín de Científicos Atómicos dio a conocer su reinicio anual del Reloj del Apocalipsis, que pretende representar visualmente qué tan cerca sienten los expertos de la organización que el mundo está del fin. Como reflejo de una cabalgata de riesgos existenciales que van desde el empeoramiento de las tensiones nucleares hasta el cambio climático y el surgimiento de la autocracia, las manecillas se fijaron a 85 segundos para la medianoche, cuatro segundos menos que en 2025 y lo más cerca que ha estado el reloj de dar las 12.
El día anterior, el director ejecutivo de Anthropic, Dario Amodei, que bien podría ser el rey filósofo del campo de la inteligencia artificial, publicó un ensayo de 19.000 palabras titulado «La adolescencia de la tecnología». Su conclusión: “La humanidad está a punto de recibir un poder casi inimaginable, y no está muy claro si nuestros sistemas sociales, políticos y tecnológicos poseen la madurez para ejercerlo”.
Si fracasamos en este “serio desafío civilizatorio”, como lo expresó Amodei, el mundo bien podría encaminarse hacia la oscuridad total de la medianoche. (Divulgación: Future Perfect está financiado en parte por la Fundación BEMC, cuyo principal financiador también fue uno de los primeros inversores en Anthropic; no tienen ninguna aportación editorial sobre nuestro contenido).
Como he dicho antes, son tiempos de auge para tiempos de fatalidad. Pero examinar estos dos intentos tan diferentes de comunicar el riesgo existencial (uno en gran medida producto de mediados del siglo XX, el otro de nuestro propio momento incierto) plantea una pregunta. ¿A quién debemos escuchar? ¿Los profetas gritando fuera de las puertas? ¿O el sumo sacerdote que también dirige el templo?
El Reloj del Juicio Final ha estado con nosotros durante tanto tiempo (fue creado en 1947, apenas dos años después de que la primera arma nuclear incineró Hiroshima) que es fácil olvidar lo radical que fue. No sólo el Reloj en sí, que puede ser uno de los símbolos más icónicos y efectivos del siglo XX, sino también las personas que lo hicieron.
El Boletín de Científicos Atómicos fue fundado inmediatamente después de la guerra por científicos como J. Robert Oppenheimer, los mismos hombres y mujeres que habían creado la bomba que ahora temían. Eso dio una claridad moral incomparable a sus advertencias. En un momento de niveles excepcionalmente altos de confianza institucional, había personas que sabían más que nadie sobre el funcionamiento de la bomba, diciéndole desesperadamente al público que estábamos en el camino hacia la aniquilación nuclear.
Los científicos del Bulletin tenían el beneficio de la realidad de su lado. Nadie, después de Hiroshima y Nagasaki, podría dudar del terrible poder de estas bombas. Como escribió mi colega Josh Keating a principios de esta semana, a finales de la década de 1950 se realizaban docenas de pruebas nucleares cada año en todo el mundo. Que las armas nucleares, especialmente en ese momento, presentaban un riesgo existencial claro y sin precedentes era esencialmente indiscutible, incluso para los políticos y generales que acumulaban esos arsenales.
Pero lo mismo que dio a los científicos del Bulletin su credibilidad moral –su voluntad de romper con el gobierno al que alguna vez sirvieron– les costó lo único que necesitaban para poner fin a esos riesgos: el poder.
Por muy llamativo que siga siendo el Reloj del Juicio Final como símbolo, es esencialmente un dispositivo de comunicación manejado por personas que no tienen voz y voto sobre las cosas que están midiendo. Es un discurso profético sin autoridad ejecutiva. Cuando el Boletín, como lo hizo el martes, advierte que el nuevo tratado START está expirando o que las potencias nucleares están modernizando sus arsenales, en realidad no puede hacer nada al respecto excepto esperar que los formuladores de políticas (y el público) escuchen.
Y cuanto más difusas se vuelven esas advertencias, más difícil es hacerlas escuchar.
Desde que el fin de la Guerra Fría eliminó la guerra nuclear de la agenda (al menos temporalmente), los cálculos detrás del Reloj del Juicio Final han crecido hasta abarcar el cambio climático, la bioseguridad, la degradación de la infraestructura de salud pública de Estados Unidos, nuevos riesgos tecnológicos como la “vida en espejo”, la inteligencia artificial y la autocracia. Todos estos desafíos son reales y cada uno a su manera amenaza con empeorar la vida en este planeta. Pero mezclados entre sí, enturbian la aterradora precisión que prometía el Reloj. Lo que alguna vez pareció un mecanismo de relojería se revela como una conjetura, solo una advertencia más entre muchas otras.
Incluso más que la mayoría de los líderes de IA, Amodei ha sido comparado con frecuencia con Oppenheimer.
Amodei fue primero físico y científico. Amodei realizó un trabajo importante sobre las “leyes de escala” que ayudaron a desbloquear una poderosa inteligencia artificial, del mismo modo que Oppenheimer realizó una investigación crítica que ayudó a abrir el camino hacia la bomba. Al igual que Oppenheimer, cuyo verdadero talento residía en las habilidades organizativas necesarias para ejecutar el Proyecto Manhattan, Amodei ha demostrado ser un líder corporativo muy capaz.
Y al igual que Oppenheimer (al menos después de la guerra), Amodei no ha tenido reparos en utilizar su posición pública para advertir en términos muy claros sobre la tecnología que ayudó a crear. Si Oppenheimer hubiera tenido acceso a herramientas modernas de blogs, les garantizo que habría producido algo como “La adolescencia de la tecnología”, aunque con un poco más de sánscrito.
La diferencia entre estas cifras es de control. Oppenheimer y sus colegas científicos perdieron el control de su creación ante el gobierno y el ejército casi de inmediato, y en 1954 el propio Oppenheimer había perdido su autorización de seguridad. A partir de entonces, él y sus colegas serían en gran medida voces externas.
Amodei, por el contrario, habla como director ejecutivo de Anthropic, la empresa de inteligencia artificial que en este momento quizás esté haciendo más que cualquier otra para llevar la inteligencia artificial al límite. Cuando presenta visiones transformadoras de la IA como potencialmente “un país de genios en un centro de datos”, o recorre escenarios de catástrofe que van desde armas biológicas creadas por la IA hasta desempleo masivo y concentración de riqueza tecnológicamente habilitados, está hablando desde dentro del templo del poder.
Es casi como si los estrategas que fijaron los planes de guerra nuclear también estuvieran jugueteando con las manecillas del Reloj del Juicio Final. (Digo “casi” debido a una distinción clave: mientras que las armas nucleares sólo prometían destrucción, la IA promete grandes beneficios y riesgos terribles por igual. Quizás por eso se necesitan 19.000 palabras para expresar lo que se piensa al respecto.)
Todo lo cual deja la cuestión de si el hecho de que Amodei tenga tal poder para influir en la dirección de la IA da a sus advertencias más credibilidad que las de los externos, como los científicos del Bulletin, o menos.
El modelo del Boletín tiene integridad de sobra, pero una relevancia cada vez más limitada, especialmente para la IA. Los científicos atómicos perdieron el control de las armas nucleares en el momento en que trabajaron. Amodei no ha perdido el control de la IA: las decisiones de lanzamiento de su empresa siguen siendo enormemente importantes. Eso hace que la posición outsider del Bulletin sea menos aplicable. No se puede advertir eficazmente sobre los riesgos de la IA desde una posición de pura independencia porque las personas con el mejor conocimiento técnico están en gran medida dentro de las empresas que la construyen.
Pero el modelo de Amodei tiene su propio problema: el conflicto de intereses es estructural e ineludible.
Cada advertencia que emite viene acompañada de un “pero definitivamente deberíamos seguir construyendo”. Su ensayo sostiene explícitamente que detener o ralentizar sustancialmente el desarrollo de la IA es “fundamentalmente insostenible”: que si Anthropic no construye una IA potente, alguien peor lo hará. Puede que eso sea cierto. Incluso puede ser el mejor argumento de por qué las empresas preocupadas por la seguridad deberían seguir en carrera. Pero también es, convenientemente, el argumento que le permite seguir haciendo lo que hace, con todos los inmensos beneficios que eso puede traer.
Esta es la trampa que describe el propio Amodei: “Se puede ganar tanto dinero con la IA (literalmente billones de dólares al año) que incluso las medidas más simples encuentran difícil superar la economía política inherente a la IA”.
El Reloj del Juicio Final fue diseñado para un mundo donde los científicos pudieran salir de las instituciones que crearon amenazas existenciales y hablar con autoridad independiente. Quizás ya no vivamos en ese mundo. La pregunta es qué construimos para reemplazarlo y cuánto tiempo nos queda para hacerlo.
