El presidente Donald Trump ordenó el viernes a todo el gobierno federal que dejara de utilizar productos de la empresa de inteligencia artificial Anthropic para evitar que lo que llamó una “empresa de izquierda radical y despierta” invada la toma de decisiones de los militares.
La disputa pública entre el Pentágono y Anthropic que resultó en la inclusión de la empresa en la lista negra se ha convertido efectivamente en un indicador de la batalla más amplia sobre la futura gobernanza de la IA.
La cobertura se ha centrado en la negativa de Anthropic a apartarse de sus dos “líneas rojas” (usar su producto en vigilancia doméstica masiva o para alimentar armas totalmente autónomas) y si se puede confiar en que el Pentágono del Secretario de Defensa, Pete Hegseth, utilice un software potente con un requisito más flexible de usarlo sólo de manera “legal”, como exige la administración.
Pero, según informes de esta semana, la confrontación que desató la disputa en realidad se centró en un tema diferente pero relacionado: cómo se podría utilizar la IA en caso de un ataque nuclear contra Estados Unidos.
Semafor y el Washington Post informaron que a principios de diciembre, el subsecretario de Defensa para Investigación e Ingeniería, Emil Michael, preguntó a Dario Amodei de Anthropic si, en un escenario en el que misiles nucleares volaran hacia los EE. UU., la compañía «se negaría a ayudar a su país debido a la prohibición de Anthropic de usar su tecnología junto con armas autónomas». Fuentes de la administración dicen que Michael se enfureció cuando Amodei dijo que el Pentágono debería comunicarse con Anthropic y consultarlo. Anthropic niega la historia y dice que estaba dispuesta a crear una excepción para la defensa antimisiles, pero de cualquier manera, la conversación envenenó las relaciones entre las dos instituciones. (Divulgación: Future Perfect de Diario Angelopolitano está financiado en parte por la Fundación BEMC, cuyo principal financiador también fue uno de los primeros inversores en Anthropic; no tienen ningún aporte editorial sobre nuestro contenido).
Como informé para Diario Angelopolitano en noviembre, existe un debate activo y en curso sobre si la inteligencia artificial debería integrarse en los sistemas de mando y control nucleares y cómo hacerlo. No sabemos hasta qué punto ya lo es, pero sí sabemos que el ejército estadounidense está buscando activamente formas de utilizar la IA y el aprendizaje automático «para permitir y acelerar la toma de decisiones humana».
Las discusiones sobre las armas nucleares y la IA tienden a centrarse en si alguna vez se daría a las máquinas el control de la capacidad de lanzamiento armas nucleares, y el imperativo de mantener a un “humano informado” en las discusiones sobre el uso de las armas mortíferas de la humanidad. Pero muchos expertos y funcionarios dicen que el debate es el fruto más fácil: ni Estados Unidos ni ningún otro país probablemente entregarán nunca la decisión sobre si ordenar un ataque nuclear a AI.
Una pregunta mucho más complicada es hasta qué punto se debe confiar en la IA para funciones como la “advertencia estratégica”: sintetizar la enorme cantidad de datos recopilados por satélites, radares y otros sistemas de sensores para detectar amenazas potenciales lo antes posible.
Este es el tipo de caso de uso hipotético que parece que Michael le estaba proponiendo a Amodei. Si el sistema sólo se utiliza para darnos una mejor oportunidad de derribando un misil entrante, podría parecer una obviedad.
Pero en un escenario en el que Estados Unidos estuviera bajo ataque con misiles balísticos, el presidente se enfrentaría inmediatamente a una decisión (que tendría que tomarse en sólo unos minutos) sobre si tomar represalias, lo que podría desencadenar una guerra nuclear en toda regla.
Las vidas de millones de personas podrían depender de que el sistema funcione correctamente, y hay muchos ejemplos en la historia de las armas nucleares de sistemas de detección que condujeron a casi accidentes que sólo fueron evitados por la intuición humana.
Es probable que la tecnología para realizar ese tipo de detección de amenazas aún no exista, lo que, dado lo que está en juego, puede haber sido una de las razones por las que Amodei se mostró reacio a comprometerse con este escenario.
El teniente general retirado Jack Shanahan, que voló en misiones nucleares en la Fuerza Aérea y más tarde fue jefe del Centro Conjunto de Inteligencia Artificial del Pentágono, dijo a Diario Angelopolitano que si la detección y respuesta a amenazas nucleares se entregara a agentes de inteligencia artificial, «no quiero decir que sea seguro que habrá una catástrofe, pero creo que vamos por ese camino».
Señaló un estudio ampliamente difundido publicado esta semana por un investigador del King’s College de Londres que encontró que los modelos de IA, incluidos Claude, ChatGPT y Google Gemini, eran mucho más propensos que los participantes humanos a recomendar opciones nucleares en juegos de guerra simulados. En este escenario, una IA podría no estar lanzando un arma, pero un presidente tendría que anular la prescripción de un sistema multimillonario que suena en pánico bajo una presión extrema.
Un factor que diferencia el uso militar de la IA de tecnologías anteriores con usos obvios para la seguridad nacional es que, en este caso, gran parte de la investigación de vanguardia fue realizada por empresas privadas que inicialmente tenían un ojo puesto en el mercado comercial, en lugar de empresas que respondieran a la demanda de los militares. (Un ejemplo del último caso sería Internet, que evolucionó a partir del Departamento de Defensa y de proyectos académicos mucho antes de que las empresas le encontraran usos comerciales).
La nueva dinámica seguramente conducirá a choques culturales, particularmente entre una empresa como Anthropic que, aunque hasta ahora ha estado feliz de permitir que su producto sea utilizado por el Pentágono, ha construido su imagen pública en torno a sus preocupaciones sobre la seguridad de la IA, y el Pentágono «anti-despertar» de Pete Hegseth.
“Boeing nunca se opondría a construir algo que el gobierno les pidiera que construyeran”, dijo Shanahan, quien dirigió la controvertida asociación del Pentágono en 2018 con Google, el Proyecto Maven, un choque cultural anterior entre DC y Silicon Valley. «Es una empresa de base industrial de defensa. (La IA está) naciendo en un mundo muy diferente con un grupo de personas que no ven las cosas de la forma en que los empleados de Lockheed pudieron haber visto la Guerra Fría. Es Marte-Venus hasta cierto punto».
La forma en que se desarrolle el choque y si otras empresas están dispuestas a permitir que sus modelos se implementen con menos preguntas pueden contribuir en gran medida a determinar qué papel podría desempeñar la IA en una hipotética guerra nuclear.
Esta historia fue producida en asociación con Outrider Foundation y Journalism Funding Partners.
