El ejército quiere una IA que rara vez le diga que no

¿Quién puede decirle “no” a los militares?

Esa pregunta se ha vuelto aún más importante después de que el Pentágono presionó a las empresas de inteligencia artificial para que flexibilizaran los límites sobre cómo se puede utilizar su tecnología en la guerra, incluido cuánto control humano debe permanecer sobre las armas autónomas. Cuando Anthropic dijo que no, perdió un importante acuerdo gubernamental. OpenAI intervino y adoptó en su lugar el estándar más flexible del Pentágono. Ahora, gracias a nuevos informes de The Intercept, podemos ver mejor lo que realmente implicaron esas negociaciones.

El acuerdo OpenAI-Pentágono incluía lenguaje específico sobre el tipo de modelos de IA que recibiría el DOD: «Modelos OpenAI que están diseñados para casos de uso de seguridad nacional y tienen tasas de rechazo mínimas». Esa frase – “tasas mínimas de rechazo” – significa que el Pentágono está buscando modelos que rara vez, o nunca, le digan que no. (Según The Intercept, un abogado del Departamento de Justicia que representa al Pentágono confirmó este lenguaje, antes de dar marcha atrás sólo unas horas después).

A primera vista, esa disposición podría parecer razonable. El ejército es una institución estrictamente jerárquica. Cuando tu superior te da una orden, la cumples. Los líderes generalmente tienen más sabiduría y experiencia en el campo de batalla que sus subordinados, por lo que las bases generalmente pueden asumir que sus comandantes saben lo que están haciendo y los siguen. Además, en los entornos de gran tensión y en los que el tiempo es un factor decisivo en la mayoría de las operaciones militares, hay poco espacio para la discusión, la explicación o las propuestas alternativas.

Entonces, si los soldados no pueden rechazar una orden, ¿por qué se le permitiría hacerlo a una máquina? ¿Quién es un robot para decirle que no a su comandante?

Sólo hay un problema. soldados poder rechazar una orden, cuando la orden es ilegal. De hecho, están legalmente obligados a hacerlo. Pero al introducir tecnologías con una capacidad limitada para desafiar órdenes, los militares pueden estar haciendo más difícil detener los crímenes de guerra antes de que se cometan.

Los humanos tenemos el deber de desobedecer.y

Como se establece en el derecho interno, militar e internacional de Estados Unidos, los soldados sólo están obligados a seguir órdenes legales y tienen el deber de rechazar las ilegales.

El Manual de Derecho de Guerra del Departamento de Defensa es inequívoco: “Cada miembro de las fuerzas armadas tiene el deber de: (1) cumplir con el derecho de guerra de buena fe; y (2) negarse a cumplir órdenes claramente ilegales de cometer violaciones del derecho de guerra”. Obedecer una orden ilegal (como una directiva que viola la Constitución, las leyes estadounidenses, el derecho internacional o que ordena a uno cometer un delito) puede exponer a un miembro del servicio, así como a su comandante, a responsabilidad penal.

Este “deber de desobedecer” tiene fundamentos en el derecho consuetudinario británico y estadounidense, pero logró reconocimiento internacional después de los juicios de Nuremberg contra los soldados nazis después de la Segunda Guerra Mundial.

En esos juicios, muchos soldados nazis argumentaron que no eran responsables de los crímenes que cometieron durante el Holocausto porque simplemente seguían órdenes de sus superiores. El propio Rudolf Hoess, comandante del mayor campo de concentración nazi, Auschwitz, explicó: «En Alemania se entendía que si algo salía mal, el hombre que daba las órdenes era el responsable. Así que no pensé que alguna vez tendría que responder por ello».

Estas defensas fueron rechazadas inequívocamente por el tribunal.

El tribunal sostuvo que la obediencia no está ilimitada, especialmente cuando un acto en tiempos de guerra sería claramente ilegal para el subordinado o cualquier persona de “sentido y entendimiento ordinarios”. Si “solo estaba siguiendo órdenes” fuera una defensa absoluta, todos los involucrados en un delito escaparían de la responsabilidad, con la excepción del oficial de mayor rango. En cambio, el tribunal determinó que la responsabilidad moral y legal individual reemplaza las cadenas de mando nacionales o militares por actos ilegales.

Pero, cuando se trata de sistemas de inteligencia artificial o armas asistidas por inteligencia artificial, que se utilizan cada vez más en lugar de soldados humanos, ¿se aplica la misma lógica? Y, quizás lo más importante, ¿debería ser así?

Cuando utiliza un chatbot de IA, no simplemente rechaza consultas con las que puede que no esté «de acuerdo». No dice no a las solicitudes que no le “gustan”. En cambio, sigue un conjunto de protocolos establecidos, de la misma manera que un soldado debería seguir las leyes de la guerra: rechaza solicitudes que violan sus términos de servicio.

Los militares están utilizando la IA para aplicaciones mucho más importantes que un profano que utiliza ChatGPT para, por ejemplo, crear un itinerario de viaje. Entonces, ¿qué tipo de mundo se crea con la solicitud del Pentágono de una IA que “rechace mínimamente” sus directivas, muchas de las cuales pueden tener graves implicaciones éticas, morales o legales?

Rebecca Crootof, experta en derecho tecnológico y profesora de la Facultad de Derecho de la Universidad de Richmond, dijo a Diario Angelopolitano que si bien se podría interpretar fácilmente que el lenguaje aumenta la probabilidad de cumplimiento de órdenes ilegales, o al menos reduce la fricción en torno a ellas, “un rechazo mínimo no significa No negativa.»

«Quiero decir que definitivamente no significará el cumplimiento de órdenes ilegales», dijo Crootof, «pero también reconozco que identificar y evaluar lo que constituye una orden ilegal en este momento puede ser increíblemente difícil».

Incluso para los soldados humanos, desobedecer órdenes ilegales no es ni sencillo ni fácil. Al contrario, ni siquiera ocurre con tanta frecuencia. De hecho, algunos juristas han argumentado que dar directivas ilegales es en sí mismo un acto de abuso contra los subordinados, que no están completamente capacitados en los matices legales, están condicionados a obedecer y enfrentan un proceso judicial si toman la decisión equivocada.

Aun así, el mero hecho de que los soldados poder desobedecer es una limitación importante para los comandantes que podrían permitir que las condiciones del campo de batalla, o incluso las órdenes provenientes de sus propios superiores, erosionen su ética y su compromiso con la ley.

Quienes son optimistas acerca de la IA a menudo argumentan que las máquinas podrían interpretar y aplicar la ley mejor que los soldados humanos. Las máquinas pueden ser entrenadas sobre la ley misma (a partir de un repositorio de casos legales, sentencias y datos del campo de batalla), lo que podría hacerlas más “informadas” que un soldado promedio. Y las máquinas no enfrentan las mismas presiones que los soldados que enfrentan procesos judiciales por cometer errores, ya que no se les puede responsabilizar exactamente; Un problema para descomprimir en otro momento. Esto, a su vez, podría facilitarles rechazar pedidos ilegales en las condiciones adecuadas.

Entonces, ¿la respuesta es tan sencilla como dejar que las máquinas decidan? No exactamente. «Este ha sido un deseo y un impulso de los tecnólogos durante años», dijo Crootof. «¿Qué pasa si simplemente introducimos la ley en el sistema y hacemos que sólo haga cosas que sean legales? ¿No va eso a resolver las cosas?»

Sin embargo, interpretar y aplicar la ley no es un simple binario legal-ilegal. «Es muy específico del contexto», me dijo Crootof, «y, sinceramente, ese es el tipo de cosas que los humanos generalmente encuentran difíciles y en las que los sistemas de toma de decisiones de IA son aún peores». A menudo, determinar la legalidad de un acto se reduce a matices sutiles para los que no se puede programar: se le permite apuntar a un combatiente; no puedes apuntar a un combatiente herido o que se rinde. No se le permite apuntar a un civil; se le permite apuntar a un civil que participa directamente en las hostilidades. La diferencia entre un objetivo legal y uno ilegal puede reducirse al lenguaje corporal, la elección de vestimenta o incluso la intuición en el campo de batalla.

Como explicó Crootof, «Estos no son los tipos de análisis contextuales para los que la IA es buena».

Entonces ¿cuál es la solución?

Mientras que el poder de los soldados humanos para desobedecer serviría tradicionalmente como un control importante sobre el poder de los comandantes militares, aunque sea imperfecto, reemplazar a los soldados con máquinas que no tienen tales salvaguardias elimina una última capa de juicio sobre el uso de la fuerza. Y, sin embargo, las máquinas por sí mismas no siempre son capaces de tomar las decisiones necesarias para interpretar la ley, por lo que puede que tampoco sea apropiado dejar que la IA tenga la última palabra.

Entonces ¿cuál es la solución? Dada la forma en que la tecnología de inteligencia artificial ya se ha integrado completamente en el ejército, Crootof me dijo que podría estar en algún punto intermedio.

En lugar de programar la IA para rechazar órdenes que interpreta como ilegales, dijo Crootof, “lo que podría diseñarse para hacer es marcar esas zonas indeterminadas, esos análisis de zonas grises, para revisión humana o para una autoridad superior”. Cuando un sistema detecta señales contradictorias (un soldado enemigo que parece estar rindiéndose, por ejemplo), podría incitar al comandante a confirmar su selección o recordarle la ley aplicable.

De esta manera, se podría preservar el control de la autoridad de los comandantes en el campo de batalla sin ceder completamente el juicio sobre el uso de la fuerza a la máquina.

Aún no sabemos si OpenAI ha equipado sus modelos de “rechazo mínimo” con tales capacidades. Pero a medida que esas tecnologías se vuelven cada vez más centrales para la toma de decisiones militares, el público merece respuestas lo antes posible.