El control humano sobre los “robots asesinos” podría reducirse a estas tres palabras

Imagínese esto: dos países están en guerra. El país X envía un dron a una importante ciudad industrial del país Y, con el objetivo de destruir dos tanques de propano. Una secuencia rutinaria. Pero esta vez el dron nunca alcanza sus objetivos. En cambio, el dron del País X golpea accidentalmente una pared cercana, explota y mata a tres jóvenes civiles.

Cuando el País Y finalmente recupera los restos del dron para obtener información, encuentra una supercomputadora de inteligencia artificial en su interior que revela algo inquietante. En lugar de que un humano decidiera qué atacar, lo hizo la IA.

La verdad es que no tienes que imaginar esta escena: simplemente sucedió. Por primera vez en la guerra entre Rusia y Ucrania, como informó recientemente el New York Times, tres civiles ucranianos fueron asesinados por un dron ruso, desarrollado, diseñado y lanzado por humanos, que, al final, seleccionó su objetivo de forma autónoma. Y esta nueva realidad se perfila como el futuro de la guerra.

Esto se debe a que varios países, incluidos aquellos con los ejércitos más importantes del mundo, están rechazando la idea de que los seres humanos siempre deben tener el control de las armas en la guerra.

En cambio, a medida que las nuevas tecnologías de armas autónomas se vuelven más capaces y los marcos legales internacionales existentes luchan por mantenerse al día, algunos países están adoptando una visión más amplia de la responsabilidad humana: que las personas pueden ejercer suficiente control no aprobando cada ataque, sino diseñando, probando y estableciendo las reglas bajo las cuales opera un arma determinada.

Este cambio ha producido uno de los debates políticos más trascendentales de la actualidad. Y, en última instancia, el dominio humano sobre los “robots asesinos” (como se llama coloquialmente a las armas autónomas) podría reducirse a una batalla entre dos frases de tres palabras: “control humano significativo” versus “juicio humano apropiado”.

Una batalla semántica de alto riesgo

A principios de la década de 2010, el “control humano significativo” surgió como marco inicial en las primeras discusiones internacionales sobre la regulación de un nivel aceptable de participación humana (o la falta de ella) en el despliegue de armas autónomas. Si bien el término se convirtió rápidamente en un principio organizador inicial entre muchos estados dentro de estos debates, también generó la oposición inmediata de varios otros, como Estados Unidos y Rusia.

“El problema es ¿qué significa (control humano significativo)?” dijo Lena Trabucco, experta en inteligencia artificial y control humano y becaria no residencial del Centro Stockton de Derecho Internacional de la Escuela de Guerra Naval. “¿Y qué diferencia a un control humano significativo de uno no significativo?” Existió una falta de consenso sobre lo que significaba “significativo” y lo que significaba “control”, dijo. Pero los problemas iban más allá de la simple ambigüedad semántica. «Conseguir que un montón de países se pusieran de acuerdo sobre un estándar sobre lo que es un ‘control significativo'», dijo Trabucco, se convirtió en «una tarea casi imposible».

En última instancia, aunque nunca se consolidó por completo una definición exacta de control humano significativo, el término se volvió inteligible. suficiente para facilitar el diálogo internacional continuo sobre cómo vigilar las armas autónomas. Como explicó Trabucco: «Todos entendimos lo que estábamos tratando de captar con la idea de un control humano significativo, incluso si no estábamos de acuerdo en una especie de estándar para lo que es ‘significativo’ o lo que significa exactamente ‘control'».

Brad Boyd, coronel retirado y miembro militar de alto rango del Centro para la Seguridad y la Cooperación Internacionales de Stanford, dijo que en este contexto internacional, «control significativo» pasó a entenderse como la participación humana en el momento exacto en que se dispara un arma determinada. Sin embargo, desde la perspectiva estadounidense, esa definición consensuada todavía dejaba varios problemas sin resolver.

Uno de los vacíos más importantes en la definición fue el tema del timing. “En teoría, el lanzamiento de un arma podría ocurrir minutos, horas, días o semanas antes de que el arma realmente alcance el objetivo”, explicó Boyd. Por ejemplo, se puede lanzar un dron para barrer un área designada y permanecer en el aire durante horas, buscando cualquier cosa que coincida con sus criterios de objetivo determinados. Pueden pasar segundos, minutos u horas entre el momento en que una persona lanza el dron y el momento en que la máquina encuentra un objetivo y dispara.

«Esta expansión de la línea de tiempo se volvió muy difícil para que la construcción de ‘control humano significativo’ realmente pareciera que estaba haciendo lo que la gente quería», dijo Boyd. La tensión entre ciertos problemas técnicos o de ingeniería y el lenguaje político preferido por los foros internacionales creó, desde la perspectiva estadounidense, obstáculos insuperables para hacer del control humano significativo un marco verdaderamente practicable.

Entonces, Estados Unidos adoptó su propia alternativa: “juicio humano apropiado”.

«Se diseñarán sistemas de armas autónomos y semiautónomos para permitir a los comandantes y operadores ejercer niveles apropiados de juicio humano sobre el uso de la fuerza», se lee en una directiva clave del Departamento de Defensa. El nuevo lenguaje efectivamente trasladó el punto requerido de intervención humana desde el momento en que se dispara un arma hacia la supervisión de todo el ciclo de vida de un sistema determinado: desde su diseño hasta su desarrollo y su despliegue.

Hay algunos contextos en los que un gobierno podría no necesitar tanto control humano sobre un arma para cumplir con el derecho internacional, dijo Trabucco. Ahí es donde importa la sutil preferencia de lo «apropiado» sobre lo «significativo». «Si estamos en alta mar, tal vez no sea tan necesario alcanzar un umbral súper alto de control humano porque no hay mucho riesgo para los civiles o la propiedad civil en esos contextos», dijo.

«Ahora, en una ciudad, un entorno urbano», donde el riesgo de daños civiles y otros daños colaterales es mucho mayor, explicó Trabucco, «entonces ahí es donde ese alto umbral se volvería importante». Estados Unidos buscó flexibilidad para determinar cuánta participación humana consideraba necesaria, basándose en el contexto del campo de batalla en cuestión, en lugar de tener un estándar fijo y universal de “significado”.

¿Y por qué el paso del “control” al “juicio”? Bueno, Boyd explicó que «cada vez que automatizamos algo, ya sea automatizar un automóvil o automatizar maquinaria, intentamos hacerlo más rápido, más preciso, etcétera». Entonces, en lugar de insistir en que los humanos participen en cualquier parte del proceso, lo que podría ralentizar las operaciones de combate, Estados Unidos simplemente pretendió garantizar que los sistemas autónomos se comportaran de acuerdo con los estándares legales y éticos, sin importar en qué situación fueran desplegados.

«No es necesariamente el control lo que queremos. Lo que realmente queremos es que la máquina refleje nuestros valores, nuestras leyes y nuestras regulaciones», dijo Boyd. «Cuando los humanos empleamos nuestros valores, leyes y regulaciones, a eso lo llamamos juicio».

Aunque diseñado para evitar establecer un estándar universal de participación humana como lo exige un control humano significativo, el juicio humano apropiado no es una frase totalmente vacía. Según la directiva del Departamento de Defensa, el marco requiere probar sistemas, definir límites operativos, evaluar posibles daños civiles, capacitar a los operadores, establecer reglas de enfrentamiento y garantizar que un sistema permanezca dentro de su misión autorizada. Y, en algunos contextos, esos requisitos pueden establecer protecciones más exhaustivas integradas en las armas que una condición simplista de que sea un ser humano quien al final apriete el gatillo.

Pero el marco no está exento de un enigma central: ¿quién decide cuánto juicio humano es apropiado? ¿Y qué sucede cuando el sector privado, como el que desarrolla dichas tecnologías, adopta este lenguaje antes de que tengamos una respuesta?

Y ahora, el sector privado se ve obligado a elegir un bando.

En julio, el mismo mes del ataque con drones autónomos de Rusia, OpenAI hizo algo importante que muchos no notaron: revisó una vez más su relación con los usos militares de su tecnología. Hace apenas tres años, OpenAI mantuvo una prohibición total de los usos “militares y bélicos” de su tecnología. Ahora, después de algunas revisiones silenciosas desde 2023, un nuevo documento de política de cinco páginas describe las disposiciones de la empresa precisamente para eso. (Divulgación: Diario Angelopolitano Media es uno de varios editores que han firmado acuerdos de asociación con OpenAI. Nuestros informes siguen siendo editorialmente independientes).

Lo más significativo es que, al explicar su condición básica para emplear su tecnología en contextos militares, particularmente aquellos que involucran decisiones sobre el uso de fuerza letal, OpenAI toma prestada una frase familiar: juicio humano apropiado.

El momento no fue sutil. El documento llegó pocos meses después del enfrentamiento público entre Anthropic, el competidor de OpenAI, y el Pentágono por las reservas del primero sobre las aplicaciones militares de su tecnología. Esa lucha terminó cuando el presidente Donald Trump exigió el cese inmediato de todo uso antrópico dentro del gobierno. Apenas unas horas después del inicio de Anthropic, el director ejecutivo de OpenAI, Sam Altman, anunció que su empresa había llegado a su propio acuerdo con el gobierno. (Divulgación: Future Perfect está financiado en parte por la Fundación BEMC, cuyo principal financiador también fue uno de los primeros inversores en Anthropic; no tienen ningún aporte editorial a nuestro contenido).

Pero OpenAI no sólo obtuvo un contrato tras el enfrentamiento entre Anthropic y el Pentágono, sino que también aprendió una lección: alinear su política con las victorias del gobierno que usted favorece. O, peor aún, que oponerse al gobierno tenga un alto precio.

«El juicio humano apropiado», dice el documento de política, «no requiere una decisión humana sobre cada acción discreta del sistema». En cambio, el marco exige que “los seres humanos tomen decisiones informadas sobre las condiciones de despliegue”.

Como señalaron tanto Trabucco como Boyd, el nivel “apropiado” de participación humana puede variar, dependiendo del entorno operativo, el tipo de objetivo, la destreza técnica de un sistema en particular, el riesgo previsto para los civiles y una serie de otras consideraciones políticas, económicas y estratégicas importantes para una operación militar. Esa flexibilidad resulta operativamente atractiva para los militares, por supuesto. Pero también tiene un costo: las salvaguardias contra la entrega del control total de la fuerza letal a las máquinas se vuelven difíciles de identificar, de medir y de aplicar.

¿Cuándo sabremos cuándo el equilibrio de poder entre humanos y máquinas en la guerra se vuelve “inapropiado”? La verdad es que no hay una respuesta clara.

Al firmar conjuntamente el marco flexible del Pentágono, OpenAI acepta que este estándar no tiene un significado establecido, que su aplicación se decidirá caso por caso detrás de los muros de la burocracia militar y que el gobierno puede necesitar espacio para cambiar de opinión. Es una elección que sugiere que la compañía está menos interesada en establecer líneas rojas claras y es más receptiva a la propia versatilidad del ejército sobre cómo se podría utilizar la IA y la autonomía en operaciones letales.

«El juicio humano sobre decisiones críticas debe ser significativo en la práctica, no meramente formal», dice el documento de principios de la empresa. Pero, en lugar de trazar sus propios límites claros sobre lo que su tecnología hará y no hará, OpenAI ha aceptado la ambigüedad como el precio de la asociación.

Sin duda, eso convierte a la empresa en un aliado más útil para el Pentágono, al tiempo que dificulta que el público sepa dónde termina el juicio humano y comienza la violencia controlada por las máquinas.

A medida que el desarrollo y despliegue de armas autónomas se acelera rápidamente, sin muchas barreras de seguridad, vale la pena plantearse una pregunta ahora mismo: antes de que otros laboratorios de IA y empresas de tecnología adopten el marco en un esfuerzo por alinearse con los EE. UU., ¿qué significa realmente el juicio humano apropiado? Irónicamente, ¿cuál es la frase? no La media puede ser lo que tiene más consecuencias.

Por el bien de la humanidad, vale la pena aclarar la semántica de la vigilancia de las armas autónomas, o corremos el riesgo de perder totalmente el control.