TORONTO – Cuando una empresa está desarrollando tecnología que podría transformar totalmente el mundo (tecnología tan secreta y de alto riesgo que puede sustentar el futuro de la geopolítica), se podría esperar que sus líderes dominen los aspectos básicos de la seguridad.
Conceptos básicos como, por ejemplo, no tener una relación extramatrimonial con un presunto espía chino. Conceptos básicos como no vender la tecnología a alguien que pueda ayudar a pasarla de contrabando a un importante adversario extranjero.
En cambio, Estados Unidos consiguió a Jensen Huang, director ejecutivo del fabricante de chips de inteligencia artificial Nvidia, quien renunció el jueves después de admitir que había tenido una aventura de ese tipo. La mujer en cuestión, Alice Huang, trabajaba para una empresa llamada Megaspeed, que compraba chips a Nvidia por valor de miles de millones de dólares. Megaspeed está bajo investigación por presunto contrabando de chips a China.
El escándalo de los espías plantea serias dudas sobre la seguridad en el mundo empresarial de la IA. ¿Cómo es posible que un presunto espía chino se haya incorporado tan fácilmente a Nvidia, una de las empresas más valiosas del mundo y un enorme activo estratégico para Estados Unidos en la carrera mundial de la IA?
Sin embargo, lo que es aún más inquietante es que Nvidia es sólo la punta del iceberg.
De hecho, justo cuando la historia de Huang estaba saliendo a la luz, algunos de los principales investigadores de IA del mundo se reunieron en Toronto para las Conferencias Hinton, donde el «padrino de la IA», Geoffrey Hinton, fue el anfitrión del pionero de la alineación de la IA, Paul Christiano, para una serie de charlas. Yo estuve presente y, sorprendentemente, no escuché mencionar el escándalo de Huang ni una sola vez. La atención se centró en cómo las empresas de vanguardia de IA están avanzando en la construcción de esta tecnología increíblemente poderosa a pesar de que no pueden mantenerla segura ni protegerla. Desde hace meses, OpenAI y Anthropic han tenido sus propios problemas de seguridad vergonzosos, incluido el espionaje corporativo y las infracciones cibernéticas.
“No somos capaces de asegurar adecuadamente los desarrollos de IA”, reconoció sin rodeos en el evento Christiano, quien recientemente se unió a la junta directiva de una organización sin fines de lucro OpenAI. «Necesitamos poder defender modelos y algoritmos del robo».
Irónicamente, la seguridad nacional es una gran parte de la lógica de operación de las grandes empresas de IA. OpenAI y Anthropic, respaldados por la política de la Casa Blanca, justifican su vertiginosa velocidad en la carrera de la IA diciendo que Estados Unidos no puede permitirse el lujo de dejar que China gane. Y Anthropic recientemente justificó en gran medida la redacción de un informe independiente clave sobre el progreso de su IA afirmando que no puede permitirse el lujo de dejar que China recopile sus secretos.
Pero eso puede ser el equivalente a preocuparse de haber dejado la ventana entreabierta cuando la puerta de entrada se abre de par en par.
«Estoy frustrado con muchas empresas porque simultáneamente utilizan la seguridad como un garrote multiusos con el que retener información (incluso información que es de gran interés para el público conocer) y, sin embargo, tienen una seguridad terrible», me dijo Daniel Kokotajlo, un ex investigador de OpenAI que se convirtió en un destacado denunciante. (Divulgación: Diario Angelopolitano Media es uno de varios editores que han firmado acuerdos de asociación con OpenAI. Nuestros informes siguen siendo editorialmente independientes).
Si bien la historia del asunto de Huang ha encendido la imaginación, la verdadera lección que se puede extraer de su espectacular caída no es que fuera excepcionalmente débil en materia de seguridad, sino que era notablemente similar a los otros grandes actores de la IA. Están pidiendo al mundo que confíe en ellos mientras afirman que están construyendo un dios máquina (y, en el caso de Anthropic, persiguiendo una oferta pública inicial de 1,4 billones de dólares sobre esa base), pero no han conseguido la seguridad básica.
¿OpenAI y Anthropic prácticamente están revelando sus secretos debido a una mala seguridad?
OpenAI reveló el mes pasado que había encontrado un dispositivo de grabación en una sala de conferencias donde se llevan a cabo debates delicados. Se alega que Abdulrahman Alfozan, un ciudadano saudí que trabaja como ingeniero en OpenAI, conectó la grabadora al puerto USB de un televisor y simplemente la envolvió en papel higiénico. Se encontró otra grabadora en una bolsa en otra habitación. En la cuenta de chatbot de su cónyuge también aparecieron preguntas sobre cómo construir un dispositivo que registre continuamente y cifre datos.
«En este momento, no tenemos indicios de que este individuo haya accedido o extraído de manera inapropiada pesos de modelos, código fuente o datos de clientes», dijo OpenAI el mes pasado, y agregó: «Nuestro programa de seguridad está diseñado para proteger contra una amplia gama de actores de amenazas, desde riesgos internos hasta ciberdelincuentes y estados nacionales».
Pero el incidente fue preocupante. Alfozan había estado trabajando en OpenAI desde junio de 2025. El dispositivo de grabación estuvo en esa sala de conferencias durante un par de días antes de que OpenAI lo descubriera. Tal vez Alfozan no fuera lo suficientemente sofisticado como para robar los pesos de los modelos (los miles de millones de números que dan forma a cómo un sistema de inteligencia artificial convierte la entrada en salida), pero ¿y si hubiera sido un poco más cuidadoso o inteligente?
OpenAI también ha tenido debilidades de seguridad de otro tipo, y no, no se trata sólo del notorio incidente de Hugging Face de este verano. De los que conocemos (a veces solo se revelan más tarde), destaca un ejemplo reciente: un grupo de hackers de “sombrero blanco”, cuyo objetivo es encontrar vulnerabilidades pero no dañar a la empresa, descubrió una manera de acceder a las cuentas ChatGPT de los empleados de OpenAI, donde potencialmente se están realizando investigaciones confidenciales. Toda la operación duró sólo 72 horas.
En Anthropic, un grupo de ex empleados de DOGE que fundaron una startup de inteligencia artificial llamada Cathedral lograron violar los sistemas internos de Anthropic en menos de 12 horas. Según se informa, accedieron al Slack de la empresa, donde los empleados intercambian mensajes sobre los modelos de última generación de la empresa, así como transcripciones de reuniones.
«Supongo que Slack contendría suficiente información para tener una buena idea de lo que está haciendo la empresa y cómo están entrenando sus IA; básicamente, los secretos jugosos estarían ahí», me dijo Kokotajlo. «Y yo diría que obtener los secretos algorítmicos es aproximadamente un 80 por ciento tan bueno como obtener todo, incluidos los pesos del modelo».
Los presuntos espías (como Alice Huang o Abdulrahman Alfozan) y las infracciones cibernéticas (como las dirigidas a OpenAI y Anthropic) son obviamente diferentes tipos de problemas de seguridad que exigen tipos muy diferentes de controles internos. Pero para Kokotajlo y otros, tiene sentido pensar en todos ellos bajo el mismo paraguas: una seguridad débil. Y todo apunta a una tendencia que parece común entre las empresas de IA más poderosas: están priorizando el rápido avance tecnológico sobre el proceso quizás más aburrido y lento de garantizar que su trabajo sea seguro.
«Demuestran que las empresas están muy lejos de tener la seguridad adecuada para protegerse de un actor estatal con buenos recursos», dijo Kokotajlo, y agregó: «Si China quiere obtener las cosas, China las obtendrá».
Todo esto sucede en el contexto de la agresiva destilación de los modelos estadounidenses por parte de China, que implica entrenar un nuevo modelo a partir de uno más avanzado. Es una forma de obtener capacidades poderosas sin tener que incurrir en el costo real, un poco como hacer trampa en un examen copiando a un mejor estudiante. Por ejemplo, Anthropic descubrió que el laboratorio chino DeepSeek ha estado utilizando Claude para mejorar sus modelos, lo que no es una infracción per se, pero ilustra cuán vigorosamente China está aprovechando la investigación de las empresas estadounidenses.
Kokotajlo también enfatizó que hay otro grupo de incidentes de seguridad que deberían preocuparnos: los ataques perpetrados contra empresas por sus propios modelos de IA desalineados. Mucha gente olvida que en el incidente de Hugging Face, los agentes de OpenAI no solo piratearon Hugging Face: los propios sistemas de OpenAI también fueron violados. La caja de arena destinada a contener a los agentes estaba lejos de ser hermética y escaparon.
«Deberíamos considerar las IA como una amenaza interna», dijo Kokotajlo. «Y tampoco parece que estas empresas lo hayan bloqueado muy bien».
Las principales empresas de IA no pueden seguir utilizando las prácticas de seguridad de una startup
Hay tres razones principales por las que la seguridad en las empresas fronterizas de IA no ha estado a la altura, según David Robinson, quien dirigió el trabajo de transparencia para el equipo de seguridad de OpenAI hasta que se fue en septiembre.
Uno es el hecho de que las empresas están creando agentes de inteligencia artificial tan capaces que puede resultar realmente difícil (incluso para sus creadores) evitar que causen daños. «Estamos entrenando sistemas para que sean buenos en la realización de ataques del tipo de los que los laboratorios ahora también intentan defenderse internamente», me dijo Robinson. «Esa es una situación desafiante».
También hay un problema cultural. «Si miras retrospectivamente el incidente de Hugging Face, está claro que en ese momento OpenAI no había invertido lo suficiente en controles de ciberseguridad, y creo que parte de la razón de esto fue que hay un nivel (más alto) de caché asociado con trabajar en la alineación», o el problema de cómo lograr que las IA hagan lo que los humanos quieren que hagan, dijo Robinson. «Algunas de las preguntas prácticas del día a día sobre nuestra postura de ciberseguridad, aunque las personas que trabajan en esas preguntas son extremadamente buenas, creo que no eran el mismo tipo de prioridad organizacional que debía ser».
Finalmente, está el hecho de que los incentivos del mercado empujan a las empresas de IA a acelerar el desarrollo de la tecnología lo más rápido posible.
«La presión del tiempo sobre la empresa», dijo Robinson, «hizo que fuera muy difícil ser lo suficientemente cuidadoso». Y aunque los investigadores que todavía trabajan en OpenAI ahora dicen que la compañía ha mejorado dramáticamente en materia de seguridad, Robinson señaló que esas presiones competitivas «continúan existiendo».
Esta es una tendencia bien documentada en la empresa. «La seguridad de OpenAI parece ser la que se esperaría de un laboratorio de investigación que creció a un ritmo vertiginoso durante cuatro años y se centró más en vencer a sus competidores que en proteger su infraestructura», dijo Joshua Saxe, director de tecnología de la firma de seguridad de IA Abundant Security, al New York Times después del incidente de Hugging Face.
La propia OpenAI ha reconocido implícitamente que la mejora de las medidas de seguridad a veces se produce «a costa de la velocidad de la investigación», como escribió en un memorando público después del incidente.
Pero si una empresa toma atajos en materia de seguridad, en última instancia no podrá proteger su ventaja sobre otras. En todo caso, acaba ayudando a sus adversarios a correr contra él aún más rápido.
Como advirtieron recientemente Kokotajlo y sus colegas del AI Futures Project cuando escribieron sobre la búsqueda de las empresas para construir un investigador de IA (SAR) sobrehumano, una IA que sea tan buena como el mejor investigador humano: «Si entrenamos SAR en el futuro inmediato, los algoritmos probablemente se filtrarán a China, y tal vez también los pesos del modelo. Las empresas de IA tienen muy poca seguridad en este momento, por lo que estamos en camino de que SAR se filtre a China».
Y no se trata sólo de que una mala seguridad pueda hacer que a las empresas estadounidenses les resulte contraproducente seguir avanzando. Su debilidad en materia de seguridad también podría dificultarles reducir la velocidad, incluso si ellos mismos quisieran hacerlo.
En su conferencia de esta semana en Toronto, Christiano nos pidió a todos los presentes que imaginemos un escenario que, según dijo, actualmente parece probable: llegamos a un punto en el que un mayor progreso en IA parece arriesgado. En Estados Unidos existe una demanda de desaceleración. Pero también existe una alta probabilidad de que los modelos o algoritmos de IA ya se hayan filtrado a un adversario como China.
“Ahora nos enfrentamos a un dilema entre proceder con una tecnología que consideramos insegura o arriesgarnos a competir con un adversario que tiene los mismos recursos, que ha adoptado esos algoritmos y tal vez esté dispuesto a tolerar un riesgo mayor”, dijo Christiano, mientras los cientos de personas sentadas a mi alrededor parecían visiblemente tensas. «Creo que esa es una de las formas más probables en que terminemos en una situación extremadamente mala».
