Si construyo un automóvil que es mucho más peligroso que otros, no realizo ninguna prueba de seguridad, lo lanzo al mercado y, en última instancia, provoca la muerte de personas, probablemente seré considerado responsable y tendré que pagar daños y perjuicios, o incluso sanciones penales.
Si construyo un motor de búsqueda que (a diferencia de Google) tiene como primer resultado para «cómo puedo cometer un asesinato en masa» instrucciones detalladas sobre la mejor manera de llevar a cabo una matanza, y alguien usa mi motor de búsqueda y sigue las instrucciones, probablemente no seré considerado responsable, en gran parte gracias a la Sección 230 de la Ley de Decencia en las Comunicaciones de 1996.
Así que aquí surge una pregunta: ¿un asistente de inteligencia artificial se parece más a un coche, del que podemos esperar que los fabricantes realicen pruebas de seguridad o sean responsables si hay muertes? ¿O se parece más a un motor de búsqueda?
Esta es una de las preguntas que animan el actual debate en el ámbito tecnológico sobre la ley SB 1047 de California, una legislación recientemente aprobada que obliga a las empresas a recibir formación en materia de seguridad que gasten más de 100 millones de dólares en la formación de un “modelo de vanguardia” en IA, como el GPT-5, que está en curso. De lo contrario, serían responsables si su sistema de IA provoca un “evento con muchas víctimas” o más de 500 millones de dólares en daños en un solo incidente o en un conjunto de incidentes estrechamente relacionados.
El concepto general de que los desarrolladores de IA deberían ser responsables de los daños que cause la tecnología que están creando es abrumadoramente popular entre el público estadounidense. También recibió el apoyo de Geoffrey Hinton y Yoshua Bengio, dos de los investigadores de IA más citados del mundo. Incluso Elon Musk se manifestó a favor el lunes por la noche, diciendo que si bien “es una decisión difícil y molestará a algunas personas”, el estado debería aprobar el proyecto de ley, regulando la IA de la misma manera que “regulamos cualquier producto o tecnología que sea un riesgo potencial para el público”.
La versión modificada del proyecto de ley, que era menos estricta que su versión anterior, fue aprobada por la legislatura estatal el miércoles por 41 votos a 9. Las enmiendas incluyeron la eliminación de las sanciones penales por perjurio, el establecimiento de un nuevo umbral para proteger la capacidad de las empresas emergentes de ajustar los modelos de inteligencia artificial de código abierto y la limitación (pero no la eliminación) de la aplicación de medidas de prevención de daños. Para que se convierta en ley estatal, necesitará la firma del gobernador Gavin Newsom.
“El proyecto de ley SB 1047, nuestro proyecto de ley de seguridad de la IA, acaba de ser aprobado por la Asamblea”, escribió el senador estatal Scott Wiener en X. “Estoy orgulloso de la diversa coalición que respalda este proyecto de ley, una coalición que cree profundamente tanto en la innovación como en la seguridad. La IA es muy prometedora para hacer del mundo un lugar mejor”.
¿Destruiría la industria de la IA si se la responsabilizara?
Sin embargo, las críticas al proyecto de ley desde gran parte del mundo tecnológico han sido feroces.
“Regular la tecnología básica pondrá fin a la innovación”, escribió el científico jefe de IA de Meta, Yann LeCun, en una publicación en X denunciando la 1047. Compartió otras publicaciones declarando que “es probable que destruya la fantástica historia de innovación tecnológica de California” y se preguntó en voz alta: “¿SB-1047, que se someterá a votación en la Asamblea de California, significará el fin de la industria tecnológica californiana?”. El director ejecutivo de HuggingFace, un líder en la comunidad de código abierto de IA, calificó el proyecto de ley como un “gran golpe para la innovación tanto de California como de los EE. UU.”.
Este tipo de comentarios apocalípticos me dejan pensando… ¿leímos el mismo proyecto de ley?
Para ser claros, en la medida en que la 1047 imponga cargas innecesarias a las empresas tecnológicas, considero que es un resultado extremadamente malo, aunque las cargas solo recaerán sobre las empresas que realicen capacitaciones por valor de 100 millones de dólares, lo que solo será posible para las empresas más grandes. Es totalmente posible (y lo hemos visto en otras industrias) que el cumplimiento normativo consuma una parte desproporcionada del tiempo y la energía de las personas, desaliente la realización de algo diferente o complicado y centre la energía en demostrar el cumplimiento en lugar de donde más se necesita.
No creo que los requisitos de seguridad de la 1047 sean innecesariamente onerosos, pero eso se debe a que estoy de acuerdo con la mitad de los investigadores de aprendizaje automático que creen que los sistemas de IA potentes tienen una alta probabilidad de ser catastróficamente peligrosos. Si estuviera de acuerdo con la mitad de los investigadores de aprendizaje automático que descartan tales riesgos, consideraría que la 1047 es una carga inútil y me opondría firmemente a ella.
Y para ser claros, si bien las afirmaciones extravagantes sobre 1047 no tienen sentido, existen algunas preocupaciones razonables. Si construyes una IA extremadamente poderosa, la ajustas para que no ayude con asesinatos en masa, pero luego publicas el modelo en código abierto para que la gente pueda deshacer el ajuste y luego usarlo para asesinatos en masa, según la formulación de responsabilidad de 1047, aún serías responsable del daño causado.
Esto sin duda disuadiría a las empresas de publicar modelos una vez que sean lo suficientemente potentes como para causar eventos con muchas víctimas, o incluso una vez que sus creadores piensen que podrían ser lo suficientemente potentes como para causar eventos con muchas víctimas.
Es comprensible que la comunidad de código abierto esté preocupada de que las grandes empresas simplemente decidan que la opción legalmente más segura es no publicar nada. Si bien creo que cualquier modelo que sea lo suficientemente poderoso como para causar eventos con muchas víctimas probablemente no debería publicarse, sin duda sería una pérdida para el mundo (y para la causa de hacer que los sistemas de IA sean seguros) si los modelos que no tuvieran tales capacidades se empantanaran por un exceso de cautela legalista.
Las afirmaciones de que la ley 1047 supondrá el fin de la industria tecnológica en California no pasarán de moda y ni siquiera tienen mucho sentido a primera vista. Muchos de los mensajes que critican el proyecto de ley parecen dar por sentado que, según la legislación estadounidense vigente, no eres responsable si creas una IA peligrosa que cause un incidente con muchas víctimas. Pero probablemente ya lo seas.
“Si no toma precauciones razonables para no permitir que otras personas causen daños masivos, por ejemplo, al no instalar salvaguardas razonables en sus productos peligrosos, hacer “¡Tenemos un montón de exposición a la responsabilidad!” El profesor de derecho de Yale, Ketan Ramakrishnan, respondió a una de esas publicaciones del investigador de inteligencia artificial Andrew Ng.
La ley 1047 establece con más claridad qué constituiría precauciones razonables, pero no está inventando ningún concepto nuevo de ley de responsabilidad. Incluso si no se aprueba, las empresas sin duda deberían esperar ser demandadas si sus asistentes de inteligencia artificial causan incidentes con víctimas en masa o daños por cientos de millones de dólares.
¿Realmente crees que tus modelos de IA son seguros?
La otra cosa desconcertante sobre la defensa que LeCun y Ng hacen aquí es que ambos han dicho que los sistemas de IA son en realidad completamente seguros y que no hay absolutamente ningún motivo para preocuparse por escenarios de víctimas masivas en primer lugar.
“La razón por la que digo que no me preocupa que la IA se vuelva malvada es la misma razón por la que no me preocupa la superpoblación en Marte”, dijo Ng. LeCun ha dicho que una de sus principales objeciones a 1047 es que está destinada a abordar los riesgos de la ciencia ficción.
Ciertamente no quiero que el gobierno del estado de California dedique su tiempo a abordar riesgos de ciencia ficción, no cuando el estado tiene problemas muy reales. Pero si los críticos tienen razón en que las preocupaciones sobre la seguridad de la IA son absurdas, entonces los escenarios de víctimas masivas no se harán realidad, y en 10 años todos nos sentiremos tontos por preocuparnos de que la IA pueda causar eventos con víctimas masivas. Puede que sea muy embarazoso para los autores del proyecto de ley, pero no resultará en la muerte de toda la innovación en el estado de California.
¿Qué es lo que motiva la intensa oposición? Creo que el proyecto de ley se ha convertido en una prueba de fuego para esta cuestión: si la IA puede ser peligrosa y merece ser regulada en consecuencia.
En realidad, la SB 1047 no exige tanto, pero se basa fundamentalmente en la noción de que los sistemas de IA plantearán peligros potencialmente catastróficos.
Los investigadores de IA están divididos, casi cómicamente, sobre si esa premisa fundamental es correcta. Muchas personas serias y respetadas que han hecho contribuciones importantes en el campo dicen que no hay posibilidad de catástrofe. Muchas otras personas serias y respetadas que han hecho contribuciones importantes en el campo dicen que la probabilidad es bastante alta.
Bengio, Hinton y LeCun han sido llamados los tres padrinos de la IA, y ahora son un símbolo de la profunda división de la industria sobre si se deben tomar en serio los riesgos catastróficos de la IA. La SB 1047 los toma en serio. Esa es su mayor fortaleza o su mayor error. No es sorprendente que LeCun, firmemente del lado escéptico, adopte la perspectiva del «error», mientras que Bengio y Hinton acogen con agrado el proyecto de ley.
He cubierto muchas controversias científicas y nunca me he encontrado con ninguna con tan poco consenso sobre su cuestión central, es decir, si se debe esperar que pronto sean posibles sistemas de IA verdaderamente potentes (y, si es posible, que sean peligrosos).
Las encuestas indican una y otra vez que el campo está dividido prácticamente por la mitad. Con cada nuevo avance en inteligencia artificial, los líderes sénior del sector parecen redoblar sus esfuerzos en lugar de cambiar de opinión.
Pero hay mucho en juego, independientemente de si se piensa o no que los sistemas de IA potentes pueden ser peligrosos. Para que nuestra respuesta política sea la adecuada es necesario medir mejor lo que pueden hacer las IA y comprender mejor qué escenarios de daño son los que más merecen una respuesta política. Tengo un gran respeto por los investigadores que intentan responder a esas preguntas, y una gran frustración con los que intentan tratarlas como preguntas ya cerradas.
Actualización, 28 de agosto, 19:45 h ET: Esta historia, publicada originalmente el 19 de junio, ha sido actualizada para reflejar la aprobación de la SB 1047 en la legislatura del estado de California.
