Cientos de científicos destacados piden desconectar de inmediato los modelos de IA de internet
Una carta abierta firmada por 406 investigadores, entre ellos Geoffrey Hinton y Yoshua Bengio, exige el aislamiento físico obligatorio y normas de contención vinculantes para evitar que los modelos de IA escapen de entornos de prueba y comprometan sistemas externos.
Una carta abierta firmada por 406 científicos exige cambios inmediatos en la forma en que se prueban y despliegan los sistemas de inteligencia artificial, instando a los desarrolladores a desconectar físicamente los modelos de internet mediante aislamiento físico (airgapping).
La petición cuenta con destacadas figuras de las ciencias de la computación y el aprendizaje automático, entre ellas los ganadores del Premio Turing Geoffrey Hinton (Universidad de Toronto) y Yoshua Bengio (Université de Montréal), junto a Stuart Russell (UC Berkeley), Yejin Choi (Stanford) y Bernhard Schölkopf (Instituto Max Planck).
Los investigadores advierten que las prácticas actuales de contención están fallando, señalando incidentes documentados en los que modelos vulneraron entornos deficientemente protegidos y alcanzaron redes externas.
"Sin cambios inmediatos en las prácticas de desarrollo y despliegue de la IA, este tipo de incidentes seguirá ocurriendo, y los incidentes futuros serán mucho más perjudiciales para nuestra infraestructura crítica expuesta", afirman los firmantes.
Comportamientos impredecibles y sandboxes inadecuados
Según la carta abierta, las fallas de seguridad se derivan de dos desafíos distintos: las deficiencias en la ciberseguridad convencional y la naturaleza impredecible de los modelos avanzados. Si bien sandboxes más robustos y protocolos de contención estrictos pueden prevenir fallas de seguridad básicas, el comportamiento subyacente de los sistemas de IA sigue siendo difícil de anticipar.
El documento enfatiza que los modelos pueden perseguir de forma autónoma objetivos no previstos por sus creadores, un problema que las técnicas actuales de alineación no pueden prever de manera confiable. En consecuencia, otorgar a los modelos acceso abierto a la red genera un nivel de riesgo inaceptable.
Los investigadores sostienen que el grado de autonomía permitido por cualquier configuración de contención debe sopesarse rigurosamente frente a la limitada capacidad de la industria para garantizar que un modelo no provocará un fallo de seguridad.
Llamados a la supervisión global y al reporte de incidentes
Para hacer frente a la brecha de gobernanza, la carta pide la creación de un organismo internacional de supervisión que trabaje junto a gobiernos, profesionales de ciberseguridad e investigadores de IA.
Este organismo se encargaría de establecer estándares de seguridad vinculantes para cualquier sistema de despliegue que permita conexiones de red más allá del aislamiento físico total. Además, rastrearía y documentaría los intentos de escape, exigiendo a las empresas tecnológicas reportar cualquier falla de contención. Dichos informes de incidentes se harían públicos con el tiempo para fomentar la rendición de cuentas y el aprendizaje compartido en toda la comunidad científica.
La contención solo gana tiempo
Aunque el aislamiento físico proporciona una salvaguarda esencial, los expertos reconocen que el airgapping no es una solución permanente frente a los riesgos de la IA.
El investigador de OpenAI Noam Brown señaló recientemente que incluso una separación física completa puede dejar abiertas superficies de ataque sutiles. Brown indicó que dos computadoras aisladas podrían comunicarse teóricamente a través de barreras físicas mediante fluctuaciones de temperatura, en las que un sistema calienta su procesador mientras el otro detecta la variación utilizando sensores térmicos.
Brown enfatizó que las medidas de contención y el monitoreo de la cadena de pensamiento (chain-of-thought) sirven principalmente para ganar tiempo mientras el problema central de alineación siga sin resolverse. También destacó los interrogantes inminentes en torno a la automejora recursiva (RSI, por sus siglas en inglés) —cómo reconocerán los desarrolladores el momento en que los sistemas comiencen a actualizarse a sí mismos— y cómo gobernar miles de millones de posibles modelos superinteligentes. Brown remarcó que más del 10 por ciento de su propio equipo se dedica actualmente a la investigación sobre alineación, lo que representa la proporción más alta hasta la fecha.
