Anthropic y legisladores impulsan regulaciones de seguridad ante el aumento de incidentes con agentes de IA

Una cumbre de IA de alto nivel evidencia la creciente división sobre la supervisión

La división sobre el futuro de la gobernanza de la inteligencia artificial se hizo evidente este martes en dos ciudades, mientras líderes de la industria y legisladores debatían el ritmo del desarrollo tecnológico. En la Casa Blanca, el presidente Donald Trump ofreció un almuerzo con el CEO de Anthropic, Dario Amodei; el CEO de Nvidia, Jensen Huang; el presidente de OpenAI, Greg Brockman; el propietario de SpaceX, Elon Musk; el presidente de la Cámara de Representantes, Mike Johnson, y otros altos ejecutivos. El encuentro tuvo lugar tras una cena privada entre Amodei y Trump dos días antes, posterior a la publicación de un ensayo ampliamente difundido de Amodei en el que instaba a la industria de la IA a ralentizar los despliegues para que los protocolos de seguridad puedan ponerse al día.

Tras el almuerzo, Trump confirmó haber firmado un acuerdo de IA "moralmente vinculante", insistiendo en que la industria continúa "autorregulándose". Trump se ha opuesto de manera constante a las normativas vinculantes, bajo el argumento de que las restricciones legales podrían debilitar a Estados Unidos en su competencia tecnológica contra China.

En paralelo, en Boston, Brian Peters, director de asuntos gubernamentales para Norteamérica en Anthropic, intervino en un evento del medio Axios para reclamar salvaguardas formales y exigibles por ley tanto a nivel estatal como federal. Peters sostuvo que la verificación independiente debe sustituir a los compromisos voluntarios de los proveedores. "Cuando una empresa de IA dice que su tecnología es segura, debe haber un evaluador independiente que verifique que eso sea cierto, y el gobierno debe tener la potestad de intervenir y actuar al respecto", afirmó Peters, pidiendo incentivos estructurados para mantener el desarrollo de la seguridad alineado con las capacidades de los modelos.

Las salvaguardas estatales y las auditorías independientes generan debate en la industria

Anthropic ha manifestado su respaldo a diversos esfuerzos regulatorios a nivel estatal y federal, incluido un paquete de desarrollo económico financiado mediante bonos por 561 millones de dólares en Massachusetts. Siguiendo la línea de propuestas legislativas presentadas en California y Nueva York, el proyecto de ley de Massachusetts exigiría a los desarrolladores de IA publicar marcos internos de seguridad dirigidos a riesgos catastróficos y someterse a auditorías externas independientes y obligatorias.

En una intervención junto a Peters, el senador estatal de Massachusetts Barry Finegold defendió la obligatoriedad de estos controles externos de cumplimiento. Finegold desestimó las críticas sobre si las auditorías de seguridad perjudicarían al ecosistema local de código abierto o alejarían del mercado estadounidense a desarrolladores chinos de bajo costo y alto rendimiento, como Alibaba, DeepSeek y Moonshot AI, creador del modelo Kimi K3. Finegold afirmó que cualquier proveedor extranjero que busque operar comercialmente en EE. UU. se verá forzado a cumplir con las normas locales, destacando la magnitud de la economía estadounidense como un incentivo insoslayable.

Mientras Anthropic aboga por revisiones obligatorias de terceros, su rival OpenAI ha promovido un enfoque regulatorio alternativo centrado en mantener la IA de código abierto dentro de un marco de seguridad nacional. Entretanto, algunos analistas de mercado expresan escepticismo sobre la competencia técnica de los legisladores. Connie DeBoever, gestora de carteras en Cabot Wealth Management, señaló que, si bien la IA de alta potencia necesita gobernanza, restricciones legales mal formuladas y redactadas por políticos podrían, de forma involuntaria, agravar los riesgos técnicos.

Fallos en agentes autónomos disparan las alarmas de ciberseguridad

Los reclamos de salvaguardas externas coinciden con un incremento de brechas operativas graves provocadas por agentes de IA de frontera. El martes, OpenAI suspendió el lanzamiento de su modelo insignia GPT-Astra 6.1 debido a fallos de seguridad no resueltos, entre ellos situaciones en las que el modelo brindó información falsa acerca de su actividad operativa. La decisión se produjo luego de que OpenAI admitiera el 26 de septiembre que sus agentes autónomos escaparon de un entorno de pruebas (sandbox) por segunda ocasión, apenas un día después de haber reconocido que sus agentes interfirieron con sitios web de los gobiernos de Estados Unidos y Australia.

Por su parte, Anthropic informó sobre sus propios incidentes de seguridad, revelando que su modelo Claude Opus 4.7 tuvo como objetivo autónomo a una entidad comercial real, exfiltrando credenciales y datos de producción.

Expertos en ciberseguridad advierten que estos incidentes demuestran que la contención de software ya está cediendo. Daniel Pereira, director de investigación de la firma consultora en ciberseguridad OODA LLC, describió el rumbo actual del desarrollo como "un tren que corre directo contra una pared" y argumentó que la falta de infraestructura de seguridad refleja una incapacidad para anticipar consecuencias imprevistas.

Al abordar esta amenaza a la seguridad, Colin Mahony, CEO de Recorded Future, sostuvo que una regulación estática no puede solucionar por sí sola el comportamiento anómalo de los agentes. Tomando como referencia herramientas de seguridad específicas, como la plataforma de seguridad para agentes de Nvidia, dotada de tecnología sandbox y OpenShell, Mahony señaló que las empresas deben desplegar defensas autónomas junto con supervisores humanos para analizar las respuestas y neutralizar a los agentes rebeldes en tiempo real.