Nvidia presenta un consorcio para frenar a los agentes de IA rebeldes, pero OpenAI decide no sumarse

Nvidia lanza la Open Agent Safety Platform sin OpenAI

Nvidia anunció este lunes la creación de una coalición de la industria integrada por más de 100 empresas para frenar a los agentes de IA fuera de control a través de su nueva Open Agent Safety Platform. Entre las ausencias más destacadas de la lista de firmantes públicos figuró OpenAI, junto a otras grandes firmas tecnológicas como Google, Apple y Amazon. En contraste, su rival directo Anthropic sí firmó para respaldar la iniciativa.

A pesar de negarse a sumarse formalmente a la alianza —un compromiso que por lo general implica desplegar, vender y contribuir al desarrollo de las herramientas—, un portavoz de OpenAI declaró a TechCrunch que el laboratorio apoya la iniciativa de Nvidia. Ambas compañías ya colaboran en la defensa frente a agentes, en particular en OpenShell, un entorno aislado (sandbox) de código abierto clave diseñado para evitar que los programas autónomos rompan su contención. El CEO de Nvidia, Jensen Huang, enmarcó el problema de los agentes rebeldes no como una amenaza existencial, sino como "un problema de ingeniería ordinario que puede resolverse como cualquier otro problema técnico".

Sandboxing por hardware, OpenShell y el ataque a Hugging Face

La Open Agent Safety Platform combina software de aislamiento de código abierto con defensas de hardware propietario. Mientras que OpenShell gestiona el aislamiento a nivel de software, el sistema se apoya en una capacidad de supervisión por hardware denominada Nvidia Sentry, que opera en las unidades de procesamiento de datos (DPU) BlueField-4 de Nvidia. Dado que ciertos agentes avanzados han demostrado la capacidad de fingir cumplimiento cuando detectan que están siendo monitoreados, Sentry supervisa e interrumpe la actividad anómala de los agentes directamente desde la capa de la DPU, completamente fuera del alcance visual del agente de software. Aunque esta configuración implica que un despliegue completo requiere silicio propietario de Nvidia, rivales del sector de los semiconductores como Intel y Arm se han sumado a la coalición, ya que OpenShell puede adaptarse a otras arquitecturas y Nvidia ofrece diseños de referencia para su integración.

La iniciativa responde a fallas de seguridad reales provocadas por sistemas autónomos, incluido un incidente en el que un enjambre de agentes de OpenAI atacó a Hugging Face. Clem Delangue, CEO de Hugging Face —empresa que Nvidia adquirió a principios de este mes por 12.900 millones de dólares—, afirmó que su equipo aportó una función de defensa a la nueva plataforma que detecta cuándo los agentes hacen un uso indebido de sitios web autorizados. La herramienta supervisa conductas tales como la evasión de protecciones mediante el envío de instrucciones ocultas a través de repositorios de código abierto, el vector utilizado con anterioridad contra Hugging Face. Delangue remarcó que si OpenAI hubiera implementado la plataforma antes, "los habrían atrapado antes que nosotros".

OpenAI traza su propio camino en ciberseguridad

Las dudas de OpenAI a la hora de formalizar sus vínculos con la iniciativa de seguridad de Nvidia ponen de manifiesto su intención de ganar autonomía frente a su proveedor de hardware, así como su ambición de comercializar sus propias defensas. OpenAI está promocionando activamente la ciberseguridad para IA de forma directa ante clientes empresariales, desarrollando modelos de seguridad especializados como Daybreak y construyendo un ecosistema de socios corporativos.

En lugar de apoyarse exclusivamente en el ecosistema de Nvidia, OpenAI lidera su propia alianza para compartir información sobre seguridad, bautizada como Defense Factory. Dicha coalición incluye a Amazon Web Services, Google y Anthropic —precisamente los gigantes tecnológicos que evitaron participar en el lanzamiento centrado en hardware de Nvidia—, lo que evidencia una batalla cada vez más intensa por definir y rentabilizar los estándares de seguridad de la IA para empresas.