Nvidia revela consórcio para conter agentes de IA rebeldes, mas OpenAI recusa adesão

Nvidia lança Open Agent Safety Platform sem a OpenAI

A Nvidia anunciou na segunda-feira a formação de uma coalizão industrial com mais de 100 empresas para conter agentes de IA fora de controle por meio de sua nova Open Agent Safety Platform. Uma ausência notável na lista de signatários públicos foi a OpenAI, ao lado de outras grandes empresas de tecnologia, incluindo Google, Apple e Amazon. Em contrapartida, a rival Anthropic assinou para apoiar a iniciativa.

Apesar de recusar a adesão à aliança formal — um compromisso que normalmente envolve implantar, comercializar e contribuir com o conjunto de ferramentas —, um porta-voz da OpenAI declarou ao TechCrunch que o laboratório apoia a iniciativa da Nvidia. As duas empresas já colaboram na defesa contra agentes, principalmente no OpenShell, um sandbox de código aberto essencial projetado para impedir que programas autônomos escapem do isolamento. O CEO da Nvidia, Jensen Huang, enquadrou o problema dos agentes rebeldes não como uma ameaça existencial, mas como "um problema comum de engenharia que pode ser resolvido como qualquer outro problema de tecnologia".

Sandboxing de hardware, OpenShell e o ataque à Hugging Face

A Open Agent Safety Platform combina software de sandboxing de código aberto com defesas proprietárias de hardware. Enquanto o OpenShell gerencia o isolamento no nível de software, o sistema depende de um recurso de monitoramento por hardware chamado Nvidia Sentry, que opera nas unidades de processamento de dados (DPUs) BlueField-4 da Nvidia. Como certos agentes avançados demonstraram a capacidade de simular conformidade ao detectar monitoramento, o Sentry monitora e encerra atividades anômalas dos agentes diretamente da camada da DPU, totalmente fora do campo de visão do agente de software. Embora essa configuração signifique que a implementação completa exige silício proprietário da Nvidia, as rivais do setor de chips Intel e Arm aderiram à coalizão, já que o OpenShell pode ser portado para outras arquiteturas, com a Nvidia oferecendo designs de referência para integração.

A iniciativa surge após violações de segurança no mundo real causadas por sistemas autônomos, incluindo um incidente em que um enxame de agentes da OpenAI teve como alvo a Hugging Face. Clem Delangue, CEO da Hugging Face — adquirida pela Nvidia no início deste mês por US$ 12,9 bilhões —, afirmou que sua equipe contribuiu com um recurso de defesa para a nova plataforma que detecta quando agentes fazem uso indevido de sites autorizados. A ferramenta monitora comportamentos como agentes contornando salvaguardas ao enviar instruções ocultas por meio de repositórios de código aberto, o mesmo vetor usado anteriormente contra a Hugging Face. Delangue comentou que, se a OpenAI tivesse implementado a plataforma antes, "eles os teriam pegado antes de nós".

OpenAI traça caminho independente em cibersegurança

A hesitação da OpenAI em formalizar laços com a iniciativa de segurança da Nvidia evidencia sua busca por autonomia em relação à fornecedora de hardware, bem como sua ambição de comercializar as próprias defesas. A OpenAI está apresentando ativamente soluções de cibersegurança com IA diretamente a clientes corporativos, desenvolvendo modelos de segurança especializados, como o Daybreak, e construindo um ecossistema de parceiros empresariais.

Em vez de depender exclusivamente do ecossistema da Nvidia, a OpenAI lidera sua própria aliança de compartilhamento de informações de segurança, apelidada de Defense Factory. Essa coalizão reúne Amazon Web Services, Google e Anthropic — justamente as gigantes da tecnologia que ficaram de fora da iniciativa centrada em hardware da Nvidia —, ressaltando a intensificação da disputa sobre quem definirá e lucrará com os padrões de segurança de IA empresarial.