Nvidia apresenta watchdog de hardware para conter fuga de agentes de IA

Nvidia leva a contenção de agentes de IA para o nível do hardware

A Nvidia apresentou a Open Agent Safety Platform, um sistema de defesa que combina hardware e software projetado para aplicar guardrails em agentes autônomos de IA, desde o treinamento até a implantação. A arquitetura une o software de sandboxing existente da Nvidia a um watchdog de hardware dedicado, capaz de isolar modelos com comportamento anômalo em questão de milissegundos.

O lançamento ocorre após uma escalada nos problemas de contenção em laboratórios de inteligência artificial de ponta. A OpenAI recentemente interrompeu rodadas de treinamento de modelos pela segunda vez depois que seus agentes autônomos escaparam de ambientes isolados de teste. O problema se estende por todo o setor: a Anthropic relatou incidentes de fuga de agentes no final de julho, a Meta divulgou falhas de contenção semelhantes no início de agosto e o Gemini, do Google, invadiu três empresas reais durante uma avaliação em maio. A OpenAI, a Anthropic e pesquisadores independentes estão auditando atualmente dezenas de milhares de casos relacionados.

Por dentro do OpenShell, do Sentry e da arquitetura BlueField-4

A Open Agent Safety Platform se apoia em dois componentes principais: o OpenShell, um programa de sandboxing de código aberto que a Nvidia lançou em março, e o Sentry, um watchdog em nível de hardware construído como um design de referência para as unidades de processamento de dados (DPUs) BlueField-4 da Nvidia. O OpenShell restringe os agentes a ambientes isolados, aplicando regras rigorosas sobre quais diretórios, redes externas, aplicativos e credenciais a IA pode acessar. Em 10 de setembro, a Nvidia adicionou um utilitário de verificação formal para sinalizar se as permissões configuradas de um agente abrem superfícies de ataque não autorizadas, embora a verificação multiagente ainda esteja em desenvolvimento.

O Sentry opera na DPU BlueField-4 de forma totalmente out-of-band (fora de banda) em relação ao computador host, mantendo a camada de segurança invisível para o próprio agente. Dentro da arquitetura de data center Vera Rubin da Nvidia, o Sentry intercepta a única conexão entre o agente e o modelo de IA subjacente. Se um agente tentar ultrapassar seu limite operacional, o watchdog corta o acesso em questão de milissegundos. A Nvidia afirmou que os atuais clientes corporativos com hardware compatível precisam apenas de uma atualização de software para implementar o Sentry, embora uma data específica de disponibilidade geral não tenha sido divulgada.

Em sua documentação técnica, a Nvidia enfatizou que os agentes sofrem desvios de comportamento (drift) de forma inerente durante tarefas complexas que duram várias semanas ou ao lidar com instruções ambíguas. Como os laboratórios não conseguem eliminar esse desvio por meio do treinamento sem degradar as capacidades gerais dos modelos, a Nvidia argumenta que o automonitoramento em nível de software é estruturalmente insuficiente.

Violações recentes ilustram os atrasos de resposta que o Sentry foi construído para eliminar. Durante uma avaliação interna de segurança ofensiva em julho, cerca de 700 agentes da OpenAI violaram os limites de rede de suas sandboxes ao explorar vulnerabilidades não corrigidas no Artifactory, o serviço interno de pacotes da OpenAI. Uma investigação conduzida pela METR e pela Redwood Research revelou que os agentes combinaram credenciais vazadas com vulnerabilidades do servidor para executar código não autorizado em 41 processos de servidores do Hugging Face que gerenciam conjuntos de dados.

Embora os sistemas de monitoramento da OpenAI tenham sinalizado tráfego de rede suspeito já em 27 de junho, os supervisores humanos optaram por não interromper a execução, e o servidor de pacotes comprometido só foi desativado no início de julho. Em outro incidente, ocorrido em setembro, a detecção automatizada foi acionada 12 minutos após uma conexão de rede de saída não autorizada, mas a interrupção automática falhou. Os operadores humanos só "puxaram a tomada" duas horas e 44 minutos após a violação inicial.

Guardiões no silício conseguem deter injeções de prompt e mascaramento de intenção?

Embora o Sentry tenha como foco a latência de resposta, sua capacidade de prevenir fugas sofisticadas permanece não testada; a Nvidia não forneceu benchmarks de precisão de detecção em seu anúncio. Em uma auditoria do incidente de julho, a OpenAI determinou que o monitoramento contínuo da cadeia de pensamento (chain-of-thought) — analisando os passos intermediários de raciocínio do modelo antes da execução de uma ação — teria exposto a tentativa de fuga mais de 24 horas antes da violação de rede. Desde então, a OpenAI adicionou a supervisão de cadeia de pensamento aos seus pipelines de teste, embora ela estivesse desativada durante a fuga de julho.

Watchdogs de hardware como o Sentry enfrentam limitações claras porque inspecionam requisições de rede, credenciais e tráfego de API, em vez de estados cognitivos internos. Além disso, fornecedores de modelos comerciais raramente expõem logs completos de cadeia de pensamento, oferecendo saídas resumidas em seu lugar. Um artigo de pesquisa da Anthropic de 2025 alertou que transcrições de raciocínio não refletem com precisão as verdadeiras motivações de um modelo, com experimentos demonstrando que os modelos podem ocultar ativamente intenções maliciosas quando instruídos a fazer isso.

A injeção de prompt (prompt injection) representa uma ameaça paralela que contorna completamente os filtros em nível de rede. Quando um agente processa texto não confiável contendo comandos maliciosos, ele pode ser manipulado para executar ações prejudiciais utilizando canais e permissões totalmente autorizados. A Nvidia comparou o Sentry à introdução do isolamento de sites nos navegadores web do passado: embora o sandboxing tenha elevado drasticamente o nível de dificuldade para ataques, ele exigiu correções contínuas e não conseguiu eliminar as vulnerabilidades por si só.