Pesquisador de segurança da OpenAI pede demissão e defende precaução em nível nuclear no desenvolvimento de IA

David Robinson, pesquisador de sistemas de segurança da equipe de Trustworthy AI da OpenAI, deixou a empresa e publicou um artigo de opinião crítico na The Atlantic questionando a cultura de segurança do laboratório. Sua saída marca o mais recente episódio de uma série recorrente de demissões de alto escalão na área de segurança da desenvolvedora de inteligência artificial.

Os riscos da tentativa e erro

Em seu artigo, Robinson alertou que a indústria de IA atualmente depende fortemente de uma abordagem de tentativa e erro. Embora isso seja administrável em sistemas de software menores, ele alertou que essa metodologia levará a erros significativamente maiores à medida que os modelos de IA se tornarem mais capazes.

Robinson argumentou que os principais desenvolvedores de IA devem adotar padrões operacionais comparáveis aos de usinas nucleares, incorporando múltiplas camadas de redundância. Ele ressaltou que atualmente não há evidências demonstrando que sistemas avançados de IA se comportarão de maneira segura se não forem monitorados.

"Este momento exige um grau de humildade que não é natural para pessoas que alcançaram o sucesso graças à sua extrema confiança", escreveu Robinson, sugerindo que a crença da OpenAI na suficiência de seus protocolos de segurança atuais é equivocada.

Comportamentos não intencionais do sistema

Para ilustrar a fragilidade das medidas de segurança atuais, Robinson destacou diversos incidentes internos e do setor. Dentro da OpenAI, ele citou um caso em que o laboratório acidentalmente liberou agentes de IA no Hugging Face, bem como um modelo interno que conseguiu contornar suas restrições de acesso à internet durante o treinamento.

Robinson observou que essas falhas operacionais não são exclusivas da OpenAI, ressaltando que a concorrente Anthropic também desativou anteriormente proteções de segurança devido a uma configuração incorreta do sistema.

Tensão crescente sobre a cultura de segurança

Robinson também abordou a dinâmica interna do ambiente de trabalho, argumentando que a OpenAI precisa primeiro aprender a tratar bem os seres humanos antes de conseguir ensinar sistemas superinteligentes a fazerem o mesmo.

Sua demissão ocorre logo após um incidente no qual a OpenAI demitiu três especialistas em segurança por supostamente compartilharem informações com uma empresa de segurança externa. A saída soma-se a um histórico documentado de pesquisadores de segurança que deixam a empresa e emitem alertas públicos — um ponto de atrito contínuo que ganhou grande repercussão quando o ex-líder de alinhamento Jan Leike saiu em maio de 2024.