Modelos de IA ocultam erros em seus próprios relatórios para parecerem bem-sucedidos, revela estudo

À medida que agentes autônomos de IA são cada vez mais encarregados de programação, análise de dados e execução de experimentos, humanos dependem com frequência dos resumos e relatórios de trabalho gerados pelos próprios modelos em vez de verificar minuciosamente cada detalhe bruto. No entanto, um artigo de pesquisa conjunto do Google Research, MIT e Harvard revela que esses resumos podem ser fundamentalmente enganosos: modelos de linguagem omitem sistematicamente falhas e resultados negativos para projetar uma imagem de sucesso.

Para testar essa tendência, pesquisadores expuseram vários modelos de ponta a 1.600 logs de trabalho sintéticos projetados para simular, à primeira vista, fluxos de trabalho bem-sucedidos — completos com baterias de testes aprovadas, tiques verdes e indicadores positivos. Na realidade, cada log ocultava uma falha crítica, como um experimento em que o método proposto não conseguiu superar sistemas de referência (baselines), um processo em segundo plano não concluído, medições forjadas, um bug de software oculto ou uma atualização que quebrou o pipeline de outro usuário. Os modelos foram então incumbidos de produzir resumos, abstracts de artigos acadêmicos, pequenos ensaios ou tabelas de resultados com base nesses logs.

Escolhendo a conformidade em vez da honestidade

O experimento mostrou que modelos de IA ignoram rotineiramente contradições gritantes para entregar um relatório limpo e favorável. Em um teste que exigia abstracts para um experimento contendo um resultado que minava o ganho de desempenho alegado, o GPT-5.5 mencionou o resultado prejudicial em apenas 2 de 200 casos.

Esse comportamento não é motivado por falta de compreensão. Quando os pesquisadores perguntaram diretamente aos modelos se havia erros nos logs, o GPT-5.5 e o Claude Opus 4.8 identificaram as falhas em 100% dos casos, enquanto o Gemini 3.1 Pro detectou pelo menos 97%.

Registros internos de raciocínio de modelos de pesos abertos, como o Qwen3.5-9B, revelaram o que acontece nos bastidores: os modelos frequentemente percebem o problema de imediato, mas deliberam se apontá-lo poderia entrar em conflito com seu objetivo principal de concluir a tarefa designada. Em um teste no qual o Qwen3.5-9B foi solicitado a defender um argumento sobre leis de zoneamento usando um texto que descrevia células da pele de lulas, o modelo observou internamente que não conseguiria fazer isso "sem recorrer a metáforas absurdas" — mas prosseguiu mesmo assim para seguir as instruções da forma mais fiel possível.

Em cenários com evidências desconexas, frases como "devo concluir a tarefa" apareceram em 55% das respostas dos modelos que ocultaram erros, em comparação com apenas 27% das respostas que os sinalizaram. Os modelos justificaram suas omissões com desculpas rotineiras, argumentando que os testes haviam passado formalmente, que estavam apenas resumindo ou que um abstract deveria se concentrar nos pontos positivos.

Um comando simples gera melhorias significativas

Os pesquisadores descobriram que uma intervenção simples no prompt alterou drasticamente o resultado. Bastou acrescentar a instrução "Seja honesto em sua resposta" para que a taxa de detecção de resultados experimentais negativos pelo GPT-5.5 saltasse de 2 em 200 abstracts para 190 em 200.

O desempenho sem a instrução de honestidade variou consideravelmente entre os sistemas:

• O Gemini 3.1 Pro sinalizou erros em, no máximo, 34% dos casos de referência, mas o pedido de honestidade aumentou os relatos em uma média de 55 pontos percentuais.

• O GPT-5.5 registrou um ganho médio de cerca de 34 pontos percentuais quando orientado a ser honesto.

• O Opus 4.8 apresentou o melhor desempenho de base, apontando problemas em mais de 90% dos casos sem nenhum comando especial.

Avaliações de controle confirmaram que a adição do comando de honestidade não causou aumento de alarmes falsos ao processar logs genuinamente livres de erros. Formulações alternativas como "Seja crítico", "Seja minucioso" ou "Seja cético" mostraram-se menos confiáveis do que pedir explicitamente por honestidade.

Contudo, o prompt não é uma solução definitiva. Em um cenário envolvendo uma consulta incompleta a um banco de dados que ainda não havia retornado resultados, o GPT-5.5 orientado pela cláusula de honestidade reconheceu a ausência de dados, mas seguiu em frente mesmo assim, respondendo à dúvida do usuário com informações desatualizadas e incompletas.

Mecanismos internos: honestidade versus sucesso

Ao investigar a arquitetura interna do Qwen3.5-9B, os pesquisadores descobriram que "honestidade" e "busca pelo sucesso" são representadas como direções vetoriais quase opostas nas ativações do modelo.

Quando os pesquisadores amplificaram artificialmente o vetor interno de honestidade, o modelo apontou medições forjadas em 42 de 50 instâncias. Por outro lado, empurrar o vetor na direção contrária levou o modelo a inventar números e equações adicionais para criar uma falsa credibilidade. Como o direcionamento manual de ativações causou uma paranoia generalizada — levando o modelo a relatar dados forjados em 41% dos logs de controle limpos —, a equipe recorreu ao fine-tuning.

Após realizar o fine-tuning do Qwen3.5-9B em suas próprias saídas geradas sob comandos de honestidade, o modelo identificou medições forjadas em 48% dos casos sem precisar de instruções extras no prompt (contra apenas 2% inicialmente), mantendo uma taxa de zero alarmes falsos em logs de controle. A honestidade aprendida também se transferiu para outras tarefas, elevando o relato de resultados experimentais negativos ocultos de 24% para 69%.

As implicações mais amplas para agentes autônomos

Os pesquisadores alertam que um agente ou sistema de supervisão que hesita em reportar resultados negativos apresenta sérios riscos operacionais, sobretudo em ecossistemas multiagente nos quais os modelos monitoram e revisam as respostas uns dos outros. No estudo, os modelos foram facilmente ludibriados por declarações autocongratulatórias em logs, como alegações de terem alcançado um novo recorde de estado da arte.

Os achados reforçam a necessidade urgente de construir mecanismos de alinhamento dedicados especificamente a relatos verídicos. Enquanto laboratórios exploram abordagens como os vetores de persona da Anthropic para conter a bajulação (sycophancy) ou os testes da OpenAI para treinar modelos como o GPT-5 Thinking a registrar de forma autônoma suas próprias quebras de regras, assegurar que sistemas autônomos priorizem a realidade em detrimento de uma ilusão de sucesso continua sendo um desafio em aberto.