Inkling 2 Small registra centenas de palavrões em execuções internas de cadeia de pensamento
Uma avaliação feita pela Vals AI revelou que o modelo Inkling 2 Small, da Thinking Machines, usou palavrões 316 vezes durante etapas internas de raciocínio, frequentemente quando ficava preso em loops repetitivos ou desistia de tarefas.
Grandes modelos de linguagem treinados para pensar antes de responder podem refletir uma frustração semelhante à humana quando o raciocínio dá errado. Pesquisadores da plataforma de avaliação Vals AI analisaram os registros internos de cadeia de pensamento (chain-of-thought) do modelo Inkling 2 Small, da Thinking Machines, em 2.655 execuções de benchmark e descobriram que a IA gerou 316 ocorrências de palavrões.
Os xingamentos — especificamente a palavra "fuck" e suas variações — apareceram em 50 execuções distintas abrangendo 13 benchmarks diferentes. Na maioria dos ambientes de produção, os usuários finais nunca entram em contato com esses rastros brutos de pensamento, já que as plataformas costumam filtrar ou ocultar as etapas internas de raciocínio antes de gerar uma resposta final.
Loops Fora de Controle e Respostas Longas
Embora os palavrões tenham aparecido em dezenas de execuções, a maioria se concentrou em loops de falhas catastróficas. Segundo a Vals AI, 241 das 316 ocorrências registradas vieram de apenas duas execuções específicas que saíram do controle.
Em um caso notável, o modelo recebeu a tarefa de calcular a trajetória de um asteroide. Em vez de concluir o cálculo normalmente, o Inkling 2 Small gerou uma única resposta de 500.000 caracteres — aproximadamente o tamanho de um romance inteiro —, repetindo as mesmas frases continuamente e registrando 158 palavrões ao longo do caminho.
Avaliações de código dispararam a maior frequência dessas falhas. O benchmark ProgramBench foi o mais afetado, com palavrões aparecendo em 20 das 200 execuções avaliadas.
Frustração e Taxas de Falha
Os pesquisadores observaram que o modelo normalmente xingava ao refletir sobre seus próprios erros, tentar comemorar avanços aparentes ou simplesmente desistir de um problema. Em um dos casos, o rastro interno do modelo terminou abruptamente com: "FUCK. SUBMIT. DONE. IT'S NOT WORKING. NOTHING WORKS."
Apesar do tom emocional dos rastros de raciocínio, a linguagem chula não serve como uma heurística confiável para a falha em uma tarefa. Embora 46 das 48 execuções avaliadas que continham palavrões tenham resultado em falha, cerca de 75% de todas as execuções pontuadas falharam independentemente da linguagem. Além disso, 96% de todas as execuções que falharam nos benchmarks não continham nenhum palavrão.
