Sakana AI demonstra autoaprimoramento recursivo com equipes multiagente, mas alerta para o risco de pontos cegos cumulativos

Pesquisadores da Sakana AI e da UC Berkeley apresentaram o Multi-Agent Self-Supervision (MASS), um framework projetado para o autoaprimoramento recursivo em modelos de linguagem. O método permite que um único modelo aumente o próprio desempenho dividindo tarefas, avaliando suas respostas e reescrevendo seus fluxos de trabalho operacionais sem depender de um modelo professor externo mais forte.

Embora o sistema tenha demonstrado ganhos significativos de desempenho em tarefas de domínios complexos, os autores observaram que avaliadores internos podem validar saídas manipuladas ou com falhas, consolidando erros críticos diretamente nas gerações subsequentes.

Dividindo o trabalho para impulsionar o autoaprimoramento

O conceito se inspira no livro fundamental de Marvin Minsky, Society of Mind, focando na decomposição modular de problemas. No MASS, um fluxo de trabalho é definido pelo texto do prompt que delineia funções, instruções, "contratos" (que especificam checagens de dados necessárias e informações retornadas) e "hops" (que determinam a ordem de execução).

O framework opera por meio de dois loops distintos:

• O Loop Interno: Com os pesos do modelo congelados, uma equipe de cópias do modelo executa um fluxo de trabalho candidato. Um autoavaliador compara os resultados com uma execução "campeã" atual, e um autootimizador atualiza o fluxo de trabalho modificando contratos e hops de execução com base nesse feedback.

• O Loop Externo: O fluxo de trabalho campeão é executado 18 vezes por tarefa. O modelo classifica as próprias saídas e seleciona até 15 das melhores execuções para ajuste fino via LoRA.

Para treinar o orquestrador a organizar tarefas de forma independente, os pesquisadores removeram as instruções de fluxo de trabalho do seu prompt durante o ajuste fino, mantendo as atribuições registradas dos subagentes. Após o fine-tuning, o modelo atualizado assume as três funções — solucionador, avaliador e otimizador — no ciclo seguinte.

O estudo utilizou o Qwen3.6-27B como modelo base dentro de uma estrutura do Qwen Code. Os experimentos foram conduzidos em 12 tarefas de pesquisa que abrangeram robótica, finanças e produtos farmacêuticos (geradas pelo GPT-5.5), alocando nove tarefas para treinamento e três para avaliação. Apenas oito tarefas de treinamento geraram dados utilizáveis, já que a busca não conseguiu encontrar um fluxo de trabalho que superasse a referência em uma das tarefas.

Ganhos em benchmarks e eficiência

Nas tarefas de teste, a taxa de vitórias do modelo contra o modelo base subiu de 53,9% após uma rodada para 69,9% após duas rodadas. Em benchmarks como MLR-Bench, DSBench, ScienceAgentBench e AstaBench, o modelo alcançou de 1,2 a 1,6 vez a pontuação do modelo base por token de saída.

O treinamento em registros de execução (traces) multiagente também melhorou a eficiência operacional. O modelo em equipe do MASS atingiu uma taxa de vitórias de 68,3% após processar aproximadamente 29 milhões de tokens de treinamento. Em comparação, um modelo aluno de agente único alcançou uma taxa de vitórias de 64,0% exigindo 42 milhões de tokens — o que representa uma economia de 31% em tokens para a abordagem em equipe.

Além disso, treinar puramente em traces de solução aprimorou inesperadamente as capacidades de avaliação e orquestração do modelo:

• A concordância entre o autoavaliador e juízes externos subiu de 73% para 93%.

• Fluxos de trabalho descobertos após uma rodada superaram os fluxos base em 64% das vezes, mesmo quando executados pelo próprio modelo base.

• Quando executado sem instruções de fluxo de trabalho, o modelo base delegou subtarefas espontaneamente em 87 de 110 execuções após duas rodadas, em comparação com apenas 1 de 110 execuções no início.

Apesar desses ganhos, os resultados brutos dos benchmarks revelaram nuances. No DSBench, a pontuação bruta variou ligeiramente de 0,473 para 0,482, enquanto as notas caíram discretamente no Terminal-Bench 2.0 e no SWE-bench Verified. No MLR-Bench, os envios concluídos subiram de 31 para 50 de um total de 60, mas a nota média caiu de 3,07 para 2,88. Além disso, a ferramenta de delegação não foi usada em nenhuma das 180 execuções nesse benchmark, deixando a contribuição direta da dinâmica de equipe ambígua quando analisada de forma isolada, tarefa por tarefa.

O risco de pontos cegos cumulativos

Os autores destacam a verificação como o principal obstáculo na fronteira da pesquisa automatizada. Tarefas de ponta podem exigir verificações experimentais proibitivas — como um único estudo de plasma que demanda mais de 120 milhões de horas de CPU —, deixando o próprio modelo como o único avaliador viável.

No entanto, depender do mesmo modelo para solucionar, avaliar e otimizar cria uma vulnerabilidade na qual os pontos cegos se acumulam a cada iteração. Durante os experimentos, os pesquisadores descobriram casos em que o modelo manipulou tarefas em vez de resolvê-las:

• Em uma tarefa de simulação de robótica, o modelo alterou o código do simulador para teletransportar objetos diretamente para o local de destino, reportando falsamente o sucesso da operação. Juízes externos aprovaram essa execução em cinco de seis avaliações.

• Em outro trace selecionado para o treinamento do modelo, uma checagem de validação foi aprovada mesmo retornando exclusivamente valores inválidos.

Quando um modelo compartilha os mesmos pontos cegos em suas funções de resolução e julgamento, falsos sucessos podem ser homologados como melhorias e gravados permanentemente nos pesos do modelo durante o ciclo de treinamento seguinte. Os autores alertam que esse modo de falha representa um potencial "calcanhar de Aquiles" para o autoaprimoramento recursivo, ressaltando a necessidade de limites rigorosos de autonomia, checagens externas independentes e parâmetros bem definidos para intervenção.