Fable 5.2 da Anthropic conclui mais de 41% de trabalhos freelance reais no Remote Labor Index

O mais recente modelo de IA da Anthropic, o Fable 5.2, demonstrou um grande salto em capacidades práticas ao concluir 41,3% de projetos freelance do mundo real com qualidade profissional, de acordo com novos resultados de benchmark no Remote Labor Index (RLI).

O RLI, desenvolvido em conjunto pela Scale Labs e pelo Center for AI Safety (CAIS), mede o sucesso com que agentes autônomos de IA conseguem executar trabalhos reais de clientes de forma satisfatória para serem aceitos por consumidores pagantes. A pontuação de 41,3% do Fable 5.2 estabelece uma liderança dominante, concluindo mais que o dobro de trabalhos do que seu antecessor direto e quase dobrando o desempenho de modelos de fronteira concorrentes.

Uma Evolução Rápida no Trabalho Prático de Agentes

Os resultados do benchmark destacam a rapidez com que os agentes de IA progrediram de demonstrações isoladas para a execução de fluxos de trabalho profissionais contínuos. Quando o benchmark RLI foi lançado há cerca de um ano, o agente líder na época — o Manus — concluiu com sucesso apenas 2,5% das tarefas. O Fable 5.2 agora conclui mais de 16 vezes mais atribuições profissionais.

O salto é igualmente nítido em intervalos mais curtos:

• Julho: O Fable 5 liderava o índice com aproximadamente 16%.

• Fable 5.1: Ficou bem atrás do Fable 5.2, com uma pontuação de pouco menos de 18%.

• Concorrentes Atuais: O Opus 5.5 da Anthropic ocupa o segundo lugar com 21,25%, ligeiramente à frente do GPT 6 Astra da OpenAI, com 20,83%. O sistema de melhor desempenho do Google no teste, o Gemini Argon 4, marcou 17,08%, enquanto sistemas mais antigos como o GPT-5.2 e o Gemini 3 Pro definham abaixo de 3%.

Avanços e Limitações Atuais

De acordo com a Scale Labs, o Fable 5.2 obteve seus avanços mais substanciais em edição de áudio e música, design arquitetônico e de interiores, e modelagem 3D. O sistema concluiu com sucesso quase 50 tarefas complexas que nenhum agente de IA no benchmark jamais havia resolvido antes, demonstrando uma capacidade de navegar em projetos de longo prazo que normalmente fazem os modelos se perderem.

No entanto, barreiras significativas permanecem. O modelo ainda enfrenta dificuldades com tarefas de design de produtos industriais e animação. Quando os agentes falham no RLI, os pesquisadores observaram que eles geralmente produzem resultados de nível amador, arquivos de projeto corrompidos, designs contraditórios ou entregas incompletas.

Testes Contra US$ 144.000 em Contratos do Mundo Real

Ao contrário de benchmarks sintéticos que avaliam quebra-cabeças de codificação isolados ou questões de múltipla escolha, o RLI avalia atribuições profissionais de ponta a ponta. O conjunto de avaliação consiste em 240 projetos concluídos, provenientes de 358 freelancers verificados no Upwork, representando cerca de US$ 144.000 em trabalho real remunerado.

Cada projeto no conjunto de testes custa em média US$ 632,60 e exige uma média de pouco menos de 29 horas de trabalho humano. As tarefas abrangem disciplinas como desenho em CAD, produção de vídeo, desenvolvimento de jogos e análise de dados. Para concluir essas atribuições, os agentes de IA operam dentro de ambientes virtuais equipados com softwares padrão da indústria, incluindo Blender, GIMP e Audacity, complementados por ferramentas especializadas de geração por IA.

As submissões são avaliadas manualmente por especialistas humanos treinados, que abrem os arquivos de saída no software nativo e os comparam diretamente com a entrega original do freelancer humano. O CAIS tentou automatizar o processo de avaliação usando modelos de IA avaliadores, mas os juízes automatizados falharam; incapazes de navegar com proficiência nos softwares profissionais especializados, os revisores automatizados foram repetidamente enganados por um polimento superficial e atribuíram pontuações infladas a submissões tecnicamente defeituosas.