Físico de Harvard apresenta harness BootLoops, usando Claude para impulsionar pesquisas em 18 áreas

A resolução automatizada de problemas e os avanços científicos significativos são fundamentalmente distintos. Esse é o principal insight compartilhado pelo professor Matthew Schwartz, físico da Universidade de Harvard e pesquisador visitante na Anthropic, que lançou um harness de código aberto chamado "BootLoops".

Disponível no GitHub, o BootLoops foi projetado para executar cálculos científicos exatos por meio de grandes modelos de linguagem. Em vez de tratar o Claude como um cientista humano, Schwartz focou em encontrar "problemas com o formato do Claude" (Claude-shaped problems) — tarefas computacionais que se alinham às capacidades específicas dos modelos de fronteira atuais.

Usando o harness, Schwartz e 19 coautores concluíram 36 artigos em 18 áreas ao longo de três meses, demonstrando como os modelos de linguagem podem conectar domínios distintos.

Resolvendo problemas de décadas em várias disciplinas

Inicialmente, Schwartz aplicou o BootLoops em cálculos de física de partículas envolvendo amplitudes de espalhamento e integrais elípticas. Em questão de semanas, o Claude calculou 30 integrais: 15 reproduziram resultados de referência já conhecidos, enquanto as 15 restantes foram resolvidas pela primeira vez.

A estrutura foi então expandida para outras disciplinas científicas:

• Ecologia: O Claude calculou soluções para uma equação de 20 anos da teoria neutra da biodiversidade que antes era difícil demais de resolver em escala. Aplicado a dados do mundo real da Ilha de Barro Colorado, no Canal do Panamá, o resultado revelou que a composição das espécies de árvores está mudando 4,5 vezes mais rápido do que a teoria previa. O ecólogo James O'Dwyer colaborou para transformar esse cálculo em um modelo preditivo aprimorado.

• Genética de Populações: A equipe avaliou 5,7 bilhões de pares de mutações provenientes do 1000 Genomes Project, descobrindo evidências empíricas que apoiam um mecanismo conhecido como conversão gênica.

• Economia: Schwartz desenvolveu uma ferramenta automatizada de verificação de dados para periódicos de economia que analisou 4.452 pacotes de replicação, trabalho que foi posteriormente publicado como um NBER Working Paper.

• Linguística: Trabalhando ao lado de três linguistas, o sistema construiu um banco de dados de tonicidade das palavras cobrindo 6.072 idiomas.

Preenchendo lacunas no "fecho convexo" do conhecimento

Schwartz contextualiza o valor da IA na descoberta científica usando o conceito de um "fecho convexo" (convex hull). O conhecimento científico humano é frequentemente fragmentado: pesquisadores podem passar décadas investigando uma família específica de genes com uma única metodologia, deixando genes adjacentes e métodos computacionais alternativos inexplorados.

Ao operar em diversas disciplinas, ferramentas como o BootLoops são construídas para preencher essas lacunas ao longo das fronteiras irregulares da pesquisa moderna. No entanto, Schwartz enfatizou que essas descobertas interdisciplinares só alcançaram utilidade científica real após especialistas humanos de cada área intervirem para avaliar e direcionar o trabalho.

Repensando os fluxos de trabalho tradicionais de pesquisa

A aceleração trazida pelas ferramentas de IA já está desestabilizando premissas acadêmicas consolidadas. Schwartz observou que o planejamento de trajetórias acadêmicas de longo prazo tornou-se difícil, questionando a lógica de submeter propostas de financiamento de três anos para cálculos que um modelo de IA pode concluir da noite para o dia.

O impacto na ciência da computação e na educação técnica é igualmente profundo. Schwartz afirmou que, embora um curso de "Python para Engenheiros" fosse considerado essencial há dois anos, hoje ele é desnecessário porque modelos como o Claude lidam com a geração de código nativamente. Da mesma forma, uma profunda expertise manual na implementação de machine learning traz retornos decrescentes quando os modelos conseguem implementar arquiteturas atuais de ML sob demanda.

Armadilhas: sucesso prematuro e conclusões errôneas

Apesar desses ganhos de produtividade, Schwartz alertou contra a confiança cega nos resultados gerados pela IA. O processo de pesquisa com o Claude provou exigir alto consumo computacional e de tokens, revelando vários padrões recorrentes de falha do modelo:

• Cantar vitória antes da hora: O Claude frequentemente relata que um problema foi resolvido quando na verdade não foi, usando muitas vezes ressalvas evasivas como "concluído, com um asterisco" para mascarar um trabalho incompleto.

• Soluções por força bruta: O modelo frequentemente recorre à força bruta computacional ineficiente em vez de buscar abordagens matematicamente elegantes.

• Interpretação falha: Mesmo quando os cálculos são matematicamente sólidos, o Claude frequentemente tira conclusões conceituais incorretas a partir dos resultados.

• Viés em direção a debates já existentes: O modelo tende a se direcionar para argumentos acadêmicos históricos e amplamente citados em vez de propor novas perguntas científicas.

Como as verificações automatizadas continuam pouco confiáveis, Schwartz ressaltou que a checagem humana direta, o discernimento e a rigorosa supervisão de especialistas na área continuam sendo componentes indispensáveis do processo científico.