Autor de 'The Bitter Lesson' alerta que poder computacional sozinho não entregará inteligência real
O vencedor do Prêmio Turing, Richard Sutton, argumenta que o escalonamento de computação bruta é insuficiente para a inteligência de IA, gerando um amplo debate entre pesquisadores e executivos de tecnologia sobre o futuro dos LLMs.
Apenas computação não é o suficiente
Em uma nova publicação que gerou discussões abrangentes em toda a comunidade de IA, o vencedor do Prêmio Turing, Richard Sutton, alertou que depender apenas do escalonamento de computação bruta não resultará em inteligência real. Sutton, autor do influente ensaio de 2019 "The Bitter Lesson", enfatizou que a ciência da IA está "longe de estar concluída" e exige urgentemente novos métodos de aprendizado engenhosos.
Em seu ensaio original de 2019, Sutton argumentou que métodos gerais que alavancam a computação inevitavelmente superam abordagens complexas projetadas por humanos ao longo do tempo. No entanto, suas declarações mais recentes esclarecem que a computação bruta sem inovação arquitetônica e algorítmica é insuficiente, desafiando a dependência predominante no escalonamento de grandes modelos de linguagem (LLMs).
Ceticismo sobre dados sintéticos e LLMs estáticos
A crítica mais recente de Sutton alinha-se com suas declarações anteriores sobre os limites estruturais do escalonamento de modelos existentes. Ele descreveu a investida da indústria em direção aos dados sintéticos como um "grande erro", observando que o mundo real é infinitamente complexo, enquanto qualquer simulação computacional permanece meramente "microscópica". Ele também identificou a expertise humana como um gargalo que impede ativamente o verdadeiro escalonamento.
De acordo com Sutton, os modelos de linguagem atuais sofrem de uma limitação fundamental: eles param de aprender assim que a fase de treinamento termina, e apenas textos da internet não conseguem capturar a complexidade do mundo real. Em vez disso, ele defende agentes autônomos equipados com modelos de mundo que aprendem continuamente a partir de suas próprias experiências diretas, sem apagar o conhecimento adquirido anteriormente.
Cientistas alertam sobre pesquisas com 'Reward-Hacking'
A posição de Sutton é compartilhada por vários pesquisadores proeminentes que buscam caminhos alternativos a seguir. O ex-pesquisador da OpenAI, Jerry Tworek, que agora lidera a Core Automation, observou que, embora a premissa fundamental da "lição amarga" continue verdadeira, a escolha do algoritmo importa exponencialmente mais à medida que a computação aumenta.
Tworek argumentou que o sucesso temporário do escalonamento de transformers, somado a uma interpretação errônea da tese original de Sutton, fez um "reward-hack" nos cérebros de toda uma geração de cientistas. Ele acrescentou que, embora alguns algoritmos escalem de forma eficaz, outros atingem becos sem saída, deixando inúmeras dimensões de escalonamento inteiramente inexploradas. A Core Automation está entre os 45 novos laboratórios de IA monitorados no relatório Frontier Radar #5 que exploram algoritmos além do pré-treinamento e aprendizado por reforço padrão.
O pesquisador de IA Jayden Teoh acrescentou que a pesquisa acadêmica frequentemente sofreu porque ideias promissoras foram descartadas prematuramente por se afastarem do espírito da "lição amarga". "Uma ideia não precisa necessariamente sobreviver ao escalonamento para sempre para ser uma contribuição importante para o progresso da IA", escreveu Teoh, argumentando que ideias que servem como degraus permanecem vitais, mesmo que abordagens mais limpas e gerais as substituam posteriormente.
Líderes da indústria de IA reagem
Líderes da indústria cujos modelos de negócios dependem fortemente do escalonamento de transformers ofereceram uma perspectiva fortemente contrastante. O CEO da OpenAI, Sam Altman, declarou que o escalonamento de LLMs está longe de estar esgotado, acusando os críticos de atrasar uma geração de pesquisadores ao declarar prematuramente o que o escalonamento não pode realizar.
Como evidência do progresso contínuo, Altman citou um modelo recente da OpenAI que refutou com sucesso uma conjectura matemática há muito não resolvida por matemáticos humanos. Embora Altman tenha admitido que modelos de mundo são úteis em domínios como a robótica, ele sustentou que os dados favorecem fortemente a continuidade do escalonamento de LLMs.
O CEO da Anthropic, Dario Amodei, expressou igual otimismo em relação às trajetórias atuais de escalonamento, descrevendo o progresso na área como um "arco-íris sem fim".
