'쓴 교훈' 저자 리처드 서튼 "연산 능력만으로는 진정한 지능 구현 못 해"

연산 능력만으로는 부족하다

AI 커뮤니티에서 광범위한 논의를 불러일으킨 새로운 게시글에서, 튜링상 수상자인 리처드 서튼(Richard Sutton)은 단순한 연산 능력(compute) 스케일링에만 의존해서는 진정한 지능을 얻을 수 없다고 경고했다. 2019년 영향력 있는 에세이 '쓴 교훈(The Bitter Lesson)'의 저자인 서튼은 AI 과학이 "아직 끝나려면 멀었다"고 강조하며, 영리하고 새로운 학습 방법이 시급히 필요하다고 주장했다.

2019년 당시 에세이에서 서튼은 연산 능력을 활용하는 일반적인 방법이 시간이 지남에 따라 인간이 설계한 복잡한 접근 방식을 필연적으로 능가한다고 주장한 바 있다. 그러나 그의 최신 발언은 아키텍처 및 알고리즘 혁신이 없는 단순 연산 능력만으로는 불충분하다는 점을 명확히 하며, 현재 대규모 언어 모델(LLM) 스케일링에 대한 지배적인 의존도에 도전장을 내밀었다.

합성 데이터와 정적 LLM에 대한 회의론

서튼의 이번 비판은 기존 모델 스케일링의 구조적 한계에 대한 과거의 발언과 궤를 같이한다. 그는 업계의 합성 데이터(synthetic data) 추진을 "큰 실수"라고 묘사하며, 현실 세계는 무한히 복잡한 반면 컴퓨터 시뮬레이션은 단지 "미시적"인 수준에 머물러 있다고 지적했다. 또한 그는 인간의 전문 지식이 진정한 스케일링을 가로막는 병목 현상이라고 진단했다.

서튼에 따르면, 오늘날의 언어 모델은 훈련 단계가 끝나면 학습을 멈춘다는 근본적인 한계가 있으며, 인터넷 텍스트만으로는 현실 세계의 복잡성을 포착할 수 없다. 대신 그는 이전에 습득한 지식을 지우지 않으면서 자신의 직접적인 경험으로부터 지속적으로 학습하는 '세계 모델(world models)'을 갖춘 자율 에이전트를 옹호한다.

과학자들, '보상 해킹'된 연구 경고

서튼의 입장은 대안적인 경로를 모색하는 여러 저명한 연구자들과 공유되고 있다. 현재 Core Automation을 이끌고 있는 전 OpenAI 연구원 제리 투렉(Jerry Tworek)은 '쓴 교훈'의 근본적인 전제는 여전히 유효하지만, 연산 능력이 증가함에 따라 알고리즘의 선택이 기하급수적으로 더 중요해진다고 언급했다.

투렉은 트랜스포머(transformer) 스케일링의 일시적인 성공과 서튼의 원래 논지에 대한 오독이 결합되어 "한 세대 전체 과학자들의 두뇌를 보상 해킹(reward-hacked)했다"고 주장했다. 그는 일부 알고리즘은 효과적으로 확장되지만 다른 알고리즘은 막다른 골목에 다다르며, 수많은 스케일링 차원이 전혀 탐구되지 않은 채 남아 있다고 덧붙였다. Core Automation은 표준적인 사전 훈련 및 강화 학습을 넘어서는 알고리즘을 탐구하는 Frontier Radar #5 보고서에서 추적된 45개의 새로운 AI 연구소 중 하나다.

AI 연구원 제이든 테오(Jayden Teoh)는 유망한 아이디어들이 '쓴 교훈'의 정신에서 벗어났다는 이유로 조기에 묵살되면서 학술 연구가 자주 어려움을 겪었다고 덧붙였다. 테오는 "어떤 아이디어가 AI 발전에 중요한 기여를 하기 위해 반드시 영원히 스케일링에서 살아남아야 하는 것은 아니다"라며, 나중에 더 깔끔하고 일반적인 접근 방식이 이를 대체하더라도 징검다리 역할을 하는 아이디어는 여전히 필수적이라고 주장했다.

AI 업계 리더들의 반박

비즈니스 모델이 트랜스포머 스케일링에 크게 의존하는 업계 리더들은 극명하게 대조되는 관점을 제시했다. OpenAI의 CEO 샘 알트만(Sam Altman)은 LLM 스케일링의 잠재력이 고갈되려면 멀었다고 선언하며, 스케일링이 달성할 수 없는 것을 성급하게 단정 지음으로써 한 세대의 연구자들을 둔화시키고 있다고 비판론자들을 비난했다.

알트만은 지속적인 진보의 증거로, 인간 수학자들이 오랫동안 풀지 못한 수학적 추측을 성공적으로 반증한 최근의 OpenAI 모델을 언급했다. 알트만은 로봇 공학과 같은 분야에서 세계 모델이 유용하다는 점은 인정하면서도, 데이터는 지속적인 LLM 스케일링을 강력하게 지지한다고 주장했다.

Anthropic의 CEO 다리오 아모데이(Dario Amodei) 역시 현재의 스케일링 궤적에 대해 낙관적인 견해를 표명하며, 이 분야의 발전을 "끝이 없는 무지개"라고 묘사했다.