「The Bitter Lesson」の著者が警告、計算資源だけでは真の知能を実現できない

計算資源だけでは不十分

AIコミュニティで大きな議論を巻き起こした新たな投稿の中で、チューリング賞受賞者のRichard Sutton氏は、生の計算資源（コンピュート）のスケーリングだけに頼る手法では真の知能は得られないと警告した。2019年の影響力のあるエッセイ「The Bitter Lesson（苦い教訓）」の著者であるSutton氏は、AI科学は「到底終わっていない」と強調し、巧妙な新しい学習手法が急務であると述べた。

2019年の独自のエッセイにおいて、Sutton氏は、計算資源を活用する汎用的な手法は、時間の経過とともに人間が設計した複雑なアプローチに必然的に勝利すると主張した。しかし、同氏の最新の声明では、アーキテクチャやアルゴリズムの革新を伴わない生の計算資源だけでは不十分であると明確にしており、大規模言語モデル（LLM）のスケーリングに依存する現状に異を唱えている。

合成データと静的なLLMへの懐疑論

Sutton氏の最新の批判は、既存モデルのスケーリングにおける構造的限界に関する過去の発言と一致している。同氏は、業界が合成データへと突き進んでいることを「大きな間違い」と表現し、現実世界は無限に複雑であるのに対し、いかなるコンピュータシミュレーションも単なる「微視的」なものに過ぎないと指摘した。また、人間の専門知識がボトルネックとなり、真のスケーリングを積極的に妨げているとも特定した。

Sutton氏によれば、今日の言語モデルは根本的な限界を抱えている。それは、学習フェーズが終了すると学習が止まってしまうことであり、インターネット上のテキストだけでは現実世界の複雑さを捉えきれないという点だ。代わりに同氏は、以前に習得した知識を消去することなく、自らの直接的な経験から継続的に学習する「世界モデル」を備えた自律型エージェントを提唱している。

科学者らが警告する「報酬ハック」された研究

Sutton氏の立場は、代替の道を模索する複数の著名な研究者によって共有されている。現在はCore Automationを率いる元OpenAIの研究者Jerry Tworek氏は、「苦い教訓」の根本的な前提は依然として真実であるが、計算資源が増えるにつれてアルゴリズムの選択が指数関数的に重要になると指摘した。

Tworek氏は、Transformerのスケーリングが一時的な成功を収めたことと、Sutton氏の元の論文が誤読されたことが相まって、「一世代の科学者たちの脳を報酬ハック（reward-hack）してしまった」と主張した。同氏は、一部のアルゴリズムは効果的にスケールするが、他のアルゴリズムは行き止まりに突き当たると付け加え、多くのスケーリングの次元が全く未探索のまま残されていると述べた。Core Automationは、標準的な事前学習や強化学習を超えたアルゴリズムを探索している企業として、Frontier Radar #5レポートで追跡されている45の新しいAIラボの一つである。

AI研究者のJayden Teoh氏は、有望なアイデアが「苦い教訓」の精神から外れているという理由で時期尚早に却下されてきたため、学術研究が頻繁に損なわれてきたと付け加えた。「あるアイデアがAIの進歩に重要な貢献をするために、必ずしもスケーリングに永遠に耐え抜く必要はない」とTeoh氏は記し、後に、よりクリーンで汎用的なアプローチに取って代わられるとしても、踏み台となるアイデアは依然として不可欠であると論じた。

AI業界のリーダーたちは反論

Transformerのスケーリングに大きく依存するビジネスモデルを持つ業界リーダーたちは、鋭く対照的な視点を示した。OpenAIのCEOであるSam Altman氏は、LLMのスケーリングは決して尽きていないと宣言し、スケーリングで何が達成できないかを時期尚早に断定することで、一世代の研究者たちの歩みを遅らせていると批判派を非難した。

継続的な進歩の証拠として、Altman氏は、人間の数学者が長年解決できなかった数学的予想を解明することに成功した最近のOpenAIモデルを挙げた。Altman氏は、ロボティクスなどの分野では世界モデルが有用であることを認めたものの、データはLLMのスケーリングの継続を強く支持しているとの持論を維持した。

AnthropicのCEOであるDario Amodei氏も、現在のスケーリングの軌道に対して同様の楽観的な見方を示し、この分野の進歩を「終わりのない虹」と表現した。