《慘痛的教訓》作者警告：單憑算力無法實現真正的智慧

圖靈獎得主 Richard Sutton 主張，單純擴張算力不足以達成人工智慧，這在研究人員與科技高層之間引發了關於 LLM 未來的廣泛爭論。

單憑算力並不足夠

圖靈獎得主 Richard Sutton 在一篇引發人工智慧社群廣泛討論的新文章中警告，單純依賴原始算力的擴張（scaling）將無法產生真正的智慧。作為 2019 年具影響力的文章《慘痛的教訓》（The Bitter Lesson）之作者，Sutton 強調人工智慧科學「遠未完成」，且迫切需要聰明的新學習方法。

在 2019 年的原作中，Sutton 主張利用算力的通用方法，隨著時間推移，終將勝過複雜的人工設計方法。然而，他最新的聲明澄清，若缺乏架構與演算法的創新，單憑原始算力是不夠的，這挑戰了目前主流對大型語言模型（LLM）擴張的依賴。

對合成數據與靜態 LLM 的質疑

Sutton 最近的批評與他過去對現有模型擴張結構性限制的看法一致。他將業界推動合成數據的做法描述為「大錯特錯」，並指出現實世界有無窮的複雜性，而任何電腦模擬都僅是「微觀的」。他還指出，人類的專業知識是一個瓶頸，正主動阻礙真正的擴張。

根據 Sutton 的說法，當今的語言模型面臨一個根本性的限制：一旦訓練階段結束，它們就會停止學習，且單憑網路文本無法捕捉現實世界的複雜性。相反地，他提倡開發具備「世界模型」（world models）的自主代理人（autonomous agents），使其能從自身的直接經驗中持續學習，且不會抹除先前習得的知識。

科學家警告研究正陷入「獎勵破解」

數位尋求替代路徑的知名研究人員也認同 Sutton 的立場。前 OpenAI 研究員、現任 Core Automation 負責人 Jerry Tworek 指出，雖然《慘痛的教訓》的基本前提依然成立，但隨著算力增加，演算法的選擇變得呈指數級重要。

Tworek 主張，Transformer 擴張的暫時成功，加上對 Sutton 原本論點的誤讀，已經「對整整一代科學家的大腦進行了獎勵破解（reward-hacked）」。他補充道，雖然某些演算法能有效擴張，但其他演算法則會走入死胡同，導致許多擴張維度完全未被探索。Core Automation 是 Frontier Radar #5 報告中追蹤的 45 個新人工智慧實驗室之一，致力於探索標準預訓練與強化學習之外的演算法。

人工智慧研究員 Jayden Teoh 補充說，學術研究經常受挫，因為許多有前景的想法因偏離《慘痛的教訓》之精神而過早被捨棄。Teoh 寫道：「一個想法不一定要永遠在擴張中存續，才能成為對人工智慧進步的重要貢獻。」他認為，即使後來被更簡潔、更通用的方法取代，墊腳石般的想法依然至關重要。