自動化簡易基準模型表現媲美甚至超越頂尖科學研究中的複雜深度學習架構

在物理與生命科學領域，深度學習經常被譽為解決複雜科學挑戰的利器。然而，要驗證新提出的深度學習模型是否真正代表實質進展，關鍵在於將其與適當的基準模型（baseline）進行對比。若缺乏健全的基準對照，表面上的效能提升很可能只是未進行充分比較下的假象。

由 Caleb N. Ellington、Jiaqi Wang、Sohan Addagudi 與 Elijah Cole 組成的研究團隊，針對此困境探索出一種具擴展性的解決方案：利用大型語言模型自動建構強大且簡易的基準模型。他們發表於 arXiv 的研究成果顯示，許多備受矚目的科學深度學習模型所帶來的效能增益，其實透過簡單許多的替代方案就能達成。

跨頂級期刊的基準測試

為了評估自動化基準模型是否能揭露基準測試中的缺口，研究人員彙整了 36 項監督式分類與迴歸任務。這些任務皆取自發表於頂尖科學期刊的同儕審查論文，特別是《Nature》、《Science》與《Cell》出版集團旗下的指標期刊。

作者利用語言模型，為每項任務量身打造簡易基準模型。隨後，研究團隊將這些自動化基準模型的效能，與基礎預測器（trivial predictor）以及原論文所提出的專用深度學習架構進行全面對比。

簡易模型弭平效能差距

自動生成的基準模型展現出出乎意料的強大表現：

• 弭平差距： 在所有評估的任務中，自動化簡易基準模型弭平了基礎基準模型與深度學習模型之間的中位數 95.5%（平均值 85.7%）效能差距。

• 超越複雜架構： 在檢驗的 36 項研究中，有 12 項研究的簡易基準模型中位數表現媲美甚至超越了已發表的深度學習模型。

作者亦深入分析了影響基準模型品質的各項因素，詳細探討效能如何受到不同科學領域、發表期刊、測試時運算資源（test-time compute）配置，以及提供給語言模型的研究脈絡詳細程度等變數的影響。

為科學同儕審查提供具擴展性的檢驗機制

近年以人工智慧為核心的投稿量急遽增加，對傳統的人工同儕審查機制帶來巨大壓力。審稿人通常缺乏足夠的時間或專屬程式庫，來驗證複雜架構是否確實顯著優於標準統計方法或傳統機器學習基準。

作者指出，自動化基準模型生成技術提供了一種實用且具擴展性的機制，可用於檢視深度學習論文宣稱的研究貢獻。透過在發表前自動生成具可比性的基準模型，科學界能更有效確保論文所宣稱的運算突破，確實是超越簡易方法的實質進展。