自動生成されたシンプルなベースライン、主要科学論文の複雑なディープラーニングと同等以上の性能を発揮

物理科学や生命科学の分野において、ディープラーニングは複雑な科学的課題を解決する手法として頻繁にもてはやされている。しかし、新たに提案されたディープラーニングモデルが真の進歩を示しているかどうかを検証するには、適切なベースラインとの比較評価（ベンチマーク）が不可欠だ。適切な比較対象がなければ、見かけ上の性能向上は、比較を省略したことによって生じた見せかけにすぎない可能性がある。

Caleb N. Ellington、Jiaqi Wang、Sohan Addagudi、Elijah Coleからなる研究チームは、このジレンマに対するスケーラブルな解決策を模索した。大規模言語モデル（LLM）を用いて強力でシンプルなベースラインを自動構築する手法だ。arXivで公開された彼らの研究結果は、注目度の高い多くの科学モデルが達成したとされる性能向上が、はるかにシンプルな代替手法でも再現可能であることを示唆している。

トップジャーナルを横断したベンチマーク

自動生成されたベースラインがベンチマークの不備を浮き彫りにできるかを評価するため、研究チームは36種類の教師あり分類・回帰タスクを収集した。各タスクは、Nature、Science、Cellの各出版グループをはじめとする、一流の科学系学術誌に掲載された査読付き論文から集められたものだ。

研究チームは言語モデルを使用し、各タスクに応じたシンプルなベースラインモデルを生成した。そして、これら自動生成ベースラインの性能を、自明な予測モデル（トリビアルなベースライン）および原著論文で提案された専用のディープラーニングアーキテクチャの双方と比較検証した。

シンプルなモデルが性能差を埋める

自動生成されたベースラインは、予想を上回る優れた結果を示した。

• 性能差の回復： 評価対象となったタスク全体において、自動生成されたシンプルなベースラインは、自明なベースラインとディープラーニングモデルの間の性能差の中央値95.5％（平均85.7％）を埋めた。

• 複雑なアーキテクチャを凌駕： 調査した36件の研究のうち12件において、シンプルなベースラインの中央値が、原著論文のディープラーニングモデルが達成した性能と同等またはそれを上回った。

著者らはまた、ベースラインの品質に影響を与える要因を分析し、科学分野、掲載誌、テスト時の計算リソース配分、そして言語モデルに提供された研究コンテキストの詳細度の違いによって性能がどのように変化するかを詳述している。

科学論文の査読におけるスケーラブルな検証手法

AIに焦点を当てた論文投稿が急増したことで、従来の人手による査読プロセスには大きな負荷がかかっている。査読者には多くの場合、複雑なアーキテクチャが標準的な統計手法や古典的な機械学習のベースラインを有意に上回っているかどうかを検証するための時間や、専用のコードベースが不足している。

著者らは、ベースラインの自動生成が、ディープラーニングによる貢献の主張を検証するための実用的かつスケーラブルな仕組みになると主張する。論文掲載前に比較可能なベースラインを自動生成することで、報告された計算上のブレークスルーが、よりシンプルな手法に対する真の進歩であるかどうかを、科学コミュニティがより確実に確認できるようになるはずだ。