자동 생성된 단순 베이스라인, 주요 과학 연구의 복잡한 딥러닝과 대등하거나 능가해

물리 및 생명과학 분야에서 딥러닝은 복잡한 과학적 난제를 해결하는 혁신적 해법으로 자주 각광받고 있다. 그러나 새로 제안된 딥러닝 모델이 실질적인 기술적 진보를 이뤄냈는지 검증하려면 적절한 기준 모델(베이스라인)과의 비교 평가가 필수적이다. 베이스라인이 제대로 갖춰지지 않으면 겉보기에 뛰어난 성능 향상도 단지 적절한 비교군이 생략된 데서 비롯된 착시 현상일 수 있다.

Caleb N. Ellington, Jiaqi Wang, Sohan Addagudi, Elijah Cole 연구팀은 이러한 딜레마를 해결할 확장 가능한 방안으로 대형언어모델(LLM)을 활용해 강력하고 단순한 베이스라인을 자동으로 구축하는 방안을 모색했다. arXiv에 게재된 연구진의 논문에 따르면, 주목받는 주요 과학 딥러닝 모델들이 거둔 성과의 상당 부분은 훨씬 단순한 대안으로도 충분히 따라잡을 수 있는 것으로 나타났다.

최고 권위 저널 전반에 걸친 벤치마킹

연구진은 자동화된 베이스라인이 벤치마크상의 격차를 드러낼 수 있는지 평가하기 위해 36개의 지도학습 분류 및 회귀 과제를 취합했다. 각 과제는 Nature, Science, Cell 출판 그룹 산하 저널 등 최고 권위의 과학 학술지에 게재된 동료 평가(peer-reviewed) 논문에서 선별됐다.

연구진은 언어 모델을 활용해 각 과제에 맞춘 단순 베이스라인 모델을 생성했다. 이어 이렇게 자동 생성된 베이스라인의 성능을 단순 예측 모델(trivial predictor) 및 원본 연구에서 제안된 특화 딥러닝 아키텍처와 비교 측정했다.

단순 모델, 성능 격차의 대부분 메워

자동 생성된 베이스라인 모델들은 기대 이상의 강력한 결과를 보여줬다.

• 격차 만회: 평가 대상 과제 전반에 걸쳐, 자동 생성된 단순 베이스라인은 단순 예측 기준선과 딥러닝 모델 간 성능 격차의 중앙값 95.5%(평균 85.7%)를 만회했다.

• 복잡한 아키텍처 능가: 분석 대상 36개 연구 중 12개에서는 단순 베이스라인의 중앙값 성능이 논문에 발표된 딥러닝 모델의 성능과 대등하거나 오히려 이를 앞섰다.

연구진은 베이스라인의 품질에 영향을 미치는 요인들도 함께 분석했다. 과학 분야, 게재 학술지, 테스트 시점의 연산 자원 할당량, 언어 모델에 제공된 연구 맥락(context)의 수준에 따라 성능이 어떻게 달라지는지 상세히 규명했다.

과학계 동료 평가를 위한 확장 가능한 검증 도구

최근 AI 관련 연구 투고가 급증하면서 전통적인 인간 중심의 논문 심사(동료 평가) 시스템은 심각한 과부하를 겪고 있다. 심사위원들은 복잡한 딥러닝 아키텍처가 표준적인 통계 기법이나 전통적인 머신러닝 베이스라인을 실제로 크게 능가하는지 일일이 검증할 시간이나 전용 코드베이스가 부족한 경우가 많다.

연구진은 자동화된 베이스라인 생성이 딥러닝 연구의 성과 주장을 검증할 수 있는 실용적이고 확장 가능한 도구가 된다고 강조한다. 논문 출판 전 비교 기준이 되는 베이스라인을 자동 생성함으로써, 과학계는 보고된 연산적 돌파구가 단순한 방법론 대비 실질적인 기술적 진보인지 더욱 확실하게 가려낼 수 있을 것으로 기대된다.