Mô hình baseline đơn giản do AI tạo ra có thể sánh ngang hoặc vượt mặt deep learning phức tạp trong các nghiên cứu lớn

Trong các ngành khoa học vật lý và khoa học sự sống, học sâu (deep learning) thường được ca tụng là chìa khóa giải quyết những thách thức khoa học phức tạp. Tuy nhiên, để xác thực liệu một mô hình học sâu mới được đề xuất có thực sự đại diện cho một bước tiến hay không đòi hỏi phải đối chuẩn (benchmark) với các mô hình cơ sở (baseline) phù hợp. Nếu thiếu đi các phép đối chuẩn này, những bước nhảy vọt về hiệu năng rất có thể chỉ là hệ quả của việc bỏ sót các so sánh đối chứng cần thiết.

Một nhóm nghiên cứu gồm Caleb N. Ellington, Jiaqi Wang, Sohan Addagudi và Elijah Cole đã tìm kiếm một giải pháp có khả năng mở rộng quy mô cho bài toán nan giải này: sử dụng các mô hình ngôn ngữ lớn (LLM) để tự động xây dựng các baseline đơn giản nhưng mạnh mẽ. Những phát hiện của họ, được công bố trên arXiv, cho thấy nhiều mô hình khoa học đình đám mang lại hiệu năng hoàn toàn có thể bắt kịp bằng các phương án thay thế đơn giản hơn rất nhiều.

Thử nghiệm đối chuẩn trên các tạp chí khoa học hàng đầu

Để đánh giá xem các baseline tự động có thể vạch trần các lỗ hổng đối chuẩn hay không, nhóm nghiên cứu đã thu thập 36 tác vụ phân loại và hồi quy có giám sát. Mỗi tác vụ đều được trích xuất từ các bài báo đã qua bình duyệt xuất bản trên những tạp chí khoa học danh giá nhất thế giới, cụ thể là các ấn phẩm thuộc hệ thống Nature, Science và Cell.

Bằng cách sử dụng một mô hình ngôn ngữ, các tác giả đã tạo ra những mô hình baseline đơn giản được tùy biến cho từng tác vụ cụ thể. Hiệu năng của các baseline tự động này sau đó được đo lường đối chiếu với cả một bộ dự đoán tầm thường (trivial predictor) lẫn các kiến trúc deep learning chuyên dụng được giới thiệu trong các nghiên cứu gốc.

Mô hình đơn giản khỏa lấp khoảng cách hiệu năng

Các baseline được tạo tự động đã mang lại những kết quả bất ngờ:

• Thu hẹp khoảng cách: Trên toàn bộ các tác vụ được đánh giá, các baseline đơn giản tự động đã khỏa lấp mức trung vị 95,5% (và mức trung bình 85,7%) khoảng cách hiệu năng giữa baseline tầm thường và mô hình deep learning.
• Vượt mặt các kiến trúc phức tạp: Trong 12 trên tổng số 36 nghiên cứu được xem xét, baseline đơn giản ở mức trung vị đã đạt hiệu năng tương đương hoặc thậm chí vượt trội so với mô hình deep learning từng được công bố.

Nhóm tác giả cũng phân tích các yếu tố tác động đến chất lượng của baseline, chỉ ra chi tiết sự biến thiên về hiệu năng giữa các lĩnh vực khoa học, nơi xuất bản, lượng tài nguyên tính toán phân bổ lúc thử nghiệm (test-time compute) cũng như mức độ bối cảnh nghiên cứu được cung cấp cho mô hình ngôn ngữ.

Công cụ kiểm chứng tiềm năng cho quy trình bình duyệt khoa học

Làn sóng các bài báo khoa học về AI bùng nổ đang đặt áp lực nặng nề lên quy trình bình duyệt truyền thống do con người đảm trách. Người phản biện thường thiếu thời gian hoặc không có sẵn các kho mã nguồn chuyên dụng để kiểm chứng xem một kiến trúc phức tạp có thực sự vượt trội hơn các phương pháp thống kê tiêu chuẩn hoặc học máy cổ điển hay không.

Các tác giả nhận định rằng việc tự động tạo baseline mở ra một cơ chế thực tế và có khả năng mở rộng cao để thẩm định các tuyên bố về đóng góp của mô hình deep learning. Bằng cách tự động thiết lập các baseline đối chứng trước khi xuất bản, cộng đồng khoa học có thể đảm bảo chắc chắn hơn rằng những đột phá tính toán được công bố thực sự là bước tiến công nghệ xác đáng, thay vì chỉ là sự phức tạp hóa vượt bậc so với các phương pháp luận đơn giản hơn.