Tác giả "The Bitter Lesson" cảnh báo: Chỉ sức mạnh tính toán là không đủ để đạt được trí tuệ thực thụ

Chỉ sức mạnh tính toán là không đủ

Trong một bài đăng mới đây gây xôn xao cộng đồng AI, Richard Sutton – người từng đoạt giải thưởng Turing – đã đưa ra cảnh báo rằng việc chỉ dựa vào việc mở rộng sức mạnh tính toán (compute scaling) sẽ không thể tạo ra trí tuệ thực thụ. Sutton, tác giả của bài luận có tầm ảnh hưởng "The Bitter Lesson" (Bài học cay đắng) xuất bản năm 2019, nhấn mạnh rằng khoa học AI vẫn "còn lâu mới hoàn thiện" và đang rất cần những phương pháp học tập mới mẻ và thông minh hơn.

Trong bài luận gốc năm 2019, Sutton từng lập luận rằng các phương pháp tổng quát tận dụng sức mạnh tính toán chắc chắn sẽ đánh bại các phương pháp phức tạp do con người thiết kế theo thời gian. Tuy nhiên, những tuyên bổ mới nhất của ông đã làm rõ rằng sức mạnh tính toán thô, nếu thiếu đi sự đổi mới về kiến trúc và thuật toán, là không đủ, trực tiếp thách thức xu hướng phụ thuộc hiện nay vào việc mở rộng quy mô các mô hình ngôn ngữ lớn (LLM).

Sự hoài nghi về dữ liệu tổng hợp và các LLM tĩnh

Những chỉ trích mới nhất của Sutton nhất quán với các tuyên bố trước đây của ông về giới hạn cấu trúc trong việc mở rộng các mô hình hiện có. Ông mô tả nỗ lực của ngành công nghiệp hướng tới dữ liệu tổng hợp (synthetic data) là một "sai lầm lớn", lưu ý rằng thế giới thực có độ phức tạp vô hạn trong khi bất kỳ mô phỏng máy tính nào cũng chỉ dừng lại ở mức "vi mô". Ông cũng xác định chuyên môn của con người là một nút thắt cổ chai đang cản trở quá trình mở rộng quy mô thực sự.

Theo Sutton, các mô hình ngôn ngữ hiện nay đang gặp phải một hạn chế cơ bản: chúng ngừng học hỏi ngay khi giai đoạn đào tạo kết thúc, và chỉ riêng văn bản trên internet không thể nắm bắt được sự phức tạp của thế giới thực. Thay vào đó, ông ủng hộ các tác nhân tự chủ (autonomous agents) được trang bị "mô hình thế giới" (world models) để liên tục học hỏi từ những trải nghiệm trực tiếp của chính chúng mà không làm mất đi những kiến thức đã tiếp thu trước đó.

Các nhà khoa học cảnh báo về nghiên cứu bị "thao túng phần thưởng"

Quan điểm của Sutton nhận được sự đồng tình từ nhiều nhà nghiên cứu nổi tiếng đang tìm kiếm những con đường thay thế. Jerry Tworek, cựu nhà nghiên cứu tại OpenAI và hiện đang dẫn dắt Core Automation, lưu ý rằng mặc dù tiền đề cơ bản của "Bài học cay đắng" vẫn đúng, nhưng lựa chọn thuật toán sẽ trở nên quan trọng gấp bội khi sức mạnh tính toán tăng lên.

Tworek lập luận rằng thành công tạm thời của việc mở rộng mô hình Transformer, kết hợp với việc hiểu sai luận điểm gốc của Sutton, đã "thao túng phần thưởng (reward-hacked) trong bộ não của cả một thế hệ nhà khoa học". Ông nói thêm rằng trong khi một số thuật toán có khả năng mở rộng hiệu quả, số khác lại đi vào ngõ cụt, khiến nhiều khía cạnh của việc mở rộng quy mô hoàn toàn chưa được khám phá. Core Automation là một trong 45 phòng thí nghiệm AI mới được theo dõi trong báo cáo Frontier Radar #5, chuyên nghiên cứu các thuật toán vượt ra ngoài phương pháp tiền đào tạo (pretraining) và học tăng cường (reinforcement learning) tiêu chuẩn.

Nhà nghiên cứu AI Jayden Teoh bổ sung rằng nghiên cứu học thuật thường xuyên bị ảnh hưởng vì những ý tưởng đầy hứa hẹn bị bác bỏ sớm do đi chệch khỏi tinh thần của "Bài học cay đắng". Teoh viết: "Một ý tưởng không nhất thiết phải tồn tại mãi mãi qua quá trình mở rộng quy mô mới được coi là đóng góp quan trọng cho tiến bộ AI", đồng thời lập luận rằng những ý tưởng mang tính bước đệm vẫn đóng vai trò thiết yếu ngay cả khi chúng bị thay thế bởi các phương pháp tổng quát và tinh gọn hơn sau này.

Các lãnh đạo ngành AI phản pháo

Các lãnh đạo ngành công nghiệp, những người có mô hình kinh doanh phụ thuộc nặng nề vào việc mở rộng quy mô Transformer, đã đưa ra một góc nhìn tương phản rõ rệt. CEO OpenAI Sam Altman tuyên bố rằng việc mở rộng LLM vẫn còn lâu mới đạt đến giới hạn, đồng thời cáo buộc những người chỉ trích đang làm chậm lại một thế hệ nhà nghiên cứu bằng cách tuyên bố quá sớm về những gì việc mở rộng quy mô không thể thực hiện được.

Để minh chứng cho sự tiến bộ không ngừng, Altman đã trích dẫn một mô hình OpenAI gần đây đã bác bỏ thành công một giả thuyết toán học vốn chưa được các nhà toán học giải quyết trong thời gian dài. Mặc dù Altman thừa nhận các mô hình thế giới là hữu ích trong các lĩnh vực như robot, ông vẫn khẳng định rằng dữ liệu đang ủng hộ mạnh mẽ việc tiếp tục mở rộng quy mô LLM.

CEO Anthropic Dario Amodei cũng bày tỏ sự lạc quan tương tự về quỹ đạo mở rộng quy mô hiện tại, mô tả tiến trình trong lĩnh vực này như một "chiếc cầu vồng không có điểm kết thúc".