DeepSeek mở mã nguồn DeepInfer: Engine tốc độ cao đằng sau mô hình V4.1-Flash

Công ty AI Trung Quốc DeepSeek vừa chính thức mở mã nguồn công cụ suy luận (inference engine) nội bộ mang tên DeepInfer theo giấy phép mã nguồn mở Apache License 2.0. Đây là phần mềm máy chủ cốt lõi vận hành mô hình V4.1-Flash – mô hình AI hiện có tốc độ nhanh nhất và tối ưu chi phí nhất của phòng lab này.

Suy luận (inference) là quá trình mô hình đã qua huấn luyện xử lý các yêu cầu đầu vào và tạo ra văn bản đầu ra. DeepInfer được thiết kế để xử lý các phản hồi này một cách cực kỳ nhanh chóng ở quy mô lớn.

Tối ưu hiệu suất trên nền tảng vLLM

DeepInfer được xây dựng dựa trên framework mã nguồn mở vLLM, tích hợp các nhân tính toán (compute kernels) tối ưu hóa riêng, khả năng xử lý phân tán trên nhiều chip và các kỹ thuật tăng tốc sinh văn bản.

Cùng với DeepInfer, DeepSeek cũng phát hành một công cụ bổ trợ có tên deepseek-recipe. Công cụ này tái tạo chính xác quy trình xử lý token được sử dụng bởi API chính thức của DeepSeek, đảm bảo các triển khai tự lưu trữ (self-hosted) hoạt động hoàn toàn nhất quán với dịch vụ đám mây của công ty.

DeepSeek xác nhận rằng mã nguồn của các mô hình trong tương lai cũng sẽ tiếp tục được phát hành dưới dạng mã nguồn mở.

Giảm chi phí và gia tăng áp lực cạnh tranh

Trong một tuyên bố đăng trên X, DeepSeek cho biết mục tiêu chính của đợt phát hành này là "giúp cộng đồng giảm chi phí tính toán, tiết giảm năng lượng tiêu thụ và đưa AI trở nên dễ tiếp cận hơn với chi phí hợp lý". Mặc dù giá sử dụng mô hình và API của DeepSeek vốn đã thấp hơn đáng kể so với nhiều đối thủ, việc phát hành DeepInfer sẽ giải quyết rào cản kỹ thuật cuối cùng cho các nhà phát triển muốn tự vận hành hệ thống với chi phí tối thiểu.

Động thái mở mã nguồn này tiếp tục gia tăng áp lực về giá lên các nhà cung cấp AI phương Tây như OpenAI và Anthropic. Trong bối cảnh cuộc đua AI Mỹ - Trung đang ngày càng gay gắt, các nhà quan sát thị trường nhận định những bước đi như vậy có thể mang lại tác động địa chính trị đáng kể, bởi việc không đạt dự báo tăng trưởng có thể gây ra rủi ro tài chính lớn cho các công ty AI phương Tây nói riêng và toàn bộ nền kinh tế nói chung.