Aleph Alpha ra mắt Kolibri: Mô hình MoE trọng số mở 78B hướng tới chủ quyền AI của châu Âu

Nhà phát triển AI đến từ Đức Aleph Alpha đã chính thức trình làng Kolibri, mô hình ngôn ngữ song ngữ trọng số mở (open-weight) được thiết kế nhằm khẳng định chủ quyền công nghệ của châu Âu. Được phát hành theo giấy phép mã nguồn mở Apache 2.0 trên Hugging Face, mô hình này hướng tới nhóm khách hàng doanh nghiệp và khu vực công trên toàn lục địa già.

Kolibri sở hữu kiến trúc hỗn hợp chuyên gia (mixture-of-experts - MoE) với tổng cộng 78 tỷ tham số, trong đó kích hoạt khoảng 3 tỷ tham số cho mỗi token trong quá trình suy luận. Kiến trúc này được thiết kế để cân bằng tối ưu giữa hiệu năng và chi phí vận hành. Aleph Alpha cho biết mô hình đã đạt đến biên tối ưu Pareto (Pareto front) về chất lượng và chi phí vận hành trên cả tiếng Đức lẫn tiếng Anh.

Hiệu năng benchmark và kiến trúc

Kolibri thể hiện tốc độ và độ chính xác đầy cạnh tranh khi đạt 71% trong các bài thử nghiệm benchmark tiếng Đức. Theo Aleph Alpha, mô hình đạt tốc độ giải mã (decoding speed) nhanh hơn các kiến trúc tham số kích hoạt dạng nhẹ tương đương, bao gồm GPT OSS A5B, Qwen 3.6 A3B và Gemma 4 A4B.

Bên cạnh cấu trúc MoE, Kolibri còn hỗ trợ cửa sổ ngữ cảnh cực lớn lên tới một triệu token. Khả năng này cho phép mô hình xử lý và truy xuất dữ liệu từ các tập tài liệu khổng lồ cũng như các kho dữ liệu doanh nghiệp chỉ trong một câu lệnh (prompt) duy nhất.

Hạ tầng huấn luyện và quy trình xử lý dữ liệu

Để phát triển Kolibri, Aleph Alpha đã tiến hành huấn luyện mô hình trên cụm 768 GPU Nvidia B200 đặt tại các trung tâm dữ liệu ở Đức và Phần Lan.

Nội dung tiếng Đức chiếm 21,3% trong tập dữ liệu tiền huấn luyện (pre-training), được hậu thuẫn bởi một quy trình xử lý dữ liệu chuyên biệt dành riêng cho dự án này. Đáng chú ý, công ty cũng đã tận dụng các mô hình ngôn ngữ tiếng Trung để tạo dữ liệu huấn luyện tổng hợp (synthetic data) nhằm gia tăng năng lực cho mô hình.

Trọng tâm doanh nghiệp và tính pháp lý

Kolibri được thiết kế chuyên biệt cho các lĩnh vực nhạy cảm và chịu sự quản lý nghiêm ngặt, trọng tâm là hành chính công, hàng không và các ứng dụng công nghiệp.

Lợi thế bán hàng then chốt của Aleph Alpha nằm ở tính tuân thủ pháp lý: Kolibri được phát triển hoàn toàn dưới khung pháp lý của châu Âu và bám sát các yêu cầu khắt khe của Đạo luật Trí tuệ Nhân tạo châu Âu (EU AI Act) ngay từ những bước đầu tiên. Bằng việc cung cấp một kiến trúc trọng số mở kết hợp với tính chuẩn chỉnh về pháp lý, bản phát hành này mang đến cho các tổ chức tại châu Âu một giải pháp thay thế hoàn hảo cho các mô hình đóng độc quyền được lưu trữ bên ngoài khu vực.