Vốn đầu tư tỷ đô "quay lưng" với GPU Nvidia, chuyển sang chip inference tiết kiệm

Cuộc "chuyển hướng" của vốn AI

Startup AI General Compute vừa đạt được một cột mốc quan trọng: là công ty đầu tiên sử dụng chip inference làm tài sản đảm bảo cho một khoản vay khổng lồ trị giá 400 triệu đô từ Upper90, một quỹ đầu tư công nghệ. Đây không chỉ là một deal vốn thông thường, mà là tín hiệu rõ ràng về sự thay đổi trong chiến lược của các nhà đầu tư tầm cỡ: từ bet toàn bộ vào GPU tính toán (training) của Nvidia sang tập trung vào các chip chuyên dùng chạy các mô hình AI đã được huấn luyện (inference).

Những con số và tên tuổi cụ thể

General Compute được thành lập bởi CEO Finn Puklowski và CTO Jason Goodison. Hồi tháng 5 vừa qua, công ty này đã huy động vòng seed 15 triệu đô để xây dựng một "neocloud" — cơ sở hạ tầng được thiết kế riêng cho khối lượng công việc AI — xung quanh các chip SN50 do SambaNova, một nhà sản xuất được Intel hỗ trợ, phát triển. Khoản vay 400 triệu đô ngay sau đó giúp General Compute có thể mua số lượng lớn những chip này.

Điểm khác biệt chính của SN50 là nó được tối ưu hóa cho inference, không phải training. Những chip này tiết kiệm năng lượng đến mức không cần hệ thống làm mát nước đắt tiền, cho phép chúng được triển khai nhanh chóng hơn GPU trên nhiều loại trung tâm dữ liệu khác nhau. Theo General Compute, chip này cung cấp inference nhanh hơn GPU gấp 16 lần. Billy Libby, CEO và đồng sáng lập Upper90, có một lịch sử với loại tài chính này: vào năm 2021, quỹ của ông đã tài trợ cho các khoản mua GPU của Crusoe, một startup trung tâm dữ liệu tập trung vào năng lượng. Khi đó, các tổ chức tài chính truyền thống tránh xa những loại deal như vậy vì lo ngại về rủi ro và tính không chắc chắn của khấu hao GPU. Tuy nhiên, khi CoreWeave biến tài chính dựa trên chip thành một mô hình kinh doanh và sau đó là cơ sở cho một IPO nổi tiếng, loại tài chính này đã trở nên phổ biến.

Bối cảnh: thị trường quay sang giải pháp rẻ hơn

Nước rút là lo ngại của cộng đồng công nghệ về chi phí của các công cụ AI và token đang tăng vọt. Thay vì tiếp tục đầu tư vào những "siêu máy tính" GPU siêu đắt, các nhà đầu tư bây giờ đang tìm kiếm các công ty có thể cung cấp inference hiệu quả dựa trên mô hình mã nguồn mở. Những nền tảng như OpenRouter và Fireworks, cho phép truy cập vào các mô hình mở, gần đây đã huy động được vốn ở những định giá lớn. Các mô hình mới như Kimi K3 của một nhà sản xuất không phải từ các "lab biên giới" (frontier labs) như Anthropic hay OpenAI, đã chứng minh rằng chúng có thể cạnh tranh với các bản phát hành mới nhất về hiệu suất coding.

Đồng thời, những nhà sản xuất chip mới nổi như Groq, Cerebras, và SambaNova đang thu hút sự quan tâm từ các công ty mua lại và thị trường công khai. TensorWave, một công ty cơ sở hạ tầng AI khác, đang thực hiện một cược tương tự với một sự hợp tác với AMD. Khi ngày càng có nhiều lựa chọn thay thế Nvidia xuất hiện, những công ty cung cấp tính toán không bị khoá vào các thỏa thuận Nvidia có thể có lợi thế trong việc cung cấp inference hiệu quả chi phí.