Hóa giải nút thắt năng lượng: NVIDIA giúp các "nhà máy AI" tăng 24% sản lượng token trên cùng mức tiêu thụ điện

Khi lưới điện quá tải: Thử nghiệm giảm công suất tự động không làm gián đoạn AI

Tại sự kiện AI Infra Summit, Ian Buck – Phó Chủ tịch phụ trách mảng siêu máy tính và điện toán quy mô lớn của NVIDIA – đã chọn hiệu quả năng lượng của các "nhà máy AI" (AI factory) làm chủ đề trọng tâm trong bài phát biểu định hướng hạ tầng. Vấn đề năng lượng đang trở thành rào cản lớn nhất đối với sự phát triển của trí tuệ nhân tạo, khi các trung tâm dữ liệu khổng lồ đe dọa làm quá tải lưới điện dân sự.

Minh chứng rõ nét nhất cho giải pháp của NVIDIA diễn ra vào một buổi chiều tối oi ả tại Thung lũng Silicon. Khi nhu cầu dùng điều hòa nhiệt độ tăng vọt, đơn vị vận hành lưới điện Silicon Valley Power (SVP) đã phát tín hiệu khẩn yêu cầu một trung tâm dữ liệu AI cắt giảm tải. Thông qua nền tảng điều phối Conductor của Emerald AI – đối tác của NVIDIA, hệ thống đã tự động giảm lượng điện tiêu thụ từ 4 megawatt (MW) xuống còn 3 MW trong chưa đầy một phút mà không cần con người can thiệp. Các tác vụ suy luận (inference) ưu tiên cao vẫn vận hành bình thường, trong khi các công việc huấn luyện có thể dời lại được tạm giảm tốc độ. SVP sau đó đã gửi hơn 200 tín hiệu điều tiết tương tự và hệ thống đều phản hồi chính xác 100%.

Tối ưu từng megawatt: Tăng 24% lượng token và chuẩn kiến trúc 800V DC

Cùng ngày với sự kiện, nhà cung cấp dịch vụ đám mây GPU Lambda – đơn vị phục vụ hơn 10.000 khách hàng từ startup đến các tập đoàn công nghệ lớn – đã công bố kết quả thực tế đầu tiên khi thử nghiệm giải pháp DSX MaxLPS của NVIDIA trên hệ thống máy chủ GPU NVIDIA HGX B200.

Triển khai trên một cụm 5 rack gồm 19 node, Lambda cho biết:

• Tăng sản lượng tính toán: Cụm 19 node vận hành trong cùng một hạn mức điện năng vốn trước đây chỉ đủ cho 16 node chạy hết công suất, giúp nâng sản lượng token toàn cụm thêm 24% (từ khoảng 4 triệu token/giây lên 5 triệu token/giây).
• Hiệu suất năng lượng: Chỉ số hiệu năng trên mỗi watt điện (performance per watt) tăng 23%.
• Triển vọng tương lai: NVIDIA ước tính với các hệ thống thế hệ tiếp theo như Vera Rubin NVL72, DSX MaxLPS có thể giải phóng thêm tới 40% công suất GPU trong cùng mức giới hạn megawatt.

Ngoài việc phân bổ công suất động theo loại tác vụ (huấn luyện và suy luận tiêu thụ điện rất khác nhau), NVIDIA cũng thúc đẩy kiến trúc nguồn điện một chiều 800V DC (800V DC Power Architecture) nhằm giảm thiểu thất thoát qua các tầng chuyển đổi điện áp truyền thống, hỗ trợ các cụm rack máy tính mật độ cao hơn.

Chuyển dịch từ tối ưu linh kiện sang thiết kế tổng thể nhà máy AI

Nhà sáng lập kiêm CEO NVIDIA Jensen Huang từng khẳng định: "Một nhà máy 1 gigawatt sẽ không bao giờ tự biến thành nhà máy 2 gigawatt." Khi các giới hạn vật lý và thời gian chờ xây dựng đường dây truyền tải điện mới có thể kéo dài cả thập kỷ, thước đo năng lực hạ tầng AI hiện nay không còn đơn thuần là số lượng chip, mà là lượng công việc hữu ích (token) tạo ra trên mỗi gigawatt điện.

Nền tảng NVIDIA DSX (được công bố lần đầu tại GTC Đài Bắc vào tháng 5) hướng tới việc đồng bộ toàn bộ nhà máy thay vì chỉ tối ưu từng con chip riêng lẻ: từ phần mềm mô phỏng DSX Sim trước khi lắp đặt, hệ điều hành DSX OS, trao đổi dữ liệu DSX Exchange cho đến giải pháp tản nhiệt chất lỏng (vốn phải xử lý khoảng 120 kW nhiệt lượng trên mỗi tủ rack GB200 NVL72).

Thành công tại Santa Clara là bước đệm để NVIDIA chuẩn bị đưa giải pháp DSX Flex vào vận hành thương mại quy mô lớn, mở đầu bằng cơ sở Vera Rubin công suất 96 MW tại Trung tâm Nghiên cứu Nhà máy AI ở Manassas, bang Virginia. Việc các cơ sở AI chủ động san sẻ gánh nặng với lưới điện được kỳ vọng sẽ mở ra con đường mở rộng hạ tầng AI nhanh hơn mà không cần chờ đợi nâng cấp mạng lưới điện quốc gia.