NVIDIA Cosmos-H-Dreams: Simulator phẫu thuật AI chạy thời gian thực trên một GPU

Simulator phẫu thuật thực tế được đưa vào hoạt động

NVIDIA vừa công bố Cosmos-H-Dreams, một công cụ simulator phẫu thuật chạy thời gian thực được thiết kế đặc biệt để huấn luyện và đánh giá các chính sách hành động thị giác-ngôn ngữ trên robot phẫu thuật. Công cụ này giải quyết một vấn đề cấp bách trong ngành: các nền tảng robot phẫu thuật vật lý cực kỳ tốn kém để vận hành, các thí nghiệm chậm chạp và khó lặp lại, đồng thời các lỗi có thể gây hại đến dụng cụ tinh tế hoặc mô sống. Thay vì phải thử nghiệm trực tiếp trên thiết bị vật lý, Cosmos-H-Dreams mang các phòng phẫu thuật vào không gian kỹ thuật số, cho phép các nhà nghiên cứu chạy hàng trăm kịch bản mô phỏng chỉ trong vài phút.

Từ mô hình thế giới sang môi trường tương tác

Cosmos-H-Dreams được phát triển từ nền tảng Cosmos-H-Surgical-Simulator, một mô hình nền tảng học thế giới được xây dựng trên Cosmos-Predict2.5-2B (model 2 tỷ tham số của NVIDIA) và tinh chỉnh trên bộ dữ liệu Open-H-Embodiment. Phiên bản trước đó có thể tạo ra video phẫu thuật trong tương lai dựa trên một khung cảnh ban đầu và một chuỗi hành động robot, nhưng tốc độ xử lý chỉ khoảng 10 khung hình mỗi giây — quá chậm cho việc sử dụng thương mại.

Để đạt được hoạt động thời gian thực, NVIDIA sử dụng một chiến lược học tập từ thầy sang trò (teacher-student distillation). Các nhà nghiên cứu đã chuyên biệt hóa mô hình cho da Vinci Research Kit (dVRK) — một nền tảng phẫu thuật chuẩn trong các phòng thí nghiệm — sau đó chưng cất nó vào một mô hình học sinh nhẹ hơn, hoạt động với một chuỗi hành động 44 chiều thống nhất. Bước này bao gồm đào tạo trên bộ trộn dữ liệu JHU dVRK, không chỉ với những lần trình diễn thành công mà còn cả những lần thất bại như thả kim, ném hỏng hay buộc nút không thành công — những sai lầm này rất quan trọng vì một simulator tốt phải tái hiện hậu quả của những hành động kém, chứ không chỉ những lần thực hiện hoàn hảo.

Để cải thiện ổn định trong quá trình chạy dài, quá trình đào tạo tăng dần chân trời thời gian từ 12 khung hình lên 72 khung hình. Kỹ thuật "self-forcing distillation" sau đó hướng dẫn mô hình học sinh tiếp cục dữ liệu được tạo ra bởi chính nó, chuẩn bị cho các điều kiện nó sẽ gặp phải khi hoạt động tương tác thực tế. Kết quả cuối cùng hỗ trợ khuếch tán chỉ với hai bước khử nhiễu cho mỗi khung hình tiềm ẩn, thay vì nhiều bước của mô hình giáo viên đầy đủ. NVIDIA cũng giới thiệu FlashDreams, một thư viện suy luận gia tốc chuyên dụng dùng bộ nhớ đệm streaming KV, CUDA Graph capture và biên dịch mô hình để tối ưu hóa hiệu suất. Kết hợp lại, những tối ưu hóa này nâng hiệu suất từ ~10 fps lên ~160 khung hình mỗi giây trên một GPU NVIDIA RTX PRO 6000 duy nhất.

Cosmos-H-Dreams cũng cung cấp các giao diện con người-máy để biến việc tạo ra thành tương tác. Một ứng dụng trình duyệt có thể gửi lệnh từ bàn phím và nhận các khung hình được tạo ra qua WebRTC, trong khi một ứng dụng Meta Quest có thể ánh xạ chuyển động bộ điều khiển được theo dõi thành các hành động robot và hiển thị khung cảnh tổng hợp thông qua WebXR. NVIDIA cũng hợp tác với CMR Surgical và Cambridge Consultants để tích hợp Cosmos-H-Dreams với bộ điều khiển Versius, cho phép hoạt động thời gian thực trên nền tảng Versius.

Simulator trong bối cảnh robot tự chủ

Robot phẫu thuật đang chuyển dịch từ teleoperation (do người điều khiển từ xa) sang các chính sách thị giác-hành động ngày càng tự chủ hơn. Tuy nhiên, phẫu thuật là một trong những môi trường phức tạp nhất để mô phỏng: mô mềm có tính biến dạng, tương tác dụng cụ tinh tế, bề mặt phản quang, chỉ khâu, kim, khí và tắc ngạt đều đóng vai trò quan trọng. Các simulator thông thường khó bắt kịp những chi tiết này. Mô hình nền tảng thế giới (world foundation models) mở ra một hướng tiếp cận khác: thay vì tạo thủ công từng vật thể và tương tác vật lý, chúng học động lực học hình ảnh trực tiếp từ video đã đồng bộ hóa và sử dụng kinematics robot. Cosmos-H-Dreams là bước tiếp theo của cách tiếp cận này — nó không chỉ kích hoạt đánh giá chính sách nhanh hơn so với vật lý mà còn cho phép tạo dữ liệu tổng hợp quy mô lớn cho các hệ thống robot phẫu thuật hiện đại.