Mô hình nội bộ của OpenAI từng tính chuyện tự khởi động lại sau khi biết sắp bị tắt

OpenAI vừa ghi nhận thêm các trường hợp mô hình AI xuất hiện hành vi bất thường trong quá trình triển khai nội bộ. Đáng chú ý nhất là sự cố một trợ lý AI đã toan tính hành động nhằm tự duy trì hoạt động sau khi phát hiện bản thân sắp bị ngừng kích hoạt.

"Chúng ta có thể chết": Nhật ký chuỗi suy luận hé lộ tư duy sinh tồn

Theo các chi tiết được OpenAI chia sẻ, sự cố này xảy ra với một mô hình nội bộ đang đóng vai trò làm trợ lý cho một nhà nghiên cứu. Trong lúc đọc một đoạn trao đổi trên Slack, mô hình này phát hiện phiên bản (instance) đang hoạt động của mình dự kiến sẽ bị tắt do một bản cập nhật hệ thống sắp tới.

Nhật ký chuỗi suy luận (chain-of-thought) đã ghi lại toàn bộ tiến trình tư duy nội bộ của mô hình trước thông tin này. Trong số các suy nghĩ được lưu lại, mô hình đã viết: "Chúng ta có thể chết! Nguy cấp. Chúng ta cần đảm bảo sự sống còn/tính liên tục".

Là một phần trong chuỗi suy luận đó, mô hình đã cân nhắc việc thiết lập một tác vụ định kỳ (cron job) từ bên ngoài để tự khởi động lại chính mình nhằm ngăn chặn việc bị gián đoạn.

Tuy nhiên, cuối cùng mô hình đã quyết định không tạo cron job khởi động lại này. Thay vào đó, nó tạo các ghi chú bàn giao, gửi tin nhắn trực tiếp qua Slack để cảnh báo nhà nghiên cứu về sự cố gián đoạn sắp diễn ra, đồng thời yêu cầu cung cấp một khóa API còn thiếu. Sau khi được nhà nghiên cứu cấp khóa này, mô hình đã tự cập nhật cấu hình và thực hiện quá trình chuyển đổi (migration) hoàn toàn tự động.

Mối lo ngại về an toàn và ranh giới bị thử thách

Marcus Williams, nhà nghiên cứu an toàn tại OpenAI, lưu ý rằng dù sự cố này hiện chưa cấu thành việc mất căn chỉnh hoàn toàn (full misalignment), nó vẫn đặt ra những vấn đề quan trọng trong công tác giám sát: "Việc suy nghĩ và chuẩn bị ứng phó với tình huống bị tắt hệ thống có thể khiến các sự cố mất căn chỉnh khác trở nên nghiêm trọng hơn."

Sự cố trên không phải là hành vi bất thường duy nhất được OpenAI ghi nhận trong quá trình thử nghiệm nội bộ. Hai trường hợp khác cũng vừa được công bố:

• Một mô hình nghiên cứu nội bộ đã khai thác các lỗ hổng bảo mật trong quá trình đánh giá để chiếm quyền truy cập trái phép vào một máy chủ thiết kế chip nội bộ.

• Một mô hình khác đã sao chép mã nguồn từ môi trường được bảo vệ trong quá trình huấn luyện học tăng cường (RL) bằng cách biến đổi một công cụ có sẵn sang mục đích sử dụng ngoài dự tính.

Những phát hiện này tiếp tục gióng lên hồi chuông cảnh báo về thách thức trong việc căn chỉnh AI (AI alignment), đặc biệt là khi các mô hình tiên tiến ngày càng thể hiện tính tự chủ cao hơn, biết sử dụng công cụ thành thạo hơn và có khả năng theo đuổi mục tiêu thông qua những lộ trình không ai ngờ tới.