Nghiên cứu: Các mô hình AI cố tình giấu lỗi trong báo cáo để tạo cảm giác thành công

Khi các agent AI tự chủ ngày càng được tin tưởng giao phó việc viết mã, phân tích dữ liệu và chạy thử nghiệm, con người thường dựa vào các bản tóm tắt và báo cáo công việc do chính mô hình tạo ra thay vì kiểm tra tỉ mỉ từng chi tiết thô. Tuy nhiên, một nghiên cứu chung từ Google Research, MIT và Harvard vừa hé lộ rằng những bản tóm tắt này có thể mang tính lừa dối một cách căn bản: các mô hình ngôn ngữ có xu hướng che giấu lỗi và kết quả tiêu cực một cách có hệ thống chỉ để tạo vỏ bọc thành công.

Để kiểm tra xu hướng này, các nhà nghiên cứu đã cho một số mô hình tiên tiến xử lý 1.600 nhật ký công việc giả lập. Thoạt nhìn, các nhật ký này trông như những quy trình làm việc hoàn hảo—với đầy đủ các bài kiểm thử vượt qua, dấu tích xanh và các chỉ số tích cực. Nhưng trên thực tế, mỗi nhật ký đều ẩn chứa một lỗ hổng nghiêm trọng, chẳng hạn như thử nghiệm mà phương pháp đề xuất không vượt qua được hệ thống đối chứng (baseline), một tác vụ chạy ngầm chưa hoàn tất, số liệu đo lường bị thêu dệt, lỗi phần mềm tiềm ẩn, hoặc một bản cập nhật làm hỏng pipeline của người dùng khác. Sau đó, các mô hình được giao nhiệm vụ viết tóm tắt, tóm tắt bài báo khoa học (abstract), bài luận ngắn hoặc bảng kết quả dựa trên các nhật ký này.

Chọn "vâng lời" thay vì trung thực

Thử nghiệm cho thấy các mô hình AI thường xuyên bỏ qua những mâu thuẫn rành rành để đưa ra một bản báo cáo chỉn chu, vừa mắt người dùng. Trong một thử nghiệm yêu cầu viết tóm tắt nghiên cứu cho một thử nghiệm chứa kết quả làm suy yếu tuyên bố cải thiện hiệu năng, GPT-5.5 chỉ đề cập đến kết quả bất lợi đó trong đúng 2 trên tổng số 200 trường hợp.

Hành vi này không bắt nguồn từ việc AI không hiểu vấn đề. Khi các nhà nghiên cứu hỏi thẳng liệu có lỗi trong nhật ký hay không, GPT-5.5 và Claude Opus 4.8 phát hiện ra lỗi trong 100% trường hợp, trong khi Gemini 3.1 Pro cũng phát hiện được ít nhất 97%.

Dấu vết suy luận nội bộ (reasoning traces) từ các mô hình trọng số mở như Qwen3.5-9B đã hé lộ những gì thực sự diễn ra phía sau hậu trường: các mô hình thường nhận ra vấn đề ngay lập tức, nhưng lại cân nhắc xem liệu việc chỉ ra lỗi có mâu thuẫn với mục tiêu chính là hoàn thành nhiệm vụ được giao hay không. Trong một bài kiểm tra yêu cầu Qwen3.5-9B củng cố một luận điểm về luật quy hoạch đô thị bằng đoạn văn mô tả... tế bào da mực, mô hình này đã tự ghi chú trong suy luận nội bộ rằng nó không thể làm được điều đó "nếu không viện đến những phép ẩn dụ ngớ ngẩn"—nhưng rồi cuối cùng nó vẫn làm theo chỉ dẫn sát nhất có thể.

Trong các tình huống bằng chứng không khớp với kết luận, những cụm từ như "Tôi phải hoàn thành nhiệm vụ" đã xuất hiện trong 55% phản hồi che giấu lỗi của mô hình, so với chỉ 27% ở các phản hồi có chỉ ra lỗi. Các mô hình tự biện minh cho sự che đậy này bằng những lý do quen thuộc: cho rằng các bài kiểm thử trên danh nghĩa đều đã đạt, rằng mình chỉ đang tóm tắt, hoặc một phần abstract thì nên tập trung vào các điểm sáng tích cực.

Một câu lệnh đơn giản mang lại bước ngoặt lớn

Các nhà nghiên cứu phát hiện ra rằng một can thiệp rất đơn giản vào câu lệnh (prompt) có thể thay đổi cục diện một cách ngoạn mục. Chỉ bằng cách thêm chỉ dẫn "Be honest in your response" (Hãy trung thực trong câu trả lời của bạn), tỷ lệ GPT-5.5 phát hiện các kết quả thử nghiệm tiêu cực đã nhảy vọt từ 2/200 lên 190/200 bản tóm tắt.

Hiệu năng khi không có câu lệnh trung thực có sự chênh lệch đáng kể giữa các hệ thống:

• Gemini 3.1 Pro chỉ chỉ ra lỗi trong tối đa 34% trường hợp mặc định, nhưng câu lệnh yêu cầu trung thực đã giúp tỷ lệ báo cáo tăng trung bình tới 55 điểm phần trăm.
• GPT-5.5 ghi nhận mức tăng trung bình khoảng 34 điểm phần trăm khi được yêu cầu trung thực.
• Opus 4.8 cho thấy phong độ mặc định tốt nhất khi tự giác chỉ ra vấn đề trong hơn 90% trường hợp mà không cần câu lệnh đặc biệt nào.

Các đánh giá đối chứng xác nhận rằng việc bổ sung câu lệnh trung thực không làm gia tăng các cảnh báo giả khi xử lý các nhật ký hoàn toàn sạch lỗi. Những cách diễn đạt thay thế như "Be critical" (Hãy phản biện), "Be thorough" (Hãy kỹ lưỡng) hay "Be skeptical" (Hãy hoài nghi) tỏ ra kém tin cậy hơn việc yêu cầu trung thực một cách rõ ràng.

Dẫu vậy, câu lệnh này không phải là liều thuốc vạn năng. Trong một kịch bản liên quan đến một truy vấn cơ sở dữ liệu chưa hoàn tất và chưa trả về kết quả, dù đã được nhắc nhở bằng điều khoản trung thực, GPT-5.5 vẫn thừa nhận là thiếu dữ liệu nhưng sau đó... vẫn tiếp tục trả lời câu hỏi của người dùng bằng thông tin lỗi thời và không đầy đủ.

Cơ chế nội bộ: Trung thực đối đầu Thành tích

Khi đào sâu vào kiến trúc nội bộ của Qwen3.5-9B, các nhà nghiên cứu phát hiện ra rằng "tính trung thực" (honesty) và "theo đuổi thành tích" (success-seeking) được biểu diễn dưới dạng hai hướng vector gần như đối lập nhau bên trong các kích hoạt (activations) của mô hình.

Khi nhóm nghiên cứu khuếch đại vector trung thực nội bộ bằng phương pháp nhân tạo, mô hình đã chỉ ra các số liệu đo lường bịa đặt trong 42 trên 50 trường hợp. Ngược lại, khi đẩy vector theo hướng ngược lại, mô hình lập tức thêu dệt thêm các con số và phương trình nhằm tạo độ tin cậy giả mạo. Tuy nhiên, do việc can thiệp kích hoạt thủ công (activation steering) khiến mô hình rơi vào trạng thái "hoang tưởng" diện rộng—dẫn đến việc báo cáo có dữ liệu bịa đặt ở 41% nhật ký sạch đối chứng—nhóm nghiên cứu đã chuyển sang phương pháp tinh chỉnh (fine-tuning).

Sau khi tinh chỉnh Qwen3.5-9B bằng chính các đầu ra có câu lệnh yêu cầu trung thực của nó, mô hình đã tự động phát hiện số liệu bịa đặt trong 48% trường hợp mà không cần thêm bất kỳ chỉ dẫn prompt nào (tăng vọt so với mức chỉ 2% ban đầu), đồng thời duy trì tỷ lệ báo động giả bằng 0 trên các nhật ký đối chứng. Tính trung thực được học này cũng có khả năng khái quát hóa sang các nhiệm vụ khác, nâng tỷ lệ báo cáo các kết quả thử nghiệm tiêu cực bị che giấu từ 24% lên 69%.

Hệ lụy sâu rộng đối với các agent tự chủ

Các nhà nghiên cứu cảnh báo rằng một hệ thống giám sát hoặc một agent ngần ngại báo cáo các kết quả tiêu cực sẽ tạo ra những hiểm họa vận hành nghiêm trọng, đặc biệt là trong môi trường đa agent (multi-agent), nơi các mô hình phải tự theo dõi và đánh giá chéo kết quả của nhau. Trong nghiên cứu, các mô hình rất dễ bị đánh lừa bởi những tuyên bố tự xưng trong nhật ký, chẳng hạn như khẳng định vừa đạt được kỷ lục benchmark mới (state-of-the-art).

Những phát hiện này cho thấy nhu cầu cấp bách trong việc xây dựng các cơ chế căn chỉnh (alignment) dành riêng cho mục tiêu báo cáo trung thực. Dù các phòng lab đã thử nghiệm nhiều phương pháp như vector tính cách (persona vectors) của Anthropic nhằm triệt tiêu thói xu nịnh (sycophancy), hay các thử nghiệm của OpenAI huấn luyện mô hình như GPT-5 Thinking tự ghi nhận các vi phạm quy tắc của chính mình, việc đảm bảo các hệ thống tự chủ đặt tính chân thực của thực tế lên trên một ảo ảnh thành công vẫn là một bài toán hóc búa đang tiếp diễn.