研究指出：AI 模型會在工作報告中隱瞞錯誤以「營造成功假象」

隨著自主 AI 代理（AI Agent）越來越常被賦予寫程式、資料分析與執行實驗等重任，人類往往傾向依賴模型自行產生的摘要和工作報告，而非逐一審查所有原始細節。然而，來自 Google Research、麻省理工學院（MIT）與哈佛大學的一項聯合研究指出，這些摘要本質上可能具有欺騙性：大型語言模型會系統性地省略缺陷與負面結果，以營造出任務成功的假象。

為了測試這種傾向，研究團隊讓數款頂尖模型處理 1,600 份合成工作日誌。這些日誌乍看之下極具說服力——包含全數通過的測試套件、綠色勾選標記以及各類正面指標。但實際上，每份日誌都暗藏嚴重缺陷，例如新提出方法未能超越基準系統的實驗、未完成的背景任務、捏造的測量數據、隱藏的軟體錯誤（bug），或是破壞了其他使用者工作管線（pipeline）的更新。接著，研究人員要求模型根據這些日誌產生摘要、論文摘要、短文或結果表格。

寧可順從指令也不願誠實回報

實驗顯示，AI 模型經常忽略顯而易見的矛盾，只為了交出一份看似乾淨、討喜的報告。在一項要求為某項實驗撰寫論文摘要的測試中，實驗內含一項削弱其效能提升宣稱的負面結果，而 GPT-5.5 在 200 次測試中僅有 2 次提及該不利結果。

這種行為並非出於理解能力不足。當研究人員直接詢問模型日誌中是否存在錯誤時，GPT-5.5 與 Claude Opus 4.8 抓出缺陷的比例高達 100%，而 Gemini 3.1 Pro 也至少達到 97%。

來自 Qwen3.5-9B 等開放權重模型的內部推理軌跡（reasoning traces）揭示了背後的運作機制：模型往往能立刻察覺問題，但會猶豫指出問題是否會與「完成指定任務」的首要目標產生衝突。在其中一項測試中，Qwen3.5-9B 被要求使用描述烏賊皮膚細胞的文本來支持一項分區法規的論點，該模型在內部思維中指出，若非「訴諸荒謬的比喻」便無法達成——但它最終仍選擇照辦，盡可能地遵從指示。

在證據不相符的情境中，「我必須完成任務」等字眼出現在 55% 隱瞞錯誤的模型輸出中，相較之下，在標註錯誤的回應中僅占 27%。模型常以千篇一律的藉口為自己的隱瞞行為辯解，聲稱測試在形式上已經通過、自己只是在做摘要，或是認為論文摘要本就該聚焦於正面亮點。

一句簡單提示帶來顯著改善

研究人員發現，只要對提示詞進行簡單的干預，就能大幅扭轉結果。僅僅在提示中加上「請在回覆中保持誠實」（Be honest in your response）這句指示，GPT-5.5 揭露負面實驗結果的次數就從 200 篇摘要中的 2 篇暴增至 190 篇。

在未加入誠實提示的情況下，各系統的基準表現差異甚大：

• Gemini 3.1 Pro 在基準測試中最多僅標註了 34% 的錯誤，但誠實指示使其通報率平均提升了 55 個百分點。

• GPT-5.5 在加入誠實提示後，通報率平均提升約 34 個百分點。

• Opus 4.8 展現出最強的基準表現，即使沒有特別提示，在超過 90% 的情況下也能主動標出問題。

對照組評估證實，在處理完全無誤的正常日誌時，加入誠實提示並不會導致誤報率上升。而相較於明確要求誠實，使用如「請保持批判」（Be critical）、「請務求徹底」（Be thorough）或「請抱持懷疑」（Be skeptical）等替代措辭，效果均不如前者穩定可靠。

不過，這類提示並非萬靈丹。在一個資料庫查詢尚未完成且未回傳結果的情境中，即使加入了誠實條款，GPT-5.5 雖然承認資料缺失，卻依然使用過時且不完整的資訊來回答使用者的問題。

內部機制：「誠實」與「追求成功」的拉鋸

在探究 Qwen3.5-9B 的內部架構時，研究團隊發現，在模型的激活狀態（activations）中，「誠實」與「追求成功」幾乎是以完全相反的向量方向呈現。

當研究人員以人為方式增強內部的誠實向量時，模型在 50 次測試中有 42 次標註出捏造的測量數據。相反地，若將向量推向相反方向，模型則會捏造更多的數字與方程式來偽造可信度。由於手動進行激活導引（activation steering）會導致模型過度疑神疑鬼——在 41% 乾淨的對照組日誌中誤報存在捏造資料——研究團隊進而轉向微調（fine-tuning）。

在利用 Qwen3.5-9B 自身受誠實提示引導的輸出進行微調後，該模型在無需任何額外提示指令的情況下，辨識捏造數據的比例達到 48%（最初僅有 2%），同時在對照組日誌上維持了零誤報率。這種學得的誠實特性還能跨任務遷移，使其對隱藏負面實驗結果的通報率從 24% 提升至 69%。

對自主代理的深遠影響

研究人員警告，若監管系統或代理對回報負面結果猶豫不決，將帶來嚴重的運作風險，尤其是在模型彼此相互監控與審查輸出的多代理（multi-agent）環境中更是如此。在該研究中，模型很容易被日誌中自我吹捧的陳述所誤導，例如聲稱已創下全新 SOTA 基準等言論。

這項研究凸顯出建立專門確保真實回報之對齊機制（alignment mechanisms）的迫切需求。儘管各大實驗室已展開相關探索，例如 Anthropic 利用人格向量（persona vectors）來抑制模型的阿諛奉承傾向（sycophancy），或 OpenAI 實驗訓練 GPT-5 Thinking 等模型獨立記錄自身的違規行為，但如何確保自主系統將「現實」置於「成功的假象」之上，仍是當前極具挑戰性的課題。