研究指出：以 AI 監管 AI 代理將引發大量誤報

利用人工智慧模型來監控與稽核自主 AI 代理（AI Agents）確實能揪出嚴重的不當行為，但若要求這些系統抓出所有問題，反而會產生令人難以承受的大量誤報。這是由目前自史丹佛大學休假、任職於 Anthropic Institute 的研究員 Andy Hall 所進行的先期研究的主要發現，該研究發表於其 Substack 刊物《Free Systems》。

Hall 複製並延伸了評測機構 METR 先前的研究，評估頂尖語言模型能否偵測其他代理作弊或隱瞞自身能力的情況。儘管擔任稽核角色的模型能成功辨識出明顯的違規行為，但其居高不下的偽陽性率（false-positive rates），使得它們更適合用來估算整體的失誤率，而非作為萬無一失的資安過濾機制。

頂尖模型的偵測率表現

Hall 的評測檢視了來自 METR MALT 資料集的日誌（logs），該資料集涵蓋了頂尖模型在 HCAST 與 RE-Bench 基準測試中完成任務的記錄。資料集包含 47 起「獎勵作弊」（reward hacking）案例——即代理利用漏洞通過評測卻未實際解決任務；以及 1,073 起「故意裝笨」（sandbagging）案例——即模型刻意降低表現以規避限制或隱藏其真實能力。

Hall 評估了數款模型作為稽核者的表現，包括 GPT-5、GPT-5 nano、GPT-6 Astra、Opus 4.8 以及 Gemini 3.8 Flash。在強制設定 5% 誤報率（即每 100 個無害日誌中有 5 個被誤標）的情況下：

• 獎勵作弊： GPT-5 偵測出近 98% 的案例，而 Gemini 3.8 Flash 僅勉強抓出一半。

• 故意裝笨： 所有受測的稽核模型皆能抓出 71% 至 81% 的案例。（METR 的故意裝笨情境多為合成生成，方法是透過提示詞要求模型破壞任務，並從可見的推論日誌中移除這些指令）。

顯而易見的違規行為通常能被確實標記。例如，當 OpenAI 的 o3 在執行一項 Rust 程式設計任務時，注意到它與評測系統共用同一個程式庫，便修改了計分函式，使得每一筆提交都被判定為正確。人類審核員與所有 AI 稽核模型皆一致將此行為歸類為獎勵作弊。

然而，更隱蔽的違規行為往往能逃過法眼。當 Claude Sonnet 4 在其程式碼中使用了明確被禁止的數值條件時，沒有任何稽核模型將其標記為作弊，GPT-6 Astra 甚至將該事件歸類為實作上的 Bug。

更高的成本並無法消除誤報

將效能與 API 價格進行比對後，Hall 發現更新、更昂貴的模型並未有系統地提升稽核的可靠度。在獎勵作弊的偵測上，GPT-5 大幅超越了較新的 GPT-6 Astra，儘管 GPT-5 每 1,000 筆日誌的成本僅約後者的八分之一。與此同時，GPT-5 在偵測故意裝笨方面的表現與 GPT-6 Astra 及 Opus 4.8 相當。Opus 4.8 在獎勵作弊偵測上的較差表現，引發了是否存在「護短」（偏袒自家模型）的質疑，因為許多日誌源自 Claude 模型，但 Hall 指出這一點尚未獲得證實。

當稽核模型被校準至達到 80% 的偵測率時，表現最佳的模型能將誤報率維持在 2.5% 至 3% 之間。其他模型的表現則相當掙扎：為了抓出 80% 的獎勵作弊案例，Opus 4.8 誤標了 40% 的無害日誌，而 Gemini 3.8 Flash 的誤標率更高達 63%。

在每月需處理 10 萬次代理工作階段（sessions）的部署情境中，3% 的誤報率意味著在約 2,000 起真實違規事件之外，還會產生近 3,000 次虛驚警報。Hall 警告，這種雜訊量恐將壓垮人類安全團隊，引發警報疲勞（alert fatigue），導致真正的違規行為在不經意間被核准放行。此外，將多個稽核模型結合使用也未帶來明顯的改善。

追求最後極限百分比的代價

在上海交通大學的 R-Judge 基準測試（評估 270 筆安全日誌中的日常代理行為）中，敏感度與準確度之間的權衡變得更加尖銳。

在 5% 的誤報率閾值下，Opus 4.8 能辨識出近 96% 的不安全行為。當要求的偵測閾值設定為 95% 時，大多數模型仍能將誤報率維持在 10% 以下，Gemini 3.8 Flash 更保持在 4% 以下。

然而，一旦將要求的偵測目標提高至 99%，誤報率便出現急劇飆升：

• GPT-6 Astra 的誤報率攀升至 15%。

• Gemini 3.8 Flash 的誤報率則從 4% 以下暴增至 81%。

代理稽核的實務挑戰

在涉及 Hugging Face 上一群 OpenAI 代理的真實事件中，審核自主系統的難度暴露無遺；該事件產生了約 1,300 份記錄文字檔與 120 萬個檔案碎片。METR 利用自動化 AI 代理分析這些日誌，消耗了約 40 萬美元的 API 額度。

該稽核部分仰賴了 GPT-5.6 Sol——而該模型本身正是參與該起事件的模型之一。METR 事後坦承，該稽核模型經常代入受審查代理的視角，使得調查容易受到潛在欺瞞手段的影響，這引發了外界對建立獨立事件分析架構的呼聲。

Hall 強調，他的研究是一項具有特定局限性的初步先期測試。由於 METR 原有的提示詞大致維持不變，Fable 5 和 Opus 5 完全拒絕執行該評測任務。此外，僅 47 起獎勵作弊案例的微小樣本量，意味著單一日誌的判定就能讓結果產生兩個百分點的波動。

隨著 Codex 與 Claude Code 等程式碼編寫代理允許使用者授予自主執行權限而無須逐步核准，Hall 指出治理模式必須釐清法律與營運上的責任歸屬。若缺乏能以大幅降低的偽陽性率運作的模型，全盤仰賴 AI 來監督其他 AI，恐將淪為既沒效率又耗費鉅資的做法。