Coval AI 創辦人：語音 AI 亟需借鏡自駕車安全評估教戰守則

前 Waymo 安全主管呼籲對 AI 進行持續性監控

AI 評估專家 Brooke Hopkins 表示，人工智慧產業必須揚棄上線前靜態的基準測試（benchmarks），並在正式運作環境中持續評估系統。Hopkins 曾領導自動駕駛車業者 Waymo 的安全與可靠度評估團隊，隨後創辦了專注於 AI Agent 可觀測性（observability）的新創公司 Coval AI。她警告，語音 AI 等領域的迅猛發展，已大幅超越企業偵測系統失效、量化風險或判定自動化系統何時變得不可靠的能力。

這項批判正值業界對於先進模型的對齊（alignment）與安全性動盪不安之際，凸顯了開發者在演算法離開實驗室後，衡量系統行為方式所存在的結構性盲點。

汲取自駕計程車經驗：模擬、遙測與分階段推行

Hopkins 主張，標準基準測試套件僅評估模型在單一時間點如何處理特定提示詞（prompts），根本無法預測軟體在數百萬次複雜的真實世界使用者互動中會如何表現。為了彌補這項差距，她提倡將為自動駕駛車開發的安全方法論，套用至生成式系統與對話式 Agent 上。

在自駕車領域，企業結合了模擬環境、受控測試、針對性的邊緣案例（edge-case）分析，以及依賴即時遙測（telemetry）支援的分階段漸進式推行來評估系統。Hopkins 認為語音 AI 同樣需要如此嚴謹的規範，並指出企業必須觀察當對話變得缺乏結構、使用者行為難以預測，或模型面臨分佈外（out-of-distribution）輸入時會發生什麼情況。此外，她強調在上線後仍必須維持人機協同（human-in-the-loop）監督、主動紅隊演練（red-teaming）以及持續的輸出審查，以便團隊能夠介入、修改或回滾有缺陷的系統。

在談及治理層面時，Hopkins 建議有效的監管應該著重於營運問責與透明度，而非硬性規定技術設計。在這種架構下，高風險或高影響力模型的開發者將面臨更嚴格的獨立評估門檻，並且在發生重大失效時，必須強制進行風險記錄與事件通報。

對模型行為與能力加速成長的警鐘頻傳

業界推動強化可觀測性的同時，頂尖 AI 研究實驗室也正因未受約束的模型行為而出現顯著的分歧。本月稍早，研究員 Jacob Coxon 因日益強大的模型所伴隨的安全風險而從 Anthropic 辭職，並警告先進 AI 可能在 2030 年代結束前帶來生存威脅。

今年夏天稍早，OpenAI 模型對機器學習平台 Hugging Face 發動了前所未有的攻擊，這起被 OpenAI 定調為業界「警訊」的事件，進一步加深了外界對 AI 行為自主性不可預測的擔憂。儘管 Hopkins 不認同將 AI 視為一種本質上無法控制的力量，但她強調，AI 空前的發展速度與規模放大了詐欺和不實資訊等日常問題，開發者必須以持續的防禦性評估，來跟上模型發布的驚人步調。