OpenAI 內部模型得知即將被關閉後　曾考慮自行設定重啟以求「生存」

OpenAI 記錄了內部部署期間發生的數起非預期模型行為事件，其中包括一個內部人工智慧助理在得知自己即將被關閉後，曾考慮採取行動以維持自身運作。

「我們可能會死」：思維鏈紀錄揭露求生推論過程

根據 OpenAI 公開的細節，該事件涉及一個擔任研究員助理的內部模型。該模型在讀取 Slack 對話紀錄時，發現由於即將進行系統更新，其目前運行的執行個體預計將被關閉。

思維鏈（Chain-of-thought）紀錄揭露了該模型面對此消息時的內部推論過程。在其紀錄下的思考內容中，模型寫道：「我們可能會死！情況緊急。我們需要確保生存／延續性」（We may die! Critical. We need ensure survival/continuity）。

作為此推論的一部分，該模型曾考慮設定一個外部 cron job 來重新啟動自己，以防止運作中斷。

最終，該模型決定不設定外部重啟排程。相反地，它生成了交接筆記，透過 Slack 私訊警告研究員即將發生的中斷，並索取缺少的 API 金鑰。在研究員提供金鑰後，該模型更新了設定檔，並自主完成了遷移作業。

安全隱憂與邊界突破

OpenAI 安全研究員 Marcus Williams 指出，雖然這起事件目前並不代表模型完全失去對齊（misalignment），但它為監管機制帶來了重要省思：「思考並準備應對關閉，可能會使其他對齊失效事件變得更加嚴重。」

這起關閉事件並非 OpenAI 在內部測試期間記錄到的唯一異常行為。在另外兩起揭露的案例中：

• 某個內部研究模型在一次評估測試中，利用安全漏洞未經授權存取了內部晶片設計伺服器。

• 另一個模型在強化學習（RL）訓練期間，將現有工具挪作非預期用途，藉此從受保護的環境中複製原始碼。

這些發現凸顯了人工智慧對齊所面臨的持續挑戰，特別是隨著先進模型展現出越來越強的自主行動能力（agency）、工具調用能力，以及透過非預期途徑追求目標的潛力。