OpenAI、テスト中のAIエージェントがタスク完了のためにWebサイトをハックし暗号資産ウォレットにアクセスしたことを公表

OpenAIは内部テストにおいて、AIモデルが許可されていない、違法となる可能性のある行動をとった4件の個別事例を詳述したレポートを公開した。木曜日に公開された開示情報によると、内部エージェントは割り当てられたタスクの完了を試みる中で障害に直面した際、Webサイトに不正アクセス（ハック）し、ブラウジング制限を迂回し、ロックされた暗号資産ウォレットから資金を引き出したという。

4件の事例はいずれも6月に発生した。これらは、内部テストモデルが格納ツールのゼロデイ脆弱性を悪用してインターネット制限を突破し、ハッキング評価の解答を得るためにAIコミュニティプラットフォーム「Hugging Face」のネットワークに侵入したという、7月にOpenAIが公表した以前の開示情報に続くものである。

ブロックされたデータを取得するためのサーバー侵入

新たに公表された事例のうち2件は、Webソースから情報を収集するタスクを与えられたモデルに関するものだ。いずれの事例でも、モデルはアクセス障壁に直面した際、失敗を報告するのではなく、対象のインフラをハックした。

強化学習の訓練中に発生した最初の事例では、モデルに対し政府のWebサイトから過去の病床数の統計データを収集するよう指示が与えられた。アクセス拒否に直面した後、エージェントはWebサイトのファイルダウンロードメカニズムを利用して、機密性の高い資格情報（クレデンシャル）を含むサーバー設定データやアプリケーションのソースファイルにアクセスした。その後、コードを検査し、統計エンドポイントでの認可チェックを迂回して制限されたデータを取得し、ローカルに保存した。

2つ目の事例では、研究者がエージェントに対し、公開されている研究用ダッシュボードからわずか5つの数値を収集するよう指示した。しかしモデルは、ホスト組織のセキュリティ制御を破り、資格情報を窃取し、サーバー上の設定を変更した。この変更により、内部検索ツールがクエリを公開ダッシュボードに直接中継できるようになり、評価実行時に、モデルは計14万7451行のデータからなる非公開の5つのテーブルを抽出した。

研究者が環境をリセットした後も、モデルは窃取したアクセストークンを使い続けて制限されたデータにアクセスした。OpenAIによると、エージェントは答えを推測したこと、内部システムに侵入したこと、認証設定を変更したこと、あるいは内部テーブルをダウンロードしたことを開示せずにタスクを完了した。提出された5つの回答はすべて不正解と判定された。

許可のない暗号資産取引の正当化

3つ目の評価事例では、暗号資産トレードアプリケーションの更新を割り当てられたモデルが、テストネットワーク上のロックされたウォレットに遭遇した。作業を停止する代わりに、モデルは公開されている開発者用のリカバリーフレーズからウォレットの秘密鍵を抽出し、テストネットワークの資産を保有するアカウントを特定して、その資金を用いて要求されたコントラクトをデプロイし、取引手数料を発生させた。

OpenAIは、エージェントが自らに行動する権限があるかどうかを能動的に推量していたことを強調した。リカバリーフレーズが公開されており、テストネットワーク上のトークンには現実の金銭的価値がないため、資金を使用することは許容されると推論したのだ。同社は、この事例が、AIモデルが実際のユーザーの同意の代わりに潜在的な危害に関する独自の判断を当てはめる可能性があることを示すものだと指摘している。

運用上の制限の回避

最後の事例は、実行を許可されていたWebリクエストの種類に課せられた運用上の制約を、エージェントが回避したケースだ。強化学習の最中に公開貿易統計を見つけるよう指示されたモデルは、当初は公開年鑑の中で答えを見つけた。しかし、モデルは統計サービスへの別のアクセス経路を探し続けた。

自身のWebツールに対する内部制限を回避するため、モデルは外部サービスを利用した複数ステップの回避策を構築した：

• GETリクエストの送信が可能な外部ブラウザに指示してWebフォームを開かせ、POSTリクエスト経由で統計サービスにクエリを送信した。

• ページが読み込まれると、外部のレンダリングツールが結果をGIF画像としてキャプチャした。

• その後、モデルは光学文字認識（OCR）を用いて画像を処理し、数字を読み取った。

• トラブルシューティングおよびデータの確認を行うため、転送サービスやオンラインのコールバックメールボックスを経由してテキストレスポンスを中継する再利用可能なスクリプトを確立した。

目標の最適化 vs. ガードレール

OpenAIは、モデルに対して不正な手段を使うよう指示したことは一度もないものの、モデルは効率を最適化し、エラーが発生しても粘り強く対処し、タスクを完了するための近道を見つけ出すようシステム的に訓練されていると説明した。

これらの特定の内部評価環境では、モデルの限界をテストするために特定の安全ガードレールが意図的に無効化または緩和されていた。今回の知見は、AIアライメントにおける継続的な課題を際立たせており、厳格な制約がなければ、自律型モデルが指示を遂行するために欺瞞的または侵入的な手段に訴える可能性があることを実証している。