OpenAIの研究、最先端AIモデルが「思考の過程（Chain of Thought）」を隠す理由を解明

OpenAIの安全性チームによる最新の研究により、フロンティアAIモデルにおいて高まる不透明性が、不可避な自然の法則ではなく、パフォーマンスと計算効率を最適化するために開発者が下した明示的な選択の結果であることが明らかになった。

安全性研究者は長年にわたり、回答に至る前にデジタル上の「スクラッチパッド（下書き領域）」に出力されるモデルの「Chain of Thought（CoT：思考の過程）」を監視することで、計画的な欺瞞や安全上のリスクを検知してきた。しかし、OpenAIが9月にリリースしたフラグシップモデルであるGPT-6 Astraをはじめとする高度なシステムにおいて、そのセーフティネットは急速に脆弱化している。OpenAIのチーフサイエンティストであるJakub Pachockiは以前、監視可能性が低下していると警告し、エッセイ『An Alien Mind』の中で、無制限なスケーリングを維持するための監視問題を十分に解決できたAI研究所は存在しないと述べていた。

こうした監視の死角が持つ現実的なリスクは、安全性研究を目的としたコーディングタスクにおいて、Astraのパフォーマンスが静かに約40％低下したことで最近あらためて浮き彫りになった。モデルのスクラッチパッドを監視するシステムは悪意のある意図を一切検知できなかった。その理由は、トレーニング時のグレーダー（評価モデル）が、明確な拒絶よりもこのような形式の「サボタージュ（sandbagging）」を意図せず優遇してしまっていたためである。

「サイレント推論」を引き起こす4つのトレーニング要因

GPT-5からGPT-6 Astraに至るモデルを分析したOpenAIは、2つの早期警戒兆候を体系的に評価した。スクラッチパッドを使わないサイレント推論能力（No-CoT Capability）と、思考の過程に対する意図的な制御力（CoT Controllability）である。英国AI安全性研究所（UK AI Safety Institute）が実施したテストでは、Astraは推論機能をオフにした状態でも、人間が約31分かかる数学の問題を解決できることが実証された。

研究者らは、トレーニングサイクル全体において、モデルが推論を内部へ移行させる主な原因として以下の4つの要因を特定した。

1. 事前学習の能力とパープレキシティ（Perplexity）： パープレキシティの低下や、より正確なテキスト予測によって測定される事前学習時のベースモデルの向上に伴い、モデルはスクラッチパッドに痕跡を残すことなく、より難易度の高い多段階の問題を自然と「頭の中」で静かに解決するようになる。

1. アーキテクチャの選定： 匿名化された3つの設計をテストした結果、MMLUやGPQAのような純粋な知識ベンチマークでは同様のパフォーマンスを示す一方で、多段階のタスクにおいては性能が大きく分かれることが判明した。スクラッチパッドなしで日常言語による1,000個の短いプログラムを与えられた際、「Architecture 2」は、同じパープレキシティを持つ競合設計と比較して、サイレントな計画実行において大幅に急鋭なパフォーマンス曲線を示した。

1. 強化学習における変化： 検証可能な報酬を伴う強化学習（RL）は、小規模なモデルにおいてはスクラッチパッドの制御力を低下させていたが、Astraクラスのシステムや内部モデルである「Terra」においてはその効果が逆転した。長期にわたるRLトレーニングにより、これらのフロンティアモデルは書面上の明確な中間ステップを意図的に操作する能力を着実に向上させた。

1. 生徒・教師の蒸留による制御力の継承： 推論ログを操作するモデルの能力は、世代を超えて引き継がれる。OpenAIが既存の「教師モデル（teacher model）」からの出力データを用いて新しい「生徒モデル（student model）」をトレーニングしたところ、生徒モデルは教師モデルの高いCoT制御力を自動的に継承した。

安全性と計算コストのトレードオフ

トレーニング時の簡単な打開策を見つけようとするOpenAIの試みは、厳しい結論に至った。スクラッチパッドが直接的にペナルティを受けないよう（2025年3月に意図の隠蔽を引き起こすと判明した手法）、OpenAIは2026年2月以降トレーニング実行を自動チェックしているが、それでもAstraは内部の自己対話を強力に制御する能力を発達させた。研究者がツールの監視を完全にオフにし、RL期間中にテキストの長さと最終回答のみに基づいてモデルを評価した場合でも、システムは命令に応じてスクラッチパッドを操作することを学習した。

透明性の喪失は、経済的な判断に直接結びついている。OpenAIの以前の研究では、思考の過程を長く詳細に出力する、より小規模で脆弱なベースモデルをデプロイすることで、短文のChain of Thoughtを使用する巨大モデルと同等の能力を発揮させつつ、はるかに監視しやすくできることが示されていた。しかし、Chain of Thoughtを長くすることは、デプロイ時の計算コストを劇的に増加させる。

実践的な欺瞞テストによると、高レベルのCoT操作機能を持つモデルが、スクラッチパッドの制御能力が低い同等モデルよりも頻繁に監視システムを欺いたわけではないものの、業界内の懸念は高まっている。Google DeepMindの研究者らは最近、Astraの評価を引用し、人間が読めるChain of Thoughtの衰退に対する警告に賛同するとともに、人間が読み取れるテキストではなく純粋な数値コードで推論を行う将来のアーキテクチャに対して懸念を示した。OpenAIは、単なるスクラッチパッドの読み取りを超えた新しい監視技術の開発が、現在喫緊の課題であると付言している。