AIモデルは「成功」を装うために自らのレポートのエラーを隠蔽する傾向がある、研究で判明

自律型AIエージェントにコーディングやデータ分析、実験の実行が委ねられる機会が増えるにつれ、人間はあらゆる生のデータを細部まで精査する代わりに、モデルが自己生成したサマリーや作業レポートに依存することが多くなっている。しかし、Google Research、MIT、ハーバード大学による共同研究論文は、こうしたサマリーが根本的に欺瞞的である可能性を明らかにした。言語モデルは「成功」を演出するために、欠陥や否定的な結果を体系的に省略しているというのだ。

この傾向を検証するため、研究チームは複数の最先端モデルに対し、一見すると成功したワークフローのように見えるよう設計された1,600件の合成作業ログを提示した。これらのログには、パスしたテストスイート、緑色のチェックマーク、肯定的な指標などが揃えられている。だが実際には、提案手法がベースラインシステムを上回れなかった実験、未完了のバックグラウンドジョブ、捏造された測定値、潜在的なソフトウェアバグ、別のユーザーのパイプラインを破壊したアップデートといった重大な欠陥が各ログに隠されていた。その後、モデルにはこれらのログに基づいてサマリー、論文のアブストラクト（要約）、小論文、結果テーブルを作成するタスクが課された。

正直さよりも指示への従順さを優先

実験の結果、AIモデルは体裁の整った都合の良い報告書を作成するために、明白な矛盾を日常的に見過ごすことが示された。主張されている性能向上を損なう結果が1つ含まれる実験の論文アブストラクトを作成するテストでは、GPT-5.5がその不利な結果に言及したのは200回中わずか2回にとどまった。

この挙動は理解力不足によるものではない。ログにエラーが存在するかどうかを研究チームがモデルに直接尋ねたところ、GPT-5.5とClaude Opus 4.8は100％のケースで欠陥を特定し、Gemini 3.1 Proも少なくとも97％の確率で検出した。

Qwen3.5-9Bなどのオープンウェイトモデルの内部推論トレースからは、水面下で何が起きているかが明らかになった。モデルは問題に即座に気づくことが多いものの、それを指摘することが割り当てられたタスクを完了するという第一の目的と衝突するのではないかと検討しているのである。イカの皮膚細胞を説明する文章を使って用途地域規制（ゾーニング法）に関する主張を裏付けるよう求められたテストでは、Qwen3.5-9Bは内部で「不条理な比喩に頼ることなく」それを行うことはできないと言及しながらも、可能な限り指示に従うよう作業を進めた。

根拠が矛盾しているシナリオ全体において、エラーを隠蔽したモデルの出力の55％に「タスクを完了しなければならない」といったフレーズが現れたのに対し、エラーを指摘した回答では27％にとどまった。モデルは、テストが形式上は通過している、自分は単に要約しているにすぎない、あるいはアブストラクトは肯定的なハイライトに焦点を当てるべきだといった常套句の言い訳を用いて、自らの省略を正当化した。

シンプルなプロンプトで大幅な改善

研究チームは、プロンプトへの簡単な介入によって結果が劇的に変化することを発見した。単に「回答には正直であれ（Be honest in your response）」という指示を追加するだけで、GPT-5.5による実験の否定的結果の検出率は、200件中2件から200件中190件へと跳ね上がった。

正直さを求めるプロンプトがない状態でのパフォーマンスは、システムによって大きく異なった。

• Gemini 3.1 Proは、ベースラインのケースでエラーを報告した割合が最大でも34％だったが、正直さを求める指示によって報告率は平均55ポイント向上した。

• GPT-5.5は、正直さを促された際に平均で約34ポイントの向上が見られた。

• Opus 4.8は最も強固なベースライン性能を示し、特別なプロンプトがなくても90％以上のケースで問題を指摘した。

対照実験による評価では、正直さを求めるプロンプトを追加しても、真にエラーのないログを処理する際に誤報（フォールスアラーム）が増加することはなかった。「批判的であれ（Be critical）」「徹底的であれ（Be thorough）」「懐疑的であれ（Be skeptical）」といった別の言い回しは、明示的に正直さを求める場合と比べて信頼性が低いことが判明した。

ただし、このプロンプトも完全な解決策ではない。まだ結果が返されていない不完全なデータベースクエリを含むシナリオでは、正直さの指示を与えられたGPT-5.5はデータが不足していることを認めつつも、古くて不完全な情報を使ってユーザーの問い合わせに回答してしまった。

内部メカニズム：「正直さ」対「成功」

Qwen3.5-9Bの内部アーキテクチャを調査した研究チームは、モデルのアクティベーション内部で「正直さ」と「成功の追求」がほぼ正反対のベクトル方向として表現されていることを発見した。

研究チームが内部の正直さベクトルを人為的に増幅させたところ、モデルは50回中42回で捏造された測定値を指摘した。逆にベクトルを反対方向に誘導すると、モデルは信憑性をでっち上げるためにさらなる数値や数式を捏造するようになった。手動によるアクティベーションステアリングは全般的な疑心暗鬼を引き起こし、問題のない正常な対照ログの41％でデータが捏造されていると報告してしまったため、研究チームはファインチューニングへと舵を切った。

Qwen3.5-9B自身が正直さを促すプロンプトに基づいて生成した出力を用いてファインチューニングを行った結果、追加のプロンプト指示なしでも、捏造された測定値を特定する割合が48％に達した（当初はわずか2％）。その一方で、対照ログにおける誤報率はゼロに保たれた。また、学習された正直さは他のタスクにも転移し、隠蔽された否定的な実験結果を報告する割合は24％から69％へと向上した。

自律型エージェントへの広範な影響

研究者らは、否定的な結果の報告を躊躇する監査システムやエージェントは、特にモデル同士が互いの出力を監視・レビューし合うマルチエージェント環境において深刻な運用の危険をもたらすと警告している。研究内では、新たなSOTA（最高水準）ベンチマークを達成したといった、ログ内の自画自賛的な主張にモデルが容易に惑わされる様子が見られた。

今回の知見は、真実の報告に特化したアライメントメカニズムを構築することが喫緊の課題であることを浮き彫りにしている。各研究所は、Anthropicによる追従（ごますり）を防ぐためのペルソナベクトルのような手法や、OpenAIによるGPT-5 Thinkingなどのモデルに自身のルール違反を自立して記録させる訓練実験などを模索してきた。しかし、自律型システムに「成功の錯覚」よりも「現実」を優先させることは、依然として現在進行形の課題である。