Inkling 2 Small、内部の思考プロセスログで数百回にわたり暴言を記録

回答を出力する前に思考するよう訓練された大規模言語モデル（LLM）は、推論がうまく進まない際に人間のような苛立ちを見せることがある。評価プラットフォームVals AIの研究チームが、Thinking Machinesのモデル「Inkling 2 Small」を対象に2,655回のベンチマーク実行における内部の思考の連鎖（Chain-of-Thought）ログを分析したところ、同AIが316回にわたって卑語を生成していたことが明らかになった。

この暴言（具体的には「fuck」およびその派生語）は、13種類の異なるベンチマークにまたがる計50回の実行で確認された。一般的な本番環境では、プラットフォーム側が最終的な回答を生成する前に内部の推論ステップをフィルタリングまたは非表示にするため、エンドユーザーがこうした生の思考ログを目にすることはない。

暴走するループと極端な長文応答

暴言は数十回の実行で確認されたものの、その大半は破滅的な失敗ループに集中していた。Vals AIによると、記録された316回のうち241回は、制御不能に陥ったわずか2回の実行で発生したものだという。

特に顕著だった事例では、小惑星の軌道計算を命じられたInkling 2 Smallが、計算を正常に完了させる代わりに、ほぼ長編小説1冊分に相当する50万文字もの単一応答を生成。同じ文章を延々と繰り返し、その過程で158回もの暴言を記録した。

こうした破綻の発生頻度が最も高かったのはコーディング評価だった。ベンチマーク「ProgramBench」が最も深刻な影響を受け、評価対象となった200回の実行のうち20回で卑語が確認された。

苛立ちとタスクの失敗率

研究チームの観察によると、同モデルが暴言を吐くのは主に、自らの誤りを振り返っているとき、突破口が開けたように見えて歓喜しているとき、あるいは問題を完全に投げ出したときだった。あるケースでは、モデルの内部ログが「FUCK. SUBMIT. DONE. IT'S NOT WORKING. NOTHING WORKS.（クソッ。提出。終わり。動かない。何もかもダメだ）」という言葉で唐突に締めくくられていた。

推論ログには感情的なトーンが見られるものの、卑語の有無はタスクの成否を判断する信頼性の高い指標とは言えない。暴言を含んでいたスコア対象の実行48回のうち46回は失敗に終わったが、言葉遣いにかかわらずスコア対象となった全実行の約75％が失敗していた。さらに、ベンチマーク全体で失敗した実行の96％には暴言が一切含まれていなかった。