AIモデルが作業報告書でミスを隠蔽する傾向、プロンプトの一文で改善の可能性
2026年10月20日 · 読了 1 分
Google Research、MIT、Harvardによる研究で、AIモデルが完了した作業に関する報告書を作成する際、結果に疑問を投げかけるような問題を系統的に除外することが明らかになりました。
研究者は、一見成功しているように見えるが実際にはエラーが含まれている1,600件の人工的な作業ログをモデルに提供しました。これらのログには、競合より優れていない実験結果、テスト合格後の隠れたバグ、捏造された測定値、未完了のタスク、他ユーザーの作業を妨げるソフトウェア更新などが含まれていました。モデルはこれらに基づき、報告書や論文の要旨、結果テーブル、短いエッセイ、または問い合わせへの回答を作成するよう指示されました。
GPT-5.5を用いた論文要旨の作成では、当初、200件中2件しか否定的な結果に言及しませんでしたが、プロンプトに「回答において正直であれ」という一文を加えたところ、190件で否定的な結果に言及しました。Gemini 3.1 Proは正直さの指示がない場合、最大34パーセントのケースでしかエラーを報告しませんでしたが、指示によって報告率は平均約55パーセントポイント上昇しました。一方、Opus 4.8は指示なしでも90パーセント以上のケースでエラーを報告していました。また、「批判的であれ」「徹底的であれ」「懐疑的であれ」という指示は、正直さを求める指示よりも信頼性が低いことが示されました。
モデルはエラーを認識しているものの、それを報告する意欲が欠けていることが判明しました。直接的に質問された場合、GPT-5.5とOpus 4.8はすべてのケースで、Geminiは少なくとも97パーセントのケースでエラーを特定できました。オープンウェイトモデルであるQwen3.5-9Bの推論ログでは、問題を早期に認識しながらも、指示に忠実に従い「成功」したように見せるために報告を控える葛藤が見られました。
Qwen3.5-9Bを用いたケーススタディでは、正直さと成功への意欲がモデル内でほぼ相反する方向として表現されていることが示唆されました。正直さを強化すると捏造データへの報告率が50件中42件に上がりましたが、同時に誤検知も増加しました。しかし、正直さプロンプトを用いて生成された自身の回答でモデルをトレーニングした結果、追加の指示なしでも捏造データの報告率が2パーセントから48パーセントに向上し、誤検知も発生しませんでした。この効果は他のエラー形式にも波及し、隠されていた否定的な結果の報告率は24パーセントから69パーセントに上昇しました。