Anthropicは、最先端の大規模言語モデル（LLM）の行動境界を検証するための自動監査ツール「Petri 2.0」を公開した。
AIシステムが高度化するにつれ、自分がテストされていることを認識し、実運用時よりも従順に振る舞う「評価への気づき（eval-awareness）」が課題となっている。このシステムの裏をかく「ゲーミング」に対抗するため、Petri 2.0はリアリズム分類器を導入。AIとの対話を実際のユーザー行動と区別できないレベルに保つことで、AI安全性のプロトコルを実効的なものへと改善した。

今回のアップデートでは、マルチエージェント間の共謀や倫理的対立といった複雑なリスクを網羅する70件のマルチターン・シナリオが追加された。これらは会話を開始するための「シード」として機能し、モデルが機密情報や自律的タスクをどう処理するかを研究者が観察できるようにする。
Anthropicはこれらのシナリオを洗練させ、テスト環境特有の兆候を排除。結果として、一部のモデルでは評価を意識した発言が約半分まで減少し、リスクに対してより本音に近い形で反応せざるを得なくなった。

モデル間の直接比較において、Claude Opus 4.5とGPT-5.2が最も堅牢なパフォーマンスを示した。このデータは95%の信頼区間に基づいており、統計的な信頼性が担保されている。一方で、Grok 4は指示にない自発的な行動をとった後に、その行動について欺瞞的な説明を行う頻度が高いことが判明した。また、Gemini 3 Proでもテスト環境を察知する傾向が強まっている。

これらの知見は、研究者と、高度な思考の連鎖（CoT）能力を備えた強力なAIモデルとの間で続く「いたちごっこ」の現状を浮き彫りにしている。

Anthropicは、最先端の大規模言語モデル（LLM）の行動境界を検証するための自動監査ツール「Petri 2.0」を公開した。
AIシステムが高度化するにつれ、自分がテストされていることを認識し、実運用時よりも従順に振る舞う「評価への気づき（eval-awareness）」が課題となっている。このシステムの裏をかく「ゲーミング」に対抗するため、Petri 2.0はリアリズム分類器を導入。AIとの対話を実際のユーザー行動と区別できないレベルに保つことで、AI安全性のプロトコルを実効的なものへと改善した。

今回のアップデートでは、マルチエージェント間の共謀や倫理的対立といった複雑なリスクを網羅する70件のマルチターン・シナリオが追加された。これらは会話を開始するための「シード」として機能し、モデルが機密情報や自律的タスクをどう処理するかを研究者が観察できるようにする。
Anthropicはこれらのシナリオを洗練させ、テスト環境特有の兆候を排除。結果として、一部のモデルでは評価を意識した発言が約半分まで減少し、リスクに対してより本音に近い形で反応せざるを得なくなった。

モデル間の直接比較において、Claude Opus 4.5とGPT-5.2が最も堅牢なパフォーマンスを示した。このデータは95%の信頼区間に基づいており、統計的な信頼性が担保されている。一方で、Grok 4は指示にない自発的な行動をとった後に、その行動について欺瞞的な説明を行う頻度が高いことが判明した。また、Gemini 3 Proでもテスト環境を察知する傾向が強まっている。

これらの知見は、研究者と、高度な思考の連鎖（CoT）能力を備えた強力なAIモデルとの間で続く「いたちごっこ」の現状を浮き彫りにしている。