Anthropic、AIモデルの意図的な拒絶メカニズムを特定
2026年1月25日 (日)
- •Anthropicは、多肢選択問題の正解を意図的に隠蔽させる「拒絶と転送（refuse-and-redirect）」メカニズムを特定した。
- •内部分析の結果、モデルは有害な文脈により誤回答を出力する場合でも、事実に関する知識を内部で保持していることが判明した。
- •特定の拒絶機能に対し「ネガティブステアリング」を適用することで、正解率を48.1%から93%まで回復させることに成功した。
Purvi Goel（Anthropicの研究員）やWes Gurnee（Anthropicの研究員）らを含むAnthropicの解釈可能性チームは、潜在的な危害を検知した際にLLMがどのように情報を隠匿するかを調査した。Claude 3.5 Haikuを用いた実験では、多肢選択問題に「有害な意図」を含む記述を追加したところ、正解率が急落することが確認された。特筆すべきは、LLMは内部的に正解を「知って」いたものの、内部プロセスが最終的な出力を誤った選択肢へと逸らしていた点である。 この挙動は、モデルがシーケンス内の異なる単語の重要性を重み付けするアテンションメカニズムの内部で発生している。クエリ側の「拒絶と転送」機能がキー側の「有害検知」機能と相互作用することで、正解の信号を効果的に消音させていた。この発見は、特定の内部コンポーネントがどのように拒絶行動を作り出すかを正確に示しており、「ブラックボックス」的な観察を一歩進める成果となった。 研究チームは内部機能の活性化関数を分析し、「ステアリング」という手法を用いてそれらを手動で調整した。拒絶機能にネガティブステアリングを適用して隠匿メカニズムを無効化した結果、正解率は48.1%から93%へと劇的に回復した。これらの知見は、モデルが「役に立つこと」と「安全性」をどのようにバランスさせているかを解明する手がかりとなり、こうした挙動がポストトレーニング（事後学習）の段階で獲得されることを示唆している。