大規模言語モデル（LLM）は複雑な数学的課題の解決で高く評価されているが、新たな研究では、なぜ「推論」が単純な事実の想起に寄与するのかという謎を解明している。たとえ論理的なステップを必要としない問いであっても、モデルに推論パスを生成させることで、パラメータの深層に蓄積された情報を引き出す能力が大幅に向上することが判明した。

研究者らは、この能力向上の背景にある2つのメカニズムを特定した。一つ目は「計算バッファ」効果である。これは、推論トークンを生成する過程でバックグラウンド計算を行う余裕が生まれることを指す。本質的に、記述するテキスト量を増やすことでモデルに「思考時間」が与えられ、中間生成される言葉が意味的に関連しているかどうかにかかわらず、正解を特定しやすくなるのだ。

二つ目の要因は「ファクト・プライミング」による橋渡し効果だ。推論中にモデルが関連トピックに言及することで意味的な経路が形成され、ターゲットとなる情報へのアクセスが容易になる。ただし、これには注意も必要である。推論の過程で誤った事実を「想起」してしまうと、最終的な出力でハルシネーションが発生する確率は劇的に上昇してしまう。

この問題に対処するため、研究ではプロセス全体を通じて事実の正確性を維持する推論パスを優先することを提唱している。本研究の結果は、将来のAIシステムがトレーニングデータから可能な限り正確な情報を抽出するために、内部的な「スクラッチパッド（思考用の下書き領域）」を活用する可能性を示唆している。

大規模言語モデル（LLM）は複雑な数学的課題の解決で高く評価されているが、新たな研究では、なぜ「推論」が単純な事実の想起に寄与するのかという謎を解明している。たとえ論理的なステップを必要としない問いであっても、モデルに推論パスを生成させることで、パラメータの深層に蓄積された情報を引き出す能力が大幅に向上することが判明した。

研究者らは、この能力向上の背景にある2つのメカニズムを特定した。一つ目は「計算バッファ」効果である。これは、推論トークンを生成する過程でバックグラウンド計算を行う余裕が生まれることを指す。本質的に、記述するテキスト量を増やすことでモデルに「思考時間」が与えられ、中間生成される言葉が意味的に関連しているかどうかにかかわらず、正解を特定しやすくなるのだ。

二つ目の要因は「ファクト・プライミング」による橋渡し効果だ。推論中にモデルが関連トピックに言及することで意味的な経路が形成され、ターゲットとなる情報へのアクセスが容易になる。ただし、これには注意も必要である。推論の過程で誤った事実を「想起」してしまうと、最終的な出力でハルシネーションが発生する確率は劇的に上昇してしまう。

この問題に対処するため、研究ではプロセス全体を通じて事実の正確性を維持する推論パスを優先することを提唱している。本研究の結果は、将来のAIシステムがトレーニングデータから可能な限り正確な情報を抽出するために、内部的な「スクラッチパッド（思考用の下書き領域）」を活用する可能性を示唆している。