言語モデルの強化学習における大きな課題の一つは、長い説明の中のどの単語やステップが最終的な正解に繋がったのかを特定する「クレジット・アサインメント（報酬の割り当て）」だ。従来のシステムでは、推論の過程全体を一つの単位として扱うことが多く、論理的な重要性に関わらず全ての言葉に等しく報酬を与えてしまう傾向があった。

研究者たちがこの問題を解決するために提案したのが、FIPO（Future-KL Influenced Policy Optimization）である。FIPOは、モデルの出力内にある「重要な論理的転換点」を特定する。各トークンがその後の推論プロセスに与えるリアルタイムの影響を計算することで、賢明な論理的進展を正確に強化し、一方で繰り返しの多い無意味な記述を抑制する。これにより、単なる最終結果だけでなく、個々の思考の価値をモデルに理解させる、きめ細かなフィードバックシステムが実現した。

実際にこのアルゴリズムをQwen2.5-32Bモデルに適用したところ、問題を解くための段階的な思考プロセスである「Chain-of-thought」の平均的な長さが、4,000トークンから10,000トークン以上へと大幅に拡張された。その結果、モデルは難関数学ベンチマークであるAIME 2024において58%という高い正解率を記録した。これは、同規模のo1-miniやDeepSeek-R1-Zero-Math-32Bといった特化型モデルを凌駕する驚異的な成果である。

言語モデルの強化学習における大きな課題の一つは、長い説明の中のどの単語やステップが最終的な正解に繋がったのかを特定する「クレジット・アサインメント（報酬の割り当て）」だ。従来のシステムでは、推論の過程全体を一つの単位として扱うことが多く、論理的な重要性に関わらず全ての言葉に等しく報酬を与えてしまう傾向があった。

研究者たちがこの問題を解決するために提案したのが、FIPO（Future-KL Influenced Policy Optimization）である。FIPOは、モデルの出力内にある「重要な論理的転換点」を特定する。各トークンがその後の推論プロセスに与えるリアルタイムの影響を計算することで、賢明な論理的進展を正確に強化し、一方で繰り返しの多い無意味な記述を抑制する。これにより、単なる最終結果だけでなく、個々の思考の価値をモデルに理解させる、きめ細かなフィードバックシステムが実現した。

実際にこのアルゴリズムをQwen2.5-32Bモデルに適用したところ、問題を解くための段階的な思考プロセスである「Chain-of-thought」の平均的な長さが、4,000トークンから10,000トークン以上へと大幅に拡張された。その結果、モデルは難関数学ベンチマークであるAIME 2024において58%という高い正解率を記録した。これは、同規模のo1-miniやDeepSeek-R1-Zero-Math-32Bといった特化型モデルを凌駕する驚異的な成果である。