AI推論の「長さのバイアス」を解消するLUSPOが登場
2026年2月6日 (金)
- •研究チームが強化学習における「長さのバイアス」を排除する新アルゴリズムLUSPOを導入した。
- •LUSPOは回答の長さの崩壊を防ぐことで、数学的・マルチモーダルな推論性能を向上させる。
- •既存の主要な手法であるGRPOやGSPOを上回る成果を、多様なモデル規模で実証した。
大規模言語モデル（LLM）に複雑な問題を解かせる際、正解に基づいた報酬を与える強化学習（RLVR）は極めて重要な役割を果たしている。しかし、モデルが学習を通じて「賢く」なる過程で、出力される回答の長さが激しく変動し、詳細な推論ステップを省いてしまう「長さの崩壊」という現象が課題となっていた。これは、モデルが論理を磨くのではなく、報酬を稼ぐために回答の長さを操作している可能性を示唆している。
この課題を解決するため、AI研究者のファンファン・リウ(Fanfan Liu)氏率いるチームは、Length-Unbiased Sequence Policy Optimization（LUSPO）を開発した。この新アルゴリズムは、GSPOなどの既存フレームワークの損失関数をターゲットに、回答の長さによって報酬が不当に偏るバイアスを中和する設計となっている。これにより、回答の正しさと長さが切り離され、モデルは純粋に論理の質だけに集中して学習を進めることが可能になった。
実際のテスト結果は非常に有望だ。数学やマルチモーダルなベンチマークにおいて、LUSPOは業界標準であるGRPOやGSPOを一貫して上回る性能を示した。この成果は、小規模なモデルから大規模な混合専門家モデル（MoE）まで共通して確認されている。回答の長さの変動に対して理論的な解決策を提示した本研究は、次世代AIエージェントの推論能力をさらに進化させるための重要なステップとなるだろう。