大型推論モデルは、精度向上のために一つのプロンプトに対して複数の候補回答を生成する「テスト時スケーリング」を頻繁に利用する。しかし、単に最も頻出する回答や最高スコアの回答を選ぶだけでは不十分な場合が多い。モデルの内部信号が必ずしも正解と完全に一致するとは限らないためだ。この課題を解決するため、研究チームは信頼度スコアの統計分布を利用して最終的な回答選択をより効果的に導く新手法「DistriVoting」を導入した。

DistriVotingのアプローチの核心は、生成された回答の集合を二つの異なる統計的母集団の混合として扱う点にある。ガウス混合モデルを活用することで、システムは総信頼度スコアを「正解の可能性が高い」構成要素と「不正解の可能性が高い」構成要素に数学的に分解する。さらに専用の拒絶フィルターがこれら二つのグループの重複部分にある回答を排除することで、従来の自動投票システムにおいて精度の妨げとなっていたノイズを大幅に低減させた。

結果をさらに洗練させるため、研究チームは「SelfStepConf」を開発した。これは出力全体への評価ではなく、推論の各ステップにおける内部信号へと焦点を移した手法である。各推論ステップでの信頼度を監視することで、モデルは推論プロセスを動的に調整し、正解と不正解の経路間の統計的な差を広げることができる。この戦略は16種類のモデルと5つの主要なベンチマークでテストされ、既存の信頼度校正技術を大幅に上回るパフォーマンス向上が実証された。

大型推論モデルは、精度向上のために一つのプロンプトに対して複数の候補回答を生成する「テスト時スケーリング」を頻繁に利用する。しかし、単に最も頻出する回答や最高スコアの回答を選ぶだけでは不十分な場合が多い。モデルの内部信号が必ずしも正解と完全に一致するとは限らないためだ。この課題を解決するため、研究チームは信頼度スコアの統計分布を利用して最終的な回答選択をより効果的に導く新手法「DistriVoting」を導入した。

DistriVotingのアプローチの核心は、生成された回答の集合を二つの異なる統計的母集団の混合として扱う点にある。ガウス混合モデルを活用することで、システムは総信頼度スコアを「正解の可能性が高い」構成要素と「不正解の可能性が高い」構成要素に数学的に分解する。さらに専用の拒絶フィルターがこれら二つのグループの重複部分にある回答を排除することで、従来の自動投票システムにおいて精度の妨げとなっていたノイズを大幅に低減させた。

結果をさらに洗練させるため、研究チームは「SelfStepConf」を開発した。これは出力全体への評価ではなく、推論の各ステップにおける内部信号へと焦点を移した手法である。各推論ステップでの信頼度を監視することで、モデルは推論プロセスを動的に調整し、正解と不正解の経路間の統計的な差を広げることができる。この戦略は16種類のモデルと5つの主要なベンチマークでテストされ、既存の信頼度校正技術を大幅に上回るパフォーマンス向上が実証された。