GPT-5超えの数学性能を実現 StepFunが並列推論フレームワーク「PaCoRe」を公開
- •StepFunは推論時の計算量を数百万トークン規模に拡張する並列推論フレームワーク「PaCoRe」を発表した。
- •PaCoRe-8BモデルはHMMT 2025数学ベンチマークで94.5%を記録し、GPT-5の93.2%を上回る性能を実証した。
- •8Bモデルの重みや学習データ、推論コードはGitHub上でMITライセンスに基づきオープンソースとして提供されている。
中国のAIスタートアップであるStepFun（階躍星辰）のリサーチチームを率いるJingcheng Hu氏は、AIの推論プロセスを従来の逐次的な思考の連鎖から、大規模な並列探索へと根本的に転換させる革新的なフレームワーク「Parallel Coordinated Reasoning（PaCoRe）」を発表した。既存の言語モデルは、長い思考プロセスにおいてコンテキストウィンドウの物理的制限という壁に突き当たることが多く、それが推論性能の限界を規定していた。PaCoReはこのボトルネックを打破するため、複数の推論軌道を同時に走らせ、それぞれが独立して探索を行うアプローチを採用した。独自設計のメッセージパッシング・アーキテクチャを導入することで、各並列プロセスから得られた重要な知見をコンパクトなメッセージに集約し、それを後続の探索ラウンドの指針として共有することが可能になった。
この革新的なアーキテクチャは、推論時計算量（Test-Time Compute: TTC）を従来のモデルとは比較にならないレベルまで拡張することを可能にした。特筆すべきは、単に計算リソースを増やすだけでなく、メモリ制約を厳密に管理しながら計算効率を最適化している点だ。Hu氏らの研究によれば、複雑な論理パズルの解決においては、単一の思考パスを深く掘り下げるよりも、多角的な視点から並列に可能性を模索する「思考の広さ」が極めて重要な役割を果たす。実際に、実効的なTTCを約200万トークン規模までスケールアップさせた結果、わずか80億パラメータのPaCoRe-8Bモデルが、高度な数学的思考を要求されるHMMT 2025ベンチマークにおいて94.5%という圧巻の正解率を記録した。
このベンチマーク結果は、OpenAIの最新鋭モデルとされるGPT-5（93.2%）をも凌駕するものであり、モデルのパラメータ数と推論能力の相関関係に一石を投じる内容となっている。PaCoReの強みは、強化学習の手法を高度に統合している点にある。モデルは各推論ステップにおいて、望ましい出力や正解に至る経路に対して適切な報酬を受け取ることで、最も効率的な意思決定プロセスを学習する。この「強化学習」と「推論スケーリング」の融合により、小規模なモデルであっても巨大なモデルに匹敵、あるいはそれを超える推論パフォーマンスを発揮できることが証明された。この成果は、今後のAI開発において、必ずしも巨大なモデルを構築せずとも、推論プロセスを最適化することで性能を向上させられる可能性を示唆している。
StepFunは、この技術を特定の企業に独占させるのではなく、AIコミュニティ全体の底上げを目指してオープンソース化に踏み切った。GitHub上では、PaCoRe-8Bの学習済みモデルチェックポイント、特殊な数学的推論能力を養うために使用された詳細な学習用データセット、そして完全な推論実行用パイプラインがMITライセンスで提供されている。これにより、世界中の開発者や研究者は、小規模な基盤モデルをベースにしながらも、極めて高度な推論能力を実装するための具体的な道筋を手にすることになった。この取り組みは、AIの民主化を推し進めると同時に、計算資源を効率的に活用する次世代の推論技術のスタンダードを確立するものとして高く評価されている。