Microsoft Researchは、大規模言語モデル (LLM) の推論における効率性のボトルネックを解消する新しい枠組み「Multiplex Thinking」を発表した。従来のモデルが長いテキストの連鎖を逐次的に生成して複雑な問題を解くのに対し、この手法は人間が直感的に複数の可能性を同時に検討するプロセスを模倣する。離散的なステップではなく「ソフト」な連続的アプローチを採用することで、処理を遅延させることなく複数の推論経路を考慮できるのが特徴だ。

技術的な核となるのは「トークン単位の分岐・統合」メカニズムである。各ステップで単一の単語を選ぶのではなく、複数の候補トークンをサンプリングし、それらの数学的表現を一つの「多重トークン」へと統合する。これにより、シナリオごとに個別の長い文章を生成するという膨大な計算コストを支払うことなく、多様な推論パスを探索可能になった。元の語彙分布の優先順位を維持しつつ、論理を少数のトークンに効率よく凝縮している。

この手法は強化学習を通じて最適化されており、モデルが最も効果的な論理パスを自ら学習する。システムは自己適応型であり、確信度が高いときは通常のテキスト生成を行い、不確実なときは多重トークンを用いて複数のアイデアをコンパクトに表現する。数学ベンチマークでの評価では、pass@kなどの主要指標で強力なベースラインを一貫して上回った。出力シーケンスを大幅に短縮しながらも、極めて高い推論精度を維持することに成功している。

Microsoft Researchは、大規模言語モデル (LLM) の推論における効率性のボトルネックを解消する新しい枠組み「Multiplex Thinking」を発表した。従来のモデルが長いテキストの連鎖を逐次的に生成して複雑な問題を解くのに対し、この手法は人間が直感的に複数の可能性を同時に検討するプロセスを模倣する。離散的なステップではなく「ソフト」な連続的アプローチを採用することで、処理を遅延させることなく複数の推論経路を考慮できるのが特徴だ。

技術的な核となるのは「トークン単位の分岐・統合」メカニズムである。各ステップで単一の単語を選ぶのではなく、複数の候補トークンをサンプリングし、それらの数学的表現を一つの「多重トークン」へと統合する。これにより、シナリオごとに個別の長い文章を生成するという膨大な計算コストを支払うことなく、多様な推論パスを探索可能になった。元の語彙分布の優先順位を維持しつつ、論理を少数のトークンに効率よく凝縮している。

この手法は強化学習を通じて最適化されており、モデルが最も効果的な論理パスを自ら学習する。システムは自己適応型であり、確信度が高いときは通常のテキスト生成を行い、不確実なときは多重トークンを用いて複数のアイデアをコンパクトに表現する。数学ベンチマークでの評価では、pass@kなどの主要指標で強力なベースラインを一貫して上回った。出力シーケンスを大幅に短縮しながらも、極めて高い推論精度を維持することに成功している。