GLM4-MoE高速化：SGLangでTTFTを65%削減
- •Novita AI（AIインフラ企業）が、最適化されたSGLang推論戦略を用いてGLM4-MoEモデルのレスポンス時間を65%高速化した。
- •「Shared Experts Fusion」と「Async Transfer」の手法により、ハードウェア効率を向上させ、本番環境のクラスターにおけるデータ転送のボトルネックを解消した。
- •「Model-free Suffix Decoding」の導入により、コーディングやツール呼び出しなどの反復的なタスクにおいて、AIエージェントのパフォーマンスが22%向上した。
Novita AI（AIインフラ提供企業）は、GLM4-MoEモデル向けの一連の強力な最適化技術を発表した。この取り組みは、戦略的なアーキテクチャの調整がいかに実世界のAIパフォーマンスを劇的に向上させるかを証明している。 高度な推論フレームワークであるSGLangにこれらの改善を統合した結果、TTFT（Time to First Token）を65%削減することに成功した。TTFTは、AIがユーザーのプロンプトに対して応答を開始するまでの速さを測る重要な指標であり、アプリケーションの「きびきびとした動作」に直結する。 特筆すべき技術の一つが、混合専門家モデル (MoE)のアーキテクチャを最適化する「Shared Experts Fusion」だ。この手法では、すべてのタスクにモデルの全リソースを割くのではなく、情報の経路を特定の「専門家」へと振り分ける。さらに「共有専門家」と「ルーティング専門家」を融合させることで、NVIDIA H200チップなどの高性能ハードウェアをより効率的に活用できるようになった。 また、プロセッサの稼働中にバックグラウンドでノード間のデータ移動を行う「Async Transfer」も導入された。これにより、高負荷なワークロード下にある複雑な多層モデルで頻発していた処理の停滞を防ぐことが可能である。 今回の研究では、プログラミングタスクに使用されるAIエージェント特有のニーズにも焦点が当てられた。「Suffix Decoding」という手法を用いることで、生成済みのコードから繰り返しのパターンを予測し、別のドラフトモデルを必要とせずに生成速度を22%向上させた。これらの戦略は、高いスループットと低遅延を両立させたい開発者にとって、不可欠な指針となるだろう。