FlowPrefillがLLM推論を5.6倍高速化
- •FlowPrefillは、実行中断（プリエンプション）とスケジューリング頻度を切り離すことで、LLM推論における先頭ブロッキングを解消する。
- •数学的演算の境界でタスクを一時停止させる演算レベルのプリエンプションを導入し、効率を落とさずに割り込み処理を実現した。
- •評価の結果、既存の最先端フレームワークと比較して、有効なリクエスト完了量を示すグッドプットが5.6倍向上した。
大規模言語モデル（LLM）の推論サービスは、先頭ブロッキング（Head-of-Line Blocking）と呼ばれる慢性的な「渋滞」問題に直面している。ユーザーが膨大なプロンプトを入力すると、プリフィルと呼ばれる初期処理フェーズがハードウェアのリソースを独占してしまい、後続のユーザーを待たせてしまうのだ。この遅延は、即時性が求められるアプリケーションにおいて特に深刻であり、わずか数ミリ秒のラグであってもサービスレベル目標（SLO）の未達やユーザー体験の低下を招く。
これまで「チャンク化プリフィル」のような手法が解決策として提案されてきたが、そこには厄介なジレンマが存在していた。チャンクを小さくすればシステムの応答性は高まるが、計算オーバーヘッドにより全体の処理速度が低下する。一方で、チャンクを大きくすれば速度は維持できるものの、新規リクエストのブロッキングが激しくなる。FlowPrefillは、演算レベルのプリエンプションを導入することでこの悪循環を断ち切った。これにより、任意の時間間隔や固定チャンクサイズではなく、特定の数学的演算の境界でタスクを一時停止することが可能になった。
さらに、新規リクエストの到着や処理完了時のみ判断を下す「イベント駆動型スケジューリング」と、この細粒度の中断機能を組み合わせることで、FlowPrefillはグッドプット（Goodput）、すなわち期限内に正常完了したリクエスト量を5.6倍も向上させた。このアーキテクチャにより、優先度の高い短いリクエストは、頻繁なタスク切り替えに伴う効率低下を避けたまま、ほぼ即座に「割り込み」が可能となる。チアチ・シェ（Chia-chi Hsieh）氏らの研究チームによるこの成果は、AIサービスをグローバル規模でより応答性が高く、かつコスト効率の良いものにするための重要な一歩である。