LMSYS Orgのチームが、現代の動画生成モデルに求められる膨大な計算負荷を処理するために高度に最適化された推論フレームワーク「SGLang-Diffusion」を公開した。高品質な動画の生成は、時間・高さ・幅といった多次元にわたる膨大なデータを処理する必要があるため、計算リソースの消費が極めて激しいことで知られている。

今回導入された「トークンレベル・シャーディング」は、動画データを従来の手法よりも効率的に細分化する技術である。データをGPUに分散する前に平坦化することで、プロセッサ間の通信を遅延させていた「パディング（数値の帳尻を合わせるための無意味なデータの追加）」を回避することに成功した。これにより、GPUのパワーを無駄な余白の処理ではなく、実際の動画生成に最大限活用できるようになった。

また、高解像度な映像の作成時に発生しがちなメモリ不足の問題を解決するため、新たに「並列VAE」が導入された。この技術は視覚的なエンコード処理を複数のGPUに分散させ、1つのフレームを同時に処理することを可能にする。さらに、複数の計算工程を一つにまとめる「融合カーネル」の採用により、プロセッサが次の命令を待つ間に生じる「GPUバブル」と呼ばれるわずかな遅延も大幅に削減されている。

LMSYS Orgのチームが、現代の動画生成モデルに求められる膨大な計算負荷を処理するために高度に最適化された推論フレームワーク「SGLang-Diffusion」を公開した。高品質な動画の生成は、時間・高さ・幅といった多次元にわたる膨大なデータを処理する必要があるため、計算リソースの消費が極めて激しいことで知られている。

今回導入された「トークンレベル・シャーディング」は、動画データを従来の手法よりも効率的に細分化する技術である。データをGPUに分散する前に平坦化することで、プロセッサ間の通信を遅延させていた「パディング（数値の帳尻を合わせるための無意味なデータの追加）」を回避することに成功した。これにより、GPUのパワーを無駄な余白の処理ではなく、実際の動画生成に最大限活用できるようになった。

また、高解像度な映像の作成時に発生しがちなメモリ不足の問題を解決するため、新たに「並列VAE」が導入された。この技術は視覚的なエンコード処理を複数のGPUに分散させ、1つのフレームを同時に処理することを可能にする。さらに、複数の計算工程を一つにまとめる「融合カーネル」の採用により、プロセッサが次の命令を待つ間に生じる「GPUバブル」と呼ばれるわずかな遅延も大幅に削減されている。