Qwen3、AMD MI300Xで推論速度が2倍以上に向上
2026年2月13日 (金)
- •「Qwen3-235B」がAMD Instinct MI300Xにより、トークン生成速度で2倍以上の高速化を達成。
- •新しい量子化手法「PTPC」の導入により、標準的な手法と比較して効率が15〜30%向上。
- •マルチモーダルモデル「Qwen3-VL」は、rocJPEGの活用で画像デコードが7倍高速化した。
アリババクラウド（Alibaba Cloud）のQwenチームはAMDと協力し、AMD Instinct MI300XシリーズGPUにおけるフラグシップモデル「Qwen3」の劇的な性能向上を発表した。SGLangフレームワークを活用することで、2,350億ものパラメータを持つ超大規模モデル「Qwen3-235B」のトークン生成速度（TPOT）を2.12倍に高めることに成功している。この技術革新により、速度が最大のボトルネックとなっていた対話型アプリケーションにおける、大規模AIのデプロイコストが大幅に抑えられる見込みだ。
今回の最適化パッケージには、PTPC（Per-Token Activation, Per-Channel Weight）と呼ばれる高度な新しい量子化手法が含まれている。この手法は、モデルの重みを精度を損なうことなく8ビット浮動小数点（FP8）に圧縮し、ハードウェア固有の処理ユニットに最適化させるものだ。演算ユニットをデータ待ちで遊ばせることなくフル稼働させることで、データ処理の効率を従来のブロックスケーリング手法より最大30%向上させている。
さらに、マルチモーダルモデルであるQwen3-VLでは、高解像度画像の処理に伴う負荷が大幅に軽減された。圧縮された画像データを展開する「画像デコード」の工程を、rocJPEGライブラリを用いてGPUへオフロードした結果、1画像あたりの遅延は27msから4msへと劇的に短縮されている。加えて、視覚処理を複数GPUで並列化する手法により、複雑な視覚入力がモデル全体のレスポンスを妨げる課題も解決された。