大規模言語モデル (LLM) で膨大なテキストを処理する際、入力の長さに比例して肥大化するKVキャッシュが性能の壁となる。これに対し、Alibabaの研究チームは、知能を損なうことなくキャッシュを削減するフレームワーク「FASA」を公開した。重要度の低いデータを効率的に間引くことで、メモリ消費を最小限に抑えつつ、広大なコンテキストウィンドウや複雑な推論タスクの処理を可能にする。

このブレイクスルーの鍵は、単語の位置や関係性を理解するための手法である回転式位置エンコーディング (RoPE) に関する新たな発見にある。研究チームは、埋め込みベクトルの中に「機能的スパース性」が存在し、特定の周波数チャンクのみが文の重要度決定に寄与していることを見出した。この「支配的」なチャンクを特定することで、FASAは保持すべきトークンを瞬時に予測する。このクエリ対応型のアプローチにより、余計な計算リソースを消費することなく、AIが常に最適な文脈に集中できるようになった。

ベンチマークの結果は驚異的だ。LongBench-V1テストにおいて、FASAはわずか256トークンの保持でフルメモリモデルと同等の性能を維持した。さらに、複雑な数学的推論では、キャッシュ使用量を従来の19%未満に抑えながら2.56倍の高速化を達成している。この成果は、将来的に高性能な長文対応AIが、これまでより遥かに安価なハードウェアで動作し、実社会への普及が加速することを示唆している。

大規模言語モデル (LLM) で膨大なテキストを処理する際、入力の長さに比例して肥大化するKVキャッシュが性能の壁となる。これに対し、Alibabaの研究チームは、知能を損なうことなくキャッシュを削減するフレームワーク「FASA」を公開した。重要度の低いデータを効率的に間引くことで、メモリ消費を最小限に抑えつつ、広大なコンテキストウィンドウや複雑な推論タスクの処理を可能にする。

このブレイクスルーの鍵は、単語の位置や関係性を理解するための手法である回転式位置エンコーディング (RoPE) に関する新たな発見にある。研究チームは、埋め込みベクトルの中に「機能的スパース性」が存在し、特定の周波数チャンクのみが文の重要度決定に寄与していることを見出した。この「支配的」なチャンクを特定することで、FASAは保持すべきトークンを瞬時に予測する。このクエリ対応型のアプローチにより、余計な計算リソースを消費することなく、AIが常に最適な文脈に集中できるようになった。

ベンチマークの結果は驚異的だ。LongBench-V1テストにおいて、FASAはわずか256トークンの保持でフルメモリモデルと同等の性能を維持した。さらに、複雑な数学的推論では、キャッシュ使用量を従来の19%未満に抑えながら2.56倍の高速化を達成している。この成果は、将来的に高性能な長文対応AIが、これまでより遥かに安価なハードウェアで動作し、実社会への普及が加速することを示唆している。