現代のAIモデルは、長文の対話において全ての単語を追跡するための計算負荷が極めて高く、これが処理速度の大きな課題となっている。関連性の高い単語のみに焦点を当てるスパースアテンション技術はこの負荷を軽減するが、依然としてモデルの全階層で「どの単語が重要か」を再計算するというエネルギーの無駄が生じていた。研究者たちは、隣接する層間ではこれらの計算結果がほぼ同一であることに着目し、この効率化のボトルネックを解消する手法を考案した。

この冗長性を解決するために導入されたのがIndexCacheである。このシステムは、ある層で特定された重要語の情報を後続の層でもそのまま活用できるという性質を利用している。具体的には、一部の層を「フルレイヤー」として計算を担わせ、残りの「共有レイヤー」は単にその結果をコピーする仕組みだ。これにより、重複する計算を最大75%排除し、精度を損なうことなく処理の効率化を実現した。

実装には2つのアプローチが用意されている。一つはスマート検索により最適な共有パターンを見出す「学習不要」版、もう一つは共有を行いながら精度を高める「学習あり」版である。300億パラメータのモデルを用いた検証では、プリフィル速度を約2倍に引き上げ、デコード速度も大幅に向上させた。さらに7,440億パラメータ規模の超巨大モデルでもその効果が確認されており、AIエージェントなどの実用化を加速させる技術として、プロダクション環境への導入が期待されている。

現代のAIモデルは、長文の対話において全ての単語を追跡するための計算負荷が極めて高く、これが処理速度の大きな課題となっている。関連性の高い単語のみに焦点を当てるスパースアテンション技術はこの負荷を軽減するが、依然としてモデルの全階層で「どの単語が重要か」を再計算するというエネルギーの無駄が生じていた。研究者たちは、隣接する層間ではこれらの計算結果がほぼ同一であることに着目し、この効率化のボトルネックを解消する手法を考案した。

この冗長性を解決するために導入されたのがIndexCacheである。このシステムは、ある層で特定された重要語の情報を後続の層でもそのまま活用できるという性質を利用している。具体的には、一部の層を「フルレイヤー」として計算を担わせ、残りの「共有レイヤー」は単にその結果をコピーする仕組みだ。これにより、重複する計算を最大75%排除し、精度を損なうことなく処理の効率化を実現した。

実装には2つのアプローチが用意されている。一つはスマート検索により最適な共有パターンを見出す「学習不要」版、もう一つは共有を行いながら精度を高める「学習あり」版である。300億パラメータのモデルを用いた検証では、プリフィル速度を約2倍に引き上げ、デコード速度も大幅に向上させた。さらに7,440億パラメータ規模の超巨大モデルでもその効果が確認されており、AIエージェントなどの実用化を加速させる技術として、プロダクション環境への導入が期待されている。