東京を拠点とするAIスタートアップのSakana AIは、トランスフォーマー基盤の大規模言語モデル (LLM)が抱える文脈制限を打破する画期的な手法「DroPE」を公開した。現在のAIモデルは、単語の順序を理解するための回転式位置エンコーディング (RoPE)が、長文読解において足かせとなることが多い。学習時の長さを超えると、このデジタルな「しおり」が情報の位置関係を混乱させ、モデルの理解を妨げる檻となってしまうのだ。

DroPEはこの問題を、位置エンコーディングを永続的な必須要素ではなく、学習時の「一時的な足場」と見なすことで解決する。初期学習後にこれを除去することで、モデルは「意味の歪み」を起こすことなく、未知の長さのデータにも適応できるようになる。この手法により、ゼロから学習し直す不安定さや、従来の拡張手法で発生していた性能低下をスマートに回避した。

特筆すべきは、既存モデルを再調整するためのコストが、元の学習予算のわずか1%未満という圧倒的な効率性だ。膨大な契約書や大規模なコードベースの解析など、従来のコンテキストウィンドウが限界を迎えていた領域において、DroPEは大きな威力を発揮するだろう。高価なファインチューニングを必要としないこのアプローチは、高性能AIの活用の場を大きく広げる可能性を秘めている。

東京を拠点とするAIスタートアップのSakana AIは、トランスフォーマー基盤の大規模言語モデル (LLM)が抱える文脈制限を打破する画期的な手法「DroPE」を公開した。現在のAIモデルは、単語の順序を理解するための回転式位置エンコーディング (RoPE)が、長文読解において足かせとなることが多い。学習時の長さを超えると、このデジタルな「しおり」が情報の位置関係を混乱させ、モデルの理解を妨げる檻となってしまうのだ。

DroPEはこの問題を、位置エンコーディングを永続的な必須要素ではなく、学習時の「一時的な足場」と見なすことで解決する。初期学習後にこれを除去することで、モデルは「意味の歪み」を起こすことなく、未知の長さのデータにも適応できるようになる。この手法により、ゼロから学習し直す不安定さや、従来の拡張手法で発生していた性能低下をスマートに回避した。

特筆すべきは、既存モデルを再調整するためのコストが、元の学習予算のわずか1%未満という圧倒的な効率性だ。膨大な契約書や大規模なコードベースの解析など、従来のコンテキストウィンドウが限界を迎えていた領域において、DroPEは大きな威力を発揮するだろう。高価なファインチューニングを必要としないこのアプローチは、高性能AIの活用の場を大きく広げる可能性を秘めている。