Sakana AIが、言語モデルの情報処理方法を根本から変える研究成果「RePo」を発表した。従来のモデルはテキストを固定されたシーケンスとして扱い、物理的な並び順で重要度を判断していた。この仕組みは、文脈に関わらず「近くの単語」を「遠くの単語」より重視するため、長い文書の途中に重要な事実が埋もれると誤りを引き起こす原因となっていた。 脳の情報処理能力には限界があるという「認知負荷理論」に着想を得たRePoは、動的な再配置モジュールによってこのボトルネックを解消する。固定されたインデックスの代わりに、コンテンツの関連性に基づいて位置を割り当てる。これにより、重要な情報を「引き寄せ」、ノイズを「遠ざける」ことが可能になり、内部のワークスペースとアテンションの構造を効率的に再編する。 RePoは、標準的な大規模言語モデル (LLM) を混乱させるようなノイズの多いデータや長距離依存関係に対し、極めて高い堅牢性を示している。文脈を直線ではなく柔軟なマップとして捉えることで、AIが自らの作業記憶を自律的に整理する道を開いた。これはディープラーニングにおける大きな進歩であり、AIが自ら入力を構造化して効率と精度を高める未来を示唆している。

Sakana AIが、言語モデルの情報処理方法を根本から変える研究成果「RePo」を発表した。従来のモデルはテキストを固定されたシーケンスとして扱い、物理的な並び順で重要度を判断していた。この仕組みは、文脈に関わらず「近くの単語」を「遠くの単語」より重視するため、長い文書の途中に重要な事実が埋もれると誤りを引き起こす原因となっていた。 脳の情報処理能力には限界があるという「認知負荷理論」に着想を得たRePoは、動的な再配置モジュールによってこのボトルネックを解消する。固定されたインデックスの代わりに、コンテンツの関連性に基づいて位置を割り当てる。これにより、重要な情報を「引き寄せ」、ノイズを「遠ざける」ことが可能になり、内部のワークスペースとアテンションの構造を効率的に再編する。 RePoは、標準的な大規模言語モデル (LLM) を混乱させるようなノイズの多いデータや長距離依存関係に対し、極めて高い堅牢性を示している。文脈を直線ではなく柔軟なマップとして捉えることで、AIが自らの作業記憶を自律的に整理する道を開いた。これはディープラーニングにおける大きな進歩であり、AIが自ら入力を構造化して効率と精度を高める未来を示唆している。