DeepSeek-AIが「Engram」を公開した。これは、広く普及しているMoEに加え、第2のスパース性の次元として「条件付きメモリ」を導入する高度なアーキテクチャである。MoEがニューラル計算の選択的実行に焦点を当てるのに対し、Engramは古典的なN-gram埋め込みの概念を現代化し、知識検索のネイティブな仕組みを構築。これにより、単純なパターンの再現に貴重な計算リソースを浪費することなく、静的な情報を効率的に取り出せるようになった。 テストの結果、Engram-27Bモデルはコーディング、数学、一般的推論などの多様な領域で、従来のMoEベースラインを凌駕する性能を示した。研究チームは、動的なニューラル処理と静的なメモリ保存の最適なバランスを決定する「U字型のスケーリング則」を特定している。基本的な事実の検索をEngramモジュールに委ねることで、モデルの深い層は複雑な論理タスクに集中できるようになり、推論能力の深さを効果的に維持することに成功したのだ。 このシステムの最も実用的な突破口は、その圧倒的な効率性にある。確定的アドレス指定を採用しているため、高価な専用ハードウェア（VRAM）ではなく、コンピュータのメインメモリであるホストRAMに膨大なデータを保存できる。この設計により、推論速度への影響を最小限に抑えながら知識ベースを劇的に拡張することが可能になった。これは、よりスケーラブルでリソース効率の高いAIシステムへの大きな一歩であるといえる。

DeepSeek-AIが「Engram」を公開した。これは、広く普及しているMoEに加え、第2のスパース性の次元として「条件付きメモリ」を導入する高度なアーキテクチャである。MoEがニューラル計算の選択的実行に焦点を当てるのに対し、Engramは古典的なN-gram埋め込みの概念を現代化し、知識検索のネイティブな仕組みを構築。これにより、単純なパターンの再現に貴重な計算リソースを浪費することなく、静的な情報を効率的に取り出せるようになった。 テストの結果、Engram-27Bモデルはコーディング、数学、一般的推論などの多様な領域で、従来のMoEベースラインを凌駕する性能を示した。研究チームは、動的なニューラル処理と静的なメモリ保存の最適なバランスを決定する「U字型のスケーリング則」を特定している。基本的な事実の検索をEngramモジュールに委ねることで、モデルの深い層は複雑な論理タスクに集中できるようになり、推論能力の深さを効果的に維持することに成功したのだ。 このシステムの最も実用的な突破口は、その圧倒的な効率性にある。確定的アドレス指定を採用しているため、高価な専用ハードウェア（VRAM）ではなく、コンピュータのメインメモリであるホストRAMに膨大なデータを保存できる。この設計により、推論速度への影響を最小限に抑えながら知識ベースを劇的に拡張することが可能になった。これは、よりスケーラブルでリソース効率の高いAIシステムへの大きな一歩であるといえる。