Sakana AIは、モデルが新しい情報やタスクを即座に学習できる革新的な手法として、「Doc-to-LoRA」および「Text-to-LoRA」を公開した。従来、モデルの知識を更新するには、膨大なコストがかかるファインチューニングを行うか、メモリを大量に消費する巨大なプロンプトを使用する必要があった。Sakana AIは、大規模モデル向けの軽量で効率的な更新データを即座に生成する「ハイパーネットワーク」という二次的なAIモデルを採用することで、これらの課題を解決した。

この手法は、ハイパーネットワークの訓練段階で負荷の高い処理を済ませてしまう「コストの償却（Cost Amortization）」という考え方に基づいている。一度準備が整えば、ハイパーネットワークはわずか1回の安価な計算パスで、特定のタスクや文書に対応した重みデータを生成できる。その結果、従来は複雑なエンジニアリング工程を要したモデル更新を1秒未満という驚異的な速さで完了させることが可能になった。これにより、基盤モデルは長い文書を単なる一時的な文脈として読み取るのではなく、あたかも最初から学習していたかのように「内面化」できるのである。

実験結果、特に長文読解の分野においてその性能は際立っている。膨大なデータの中から特定の事実を見つけ出す「ニードル・イン・ア・ヘイスタック」テストにおいて、Doc-to-LoRAは基本モデルの限界値の5倍に相当する長さでも、ほぼ完璧な精度を維持した。さらに、ビジョンランゲージモデルの視覚情報をテキスト用の重みデータに変換するといったクロスモーダルな柔軟性も備えている。これにより、標準的なテキストモデルが視覚的な概念を論理的に吸収し、画像を分類することさえ可能になる。

Sakana AIは、モデルが新しい情報やタスクを即座に学習できる革新的な手法として、「Doc-to-LoRA」および「Text-to-LoRA」を公開した。従来、モデルの知識を更新するには、膨大なコストがかかるファインチューニングを行うか、メモリを大量に消費する巨大なプロンプトを使用する必要があった。Sakana AIは、大規模モデル向けの軽量で効率的な更新データを即座に生成する「ハイパーネットワーク」という二次的なAIモデルを採用することで、これらの課題を解決した。

この手法は、ハイパーネットワークの訓練段階で負荷の高い処理を済ませてしまう「コストの償却（Cost Amortization）」という考え方に基づいている。一度準備が整えば、ハイパーネットワークはわずか1回の安価な計算パスで、特定のタスクや文書に対応した重みデータを生成できる。その結果、従来は複雑なエンジニアリング工程を要したモデル更新を1秒未満という驚異的な速さで完了させることが可能になった。これにより、基盤モデルは長い文書を単なる一時的な文脈として読み取るのではなく、あたかも最初から学習していたかのように「内面化」できるのである。

実験結果、特に長文読解の分野においてその性能は際立っている。膨大なデータの中から特定の事実を見つけ出す「ニードル・イン・ア・ヘイスタック」テストにおいて、Doc-to-LoRAは基本モデルの限界値の5倍に相当する長さでも、ほぼ完璧な精度を維持した。さらに、ビジョンランゲージモデルの視覚情報をテキスト用の重みデータに変換するといったクロスモーダルな柔軟性も備えている。これにより、標準的なテキストモデルが視覚的な概念を論理的に吸収し、画像を分類することさえ可能になる。