インターネット上の高品質なテキストデータが枯渇しつつある中、研究者が「データ・ウォール」と呼ぶ大きな壁がAI開発の前に立ちはだかっている。これに伴い、AI開発の焦点は単純な「量」の確保から、外科手術のような精密な「質」の選別へとシフトし始めた。従来の事前学習では、学習開始前にデータの良し悪しを推測する固定的なフィルターに依存してきたが、これらの手法は学習の進捗とともに変化するモデルのニーズを無視してしまうという欠点があった。

そこでQwenの研究チームは、新たなフレームワーク「OPUS」を開発した。OPUSは単にデータの質を評価するのではなく、AdamWやMuon（ミュオン）といったオプティマイザの数学的特性に基づき、特定のデータがモデルの内部パラメータを実際にどう変化させるかを算出する。システムの「学習の幾何学構造」にデータ選択を同期させることで、処理されるすべてのトークンがモデルの成長に最大限寄与することを可能にしたのだ。

その効率性は驚異的である。テストの結果、わずか300億トークンで学習したモデルが、2000億トークンを用いた産業用ベースラインを上回る性能を示し、実質的に6.7倍の生産性向上を証明した。また、計算負荷を抑えるために「Ghost法」などの数学的なショートカットを活用しており、追加コストは全体の4.7%に留まっている。このアプローチは、データ選択プロセスが動的かつ数学的に裏付けられていれば、磨き上げられた小規模なデータセットが巨大で粗いデータセットを凌駕できることを示唆している。

インターネット上の高品質なテキストデータが枯渇しつつある中、研究者が「データ・ウォール」と呼ぶ大きな壁がAI開発の前に立ちはだかっている。これに伴い、AI開発の焦点は単純な「量」の確保から、外科手術のような精密な「質」の選別へとシフトし始めた。従来の事前学習では、学習開始前にデータの良し悪しを推測する固定的なフィルターに依存してきたが、これらの手法は学習の進捗とともに変化するモデルのニーズを無視してしまうという欠点があった。

そこでQwenの研究チームは、新たなフレームワーク「OPUS」を開発した。OPUSは単にデータの質を評価するのではなく、AdamWやMuon（ミュオン）といったオプティマイザの数学的特性に基づき、特定のデータがモデルの内部パラメータを実際にどう変化させるかを算出する。システムの「学習の幾何学構造」にデータ選択を同期させることで、処理されるすべてのトークンがモデルの成長に最大限寄与することを可能にしたのだ。

その効率性は驚異的である。テストの結果、わずか300億トークンで学習したモデルが、2000億トークンを用いた産業用ベースラインを上回る性能を示し、実質的に6.7倍の生産性向上を証明した。また、計算負荷を抑えるために「Ghost法」などの数学的なショートカットを活用しており、追加コストは全体の4.7%に留まっている。このアプローチは、データ選択プロセスが動的かつ数学的に裏付けられていれば、磨き上げられた小規模なデータセットが巨大で粗いデータセットを凌駕できることを示唆している。