最新の大規模言語モデル（LLM）の学習には膨大な高品質データが必要であり、不足を補うために合成データへの依存が強まっている。しかし、従来の生成手法は「テキストの多様性」、すなわち表面上の文章表現の違いに焦点を当てがちであった。これに対し、研究論文「Less is Enough」は、そのアプローチが本質を捉えていないと指摘し、モデル内部の論理を深く掘り下げる指標であるFeature Activation Coverage（FAC）を新たに導入した。

FACは、特定の推論パターンや事実の関連付けなど、モデルが学習した様々な概念的特徴がデータセット内でどれほど網羅されているかを測定する。研究チームのジョンジ・リー(Zhongzhi Li)氏らは、複雑なニューラルネットワークのパターンを人間が理解できる概念に変換する「スパース・オートエンコーダー」を活用した。これにより、少量のシードデータで不足している内部特徴を特定し、それらをピンポイントで活性化させる新たな合成サンプルを生成することに成功したのである。

その成果は驚異的だ。わずか2,000個のターゲットを絞った合成サンプルで、30万個のサンプルを含む人気データセット「MAGPIE」と同等の性能を記録した。この150倍ものデータ効率の向上は、指示への追従や有害性検出など、多様なタスクで実証されている。さらに興味深いことに、LLaMAとMistralのような異なるモデルファミリーが、実は多くの内部特徴空間を共有していることも判明した。これは、一つのモデルに最適化されたデータが他でも汎化して役立つ可能性を示唆しており、AIエコシステム全体の効率化に道を拓くものだ。

最新のAI（大規模言語モデル：LLM）を賢くするには、ものすごくたくさんの「勉強道具（データ）」が必要です。最近では、AI自身に勉強道具を作らせる「AIが作ったデータ（合成データ）」も使われていますが、これまでは「言葉づかいが似ていないか」といった、見た目のちがいばかりが気にされてきました。しかし、新しい研究（Less is Enough）では、見た目よりも「AIの頭のなかがどう動いているか」を測る新しいものさし（Feature Activation Coverage：FAC）を使うことが大切だと発表されました。

この新しいものさし（FAC）は、AIが何かを考えるときに、頭のなかのどのスイッチが押されているかをチェックします。研究チームは、AIの複雑な考えを人間にもわかる言葉に直す特別な仕組み（スパース・オートエンコーダー）を使いました。これによって、AIがまだ勉強できていない「頭の使い方のスキマ」を見つけ出し、そこをピンポイントで鍛えるための「特別な勉強道具」を作ることに成功したのです。

その結果は、まるで魔法のようです。たった2,000個の「特別な勉強道具」だけで、30万個ものデータが入った有名なセット（MAGPIE）と同じくらいAIを賢くすることができました。これは、勉強の効率が150倍も良くなったことを意味します。この方法で、AIは人間の指示をしっかり聞けるようになり、悪い言葉も見分けられるようになりました。

さらに驚くことに、別々の会社が作ったAI（LLaMAやMistral、Qwenなど）を調べてみると、みんな頭のなかに同じような「知識の地図（共通の特徴空間）」を持っていることがわかりました。これは、一つのAIのために作った「最高の勉強道具」が、他のAIを賢くするためにもそのまま役に立つ可能性があることを示しています。これからは、もっと効率よく、みんなが使いやすいAIが作られていくことになりそうです。