現在のAIベンチマークの多くは、学習済みの知識や記憶を問う「結晶性知能」に焦点を当てている。しかし、現実世界で真に求められる知能とは、未知の問題をその場で解決する能力であるはずだ。このギャップを埋めるため、研究チームは「生成的流動性知能（Generative Fluid Intelligence）」を測定するための専門的な評価スイート「GENIUS」を導入した。この指標は、過去のデータに頼ることなく、単一のプロンプト内でいかにパターンを導き出し、特定の制約に従って新しい情報に適応できるかを評価するものである。

主要な12種類のマルチモーダルモデルを評価した結果、性能の差が顕著に現れた。興味深いことに、失敗の主な要因は画像やテキストを生成する能力ではなく、与えられた情報を正確に把握する「文脈理解」の欠如にあったのだ。例えば、抽象的なメタファーの可視化や直感に反する物理現象のシミュレーションを求められた際、モデルは提示された独自の制約に基づいて推論するのではなく、学習時に蓄積した標準的なパターンをそのまま出力してしまう傾向が見られた。

こうした理解不足を解消するため、研究チームは「アテンション介入」という再学習不要の戦略を開発した。これは、モデルが入力データのどの部分に注目するかを調整するプロセスであるアテンションを、コストのかかる再学習なしに直接操作する手法である。特定の文脈上の手がかりを強調させることで、単なるデータ出力と真の流動的推論の間の溝を埋めることに成功した。こうした評価基準の転換は、AI業界を「リアルタイムで批判的かつ適応的に思考できるモデル」の開発へと加速させるだろう。

現在のAIベンチマークの多くは、学習済みの知識や記憶を問う「結晶性知能」に焦点を当てている。しかし、現実世界で真に求められる知能とは、未知の問題をその場で解決する能力であるはずだ。このギャップを埋めるため、研究チームは「生成的流動性知能（Generative Fluid Intelligence）」を測定するための専門的な評価スイート「GENIUS」を導入した。この指標は、過去のデータに頼ることなく、単一のプロンプト内でいかにパターンを導き出し、特定の制約に従って新しい情報に適応できるかを評価するものである。

主要な12種類のマルチモーダルモデルを評価した結果、性能の差が顕著に現れた。興味深いことに、失敗の主な要因は画像やテキストを生成する能力ではなく、与えられた情報を正確に把握する「文脈理解」の欠如にあったのだ。例えば、抽象的なメタファーの可視化や直感に反する物理現象のシミュレーションを求められた際、モデルは提示された独自の制約に基づいて推論するのではなく、学習時に蓄積した標準的なパターンをそのまま出力してしまう傾向が見られた。

こうした理解不足を解消するため、研究チームは「アテンション介入」という再学習不要の戦略を開発した。これは、モデルが入力データのどの部分に注目するかを調整するプロセスであるアテンションを、コストのかかる再学習なしに直接操作する手法である。特定の文脈上の手がかりを強調させることで、単なるデータ出力と真の流動的推論の間の溝を埋めることに成功した。こうした評価基準の転換は、AI業界を「リアルタイムで批判的かつ適応的に思考できるモデル」の開発へと加速させるだろう。