AIエージェントの潮流は、単純な計算能力から、モデルを複雑なワークフローへと導く「スキル（構造化された手順知識）」へと移行しつつある。これを受け、研究者であるXiangyi Li（シャンイー・リー）氏らは、11の領域にわたる86のタスクを網羅した包括的な評価フレームワーク「SkillsBench」を発表し、スキルの有効性を定量化した。その結果、エージェントは人間が作成した指示を与えられると飛躍的に性能を伸ばす一方で、自ら手順書を作成させると著しく苦戦するという、対照的な実態が浮き彫りになった。

本研究の特筆すべき点は、適切な「スキル」がモデルの規模を補完し得ることを証明したことだ。驚くべきことに、人間が作成したスキルを備えた小規模モデルのClaude 4.5 Haikuが、それを持たないはるかに大規模なClaude 4.5 Opusの性能を上回るという結果が出た。この事実は、医療やソフトウェアエンジニアリングといった実戦的な用途において、膨大なパラメータ数よりも精密に設計された指示の方が価値が高いことを示唆している。対照的に、実行前にモデル自身が手順を教え込もうとする「自己生成スキル」では、むしろ性能がわずかに低下した。

この「知識の乖離」は、最先端のモデルであっても、内部知識を信頼できる手順へと昇華させるメタ認知能力が不足していることを意味する。開発者にとっての教訓は明確だ。膨大なマニュアルをコンテキストに詰め込むよりも、2〜3個のモジュールに絞った焦点の明確なドキュメントを用意する方がはるかに効果的である。エージェンティックAI（自律型AI）の未来は、基盤となるニューラルネットワークの構造だけでなく、人間がいかに知見を整理し提供できるかという専門性にもかかっている。なお、本研究の評価にはBenchFlowという基盤が活用されている。

最近のAIは、ただ計算が速いだけでなく、複雑な仕事をこなすための「やり方のコツ（構造化された手順知識）」が大事になってきています。研究チームが「SkillsBench（スキルズベンチ）」というテストでAIの力を調べたところ、人間が作った丁寧な説明書があると、AIの能力がぐんと伸びることが分かりました。一方で、AIに自分で手順書を作らせると、うまくできずに苦戦するという意外な姿も見えてきました。

一番の驚きは、人間が作った「コツ」をもらった小さなAI（Claude 4.5 Haiku）が、そのコツを持っていない巨大なAI（Claude 4.5 Opus）よりも優れた結果を出したことです。これは、AIの脳の大きさ（パラメータ数）を増やすことよりも、人間が正しく「こうやって動いてね」と教えることの方が、お医者さんの仕事やプログラミングなどの難しい場面で価値が高いことを意味しています。反対に、AIに自分で「やり方のコツ」を考えさせてから実行させようとすると、かえって成績が少し下がってしまいました。

この結果から、今の最新AIであっても「自分の知識を整理して正しい手順にまとめる力（メタ認知能力）」はまだ足りないことが分かります。AIを上手に使うための教訓ははっきりしています。分厚いマニュアルを丸ごと読み込ませるよりも、人間がポイントを2〜3個に絞って分かりやすく整理したドキュメントを用意する方が、はるかに効果的です。自ら考えて動くAI（自律型AI）の未来は、AI自体の仕組みだけでなく、私たち人間がいかに自分の知恵を整理してAIに提供できるか、という「専門性」にかかっています。なお、今回の調査には「BenchFlow（ベンチフロー）」という評価の仕組みが使われました。