AIエージェントによるコード生成や質問回答の能力は飛躍的に向上しているものの、自律的に科学研究を遂行する力はいまだ不安定なままである。イェール大学(Yale University)の研究者であるアニケス・ガリカパルティ(Aniketh Garikaparthi)（イェール大学の研究員）氏らは、AI研究の複雑な多段階プロセスを評価するための新しいベンチマーク「ResearchGym」を導入した。この環境では、ICMLやICLRといったトップ会議の論文を再利用し、AIに仮説の提案から実験の実行、さらには人間が確立した基準の突破までを要求する。これにより、アイデアの構想から最終的な実装までをAIが完結させる「クローズドループ」での評価が可能となった。

検証の結果、最先端モデルにおける能力と信頼性の間に著しい乖離があることが浮き彫りになった。GPT-5やClaude Codeといったフロンティアモデルを搭載したエージェントであっても、長期間にわたって安定したパフォーマンスを維持することに苦戦している。実際に、GPT-5が元の論文の基準を上回ったのは全評価のわずか6.7%に過ぎなかった。一部では2025年のスポットライト論文に相当する成果を出すなど、際立った成功例も見られたものの、それらはあくまで例外に過ぎない。高度な学術的厳密さが求められる環境において、現在の自律型システムがいかに予測不能であるかが改めて示された形だ。

本研究では、AIが真に自律的な研究者となることを妨げる「長期的な失敗要因」をいくつか特定している。具体的には、質の低いアイデアに対する過剰な自信や、複数の実験を並行して管理する能力の不足、そしてモデルのメモリ容量やコンテキスト長による物理的な限界などが挙げられる。ResearchGymは、モデルがこれらの障害をどう乗り越えるかを追跡するための基盤を提供することで、時折見せる「天才的な閃き」を、科学的発見の加速に不可欠な「持続的な信頼性」へと変えていくための架け橋となることを目指している。

AIは、コンピューターの命令（コード）を作ったり質問に答えたりするのは得意になりましたが、自分一人で科学の研究を最後までやり遂げる力はまだ不安定です。アメリカのエール大学の研究者たちは、AIがどれだけ複雑なステップを踏んで研究できるかを調べるための新しいテストの仕組み（ベンチマーク）である「リサーチジム（ResearchGym）」を公開しました。ここでは、世界トップクラスの科学者が書いた難しい論文を使い、AIに「新しいアイデアを出し、実験をして、人間を超える結果を出して」という難しい宿題を出します。これにより、考えを出すところから形にするところまで、AIが一人で完結させる力（クローズドループ）を正しく評価できるようになりました。

テストの結果、一番頭が良いと言われている最新のAI（フロンティアモデル）であっても、長い時間ずっと正しく研究を続けるのはとても大変だと分かりました。実際に、もともとの論文よりも優れた結果を出せたのは、全体のわずか6.7%だけでした。たまに、科学の会議で表彰されるほど素晴らしい成果を出す「天才的なひらめき」を見せることもありましたが、それはごく一部の例外です。高い正確さが求められる科学の世界では、今のAIがいつ失敗するか予測できないという大きな弱点（信頼性の欠如）が浮き彫りになりました。

この研究では、AIが本物の科学者になるのを邪魔している原因もいくつか分かりました。例えば、あまり良くないアイデアなのに「これは正しい！」と思い込みすぎたり、たくさんの実験を同時に進める管理が下手だったり、一度に覚えられる情報の量（コンテキスト長）に限界があったりすることです。この「リサーチジム」を使ってAIがどこでつまずくかを詳しく調べることで、たまに起きる「まぐれ」ではなく、いつでも科学の発展を助けてくれる「頼もしい相棒」に育てていくための準備が進められています。