ファイルを閲覧し、テストを実行し、さらにはバグを修正する。実際のソフトウェアエンジニアリングを遂行できるAIの開発には、単にコードを読み込む以上の学習が不可欠だ。研究グループのSII-GAIRは、この課題に対し「エージェンティック・ミッドトレーニング」に焦点を当てたプロジェクト、daVinci-Devを発表した。 これは、単純なコード生成の枠を超え、開発者の実際のワークフローを模倣した大規模データを用いてモデルを訓練する手法であり、自律的な問題解決能力の獲得を目指している。 開発チームは、従来の静的なテキストデータと、インタラクティブな開発環境の間に存在する「データのズレ」を、独自のエージェント・ネイティブ・データを用いることで解消した。これには、開発者が目にする情報の流れを捉えた軌跡データや、ツールの使用結果を記録した環境データが含まれる。 こうした動的なフィードバックループを学習させることで、モデルは独立したコーディングエージェントとして振る舞うために必要な基礎的行動を習得したのだ。 その成果は極めて高い効率性を示している。開発された72Bモデルは、ベンチマークであるSWE-Bench Verifiedにて58.5%の解決率を記録した。 特筆すべきは、Kimi-Devなどの既存手法を上回る精度を、半分以下の学習トークン数で実現した点にある。これは、複雑なソフトウェアリポジトリを扱う能力を教える際、データの「量」よりも、インタラクティブなデータの「質」がはるかに重要であることを裏付けている。 汎用的なベースモデルから出発したdaVinci-Devは、ミッドトレーニングが、高コストな強化学習に代わる強力でスケーラブルな選択肢であることを証明した。研究チームは今後、データセットとモデルのチェックポイントを順次公開する予定だ。これにより、莫大な計算リソースを持たない開発者でも、高性能なソフトウェアエージェントを構築できる道が開かれることになる。

ファイルを閲覧し、テストを実行し、さらにはバグを修正する。実際のソフトウェアエンジニアリングを遂行できるAIの開発には、単にコードを読み込む以上の学習が不可欠だ。研究グループのSII-GAIRは、この課題に対し「エージェンティック・ミッドトレーニング」に焦点を当てたプロジェクト、daVinci-Devを発表した。 これは、単純なコード生成の枠を超え、開発者の実際のワークフローを模倣した大規模データを用いてモデルを訓練する手法であり、自律的な問題解決能力の獲得を目指している。 開発チームは、従来の静的なテキストデータと、インタラクティブな開発環境の間に存在する「データのズレ」を、独自のエージェント・ネイティブ・データを用いることで解消した。これには、開発者が目にする情報の流れを捉えた軌跡データや、ツールの使用結果を記録した環境データが含まれる。 こうした動的なフィードバックループを学習させることで、モデルは独立したコーディングエージェントとして振る舞うために必要な基礎的行動を習得したのだ。 その成果は極めて高い効率性を示している。開発された72Bモデルは、ベンチマークであるSWE-Bench Verifiedにて58.5%の解決率を記録した。 特筆すべきは、Kimi-Devなどの既存手法を上回る精度を、半分以下の学習トークン数で実現した点にある。これは、複雑なソフトウェアリポジトリを扱う能力を教える際、データの「量」よりも、インタラクティブなデータの「質」がはるかに重要であることを裏付けている。 汎用的なベースモデルから出発したdaVinci-Devは、ミッドトレーニングが、高コストな強化学習に代わる強力でスケーラブルな選択肢であることを証明した。研究チームは今後、データセットとモデルのチェックポイントを順次公開する予定だ。これにより、莫大な計算リソースを持たない開発者でも、高性能なソフトウェアエージェントを構築できる道が開かれることになる。