マイクロソフトの研究員であるタイウェイ・シ（Taiwei Shi）氏らは、人間が失敗から学ぶプロセスを模倣した新しい学習手法「体験型強化学習（ERL）」を発表した。従来の強化学習は、フィードバックが乏しい場面において、特定の失敗をどのように未来の行動改善に繋げるべきか判断が難しいという課題があった。ERLは、モデルが自らの試行を分析した上で戦略を確定させる「経験・反省・定着」のループを導入することで、この問題を解決している。

このシステムにおいて、言語モデルはまず初期解を生成し、環境からフィードバックを受ける。その後、単にやり直すのではなく「何が間違っていたか」を文章形式で反省し、その知見をもとに二度目の洗練された試行を行う。モデルが成功を収めると、その論理はモデルの「脳」にあたるベースポリシーに直接組み込まれる仕組みだ。特筆すべきは、この学習がトレーニング中に行われる点である。これにより、実際の運用時には余計な反省ステップを必要とせず、高速かつ低コストな動作を維持できる。

実験の結果、AIがツールを駆使して問題を解くエージェンティックAI（自律型AI）関連のタスクで劇的な成果が示された。複雑な制御環境で81％、ツール利用を伴う推論タスクで11％の性能向上が確認されている。生のフィードバックを構造化された行動修正へと変えるERLは、単に静的な指示に従うだけでなく、シミュレートされた経験を通じて自ら進化し続けるモデル構築のための現実的な手法を提示したと言える。

マイクロソフトの研究員であるタイウェイ・シ（Taiwei Shi）氏らは、人間が失敗から学ぶプロセスを模倣した新しい学習手法「体験型強化学習（ERL）」を発表した。従来の強化学習は、フィードバックが乏しい場面において、特定の失敗をどのように未来の行動改善に繋げるべきか判断が難しいという課題があった。ERLは、モデルが自らの試行を分析した上で戦略を確定させる「経験・反省・定着」のループを導入することで、この問題を解決している。

このシステムにおいて、言語モデルはまず初期解を生成し、環境からフィードバックを受ける。その後、単にやり直すのではなく「何が間違っていたか」を文章形式で反省し、その知見をもとに二度目の洗練された試行を行う。モデルが成功を収めると、その論理はモデルの「脳」にあたるベースポリシーに直接組み込まれる仕組みだ。特筆すべきは、この学習がトレーニング中に行われる点である。これにより、実際の運用時には余計な反省ステップを必要とせず、高速かつ低コストな動作を維持できる。

実験の結果、AIがツールを駆使して問題を解くエージェンティックAI（自律型AI）関連のタスクで劇的な成果が示された。複雑な制御環境で81％、ツール利用を伴う推論タスクで11％の性能向上が確認されている。生のフィードバックを構造化された行動修正へと変えるERLは、単に静的な指示に従うだけでなく、シミュレートされた経験を通じて自ら進化し続けるモデル構築のための現実的な手法を提示したと言える。