エントロピー適応型微調整：AIの「破滅的忘却」を防ぎ、賢さを維持する新手法が登場
- •特定の分野を学習しても、一般的な会話能力や論理性などの「元々の賢さ」を忘れにくくなる
- •AI自身が持つ知識と新しく学ぶ情報の「矛盾」を自動で見分け、学習の強さを調整する仕組み
- •数学、医療、ツール操作など、高度な専門特化が必要な場面でのAI性能劣化を大幅に抑制
AIの進化において、既存の知能を維持しつつ特定の用途に特化させる「微調整」は不可欠な工程である。しかし、これまでの手法では、特定の知識を学習させるほど以前に習得した基礎能力が失われる「破滅的忘却」という課題が存在した。
高度な専門知識を習得する過程で、日常的な対話能力などの汎用性が損なわれるこの現象は、AIの実用化における大きな障壁となっていた。 今回、北京郵電大学の研究チームが発表した「EAFT（エントロピー適応型微調整）」は、この忘却問題の根本原因が、モデル内部の確信と外部データの不一致による「自信のある衝突」にあることを明らかにした。AIが自身の学習経験から正解と確信する知識に対し、外部データが異なる正解を提示した場合、AIのネットワークには破壊的な負荷がかかる。これが、維持すべき一般的知能を損なう要因となっていた。
研究チームは、この矛盾を検知し、学習強度を動的に調整する手法を開発した。 本技術の核心は、学習プロセスにおける「エントロピー」の活用にある。エントロピーはAIの「不確実性」を示す指標だ。
AIが予測に強い確信を持つ（エントロピーが低い）領域では、外部からの書き換えを抑制する。一方、判断に迷う（エントロピーが高い）領域については、積極的に新しいパターンを学習するよう誘導する。
この自己調節機能により、AIは中核となる知識を保持しながら、未知の領域を効率よく吸収する学習を実現した。 実験では、QwenやGLMなどの主要モデルを用い、数学的推論や医療知識、ツール操作など多岐にわたる専門分野で検証した。その結果、EAFTを採用したモデルは、専門分野での性能において従来手法と同等以上の成果を上げつつ、一般能力の劣化を劇的に抑えることに成功した。本技術はすでにAI開発プラットフォーム「LLaMA-Factory」へ統合されており、世界中の開発者が利用可能である。
AIが過去の知識を失うことなく成長し続けるための重要な進展といえる。