アマゾンウェブサービス（AWS）は、最先端モデルのカスタマイズにおいて課題となっていた「破滅的忘却」を回避するための専用開発環境、Nova Forgeを公開した。通常、企業固有のデータを用いてAIを訓練する「教師あり微調整（SFT）」を行うと、モデルは特定分野の専門家にはなるものの、基本的な指示に従う能力や一般的な論理性、推論能力が失われる傾向にある。Nova Forgeはこの問題に対し、ユーザー独自のデータセットとAmazonが厳選したトレーニングデータを混合することを可能にし、モデルの汎用性を維持したままのカスタマイズを実現した。

1万6,000件の顧客コメントを用いた厳格な評価において、AWSチームはNova 2 Liteをオープンソースの競合モデルと比較した。この評価は、フィードバックを1,400以上の複雑な階層構造に分類するという高度な精度が求められるもので、従来のモデルでは微細な詳細の把握に苦戦していた。しかし、Nova Forgeのフルランク微調整を適用した結果、モデルの精度は17%も向上したのである。

特筆すべきは、モデルが一般知識を高度に保持し続けた点だ。標準的な微調整を施したモデルでは、歴史や数学など多岐にわたる分野を網羅するMMLUベンチマークのスコアが急落する中、データ混合を採用したNovaモデルは元の性能の99%以上を維持した。これにより、企業は社内ロジスティクスと一般的なビジネスコミュニケーションの両方を正確に理解する単一のモデルを運用できるようになり、業務プロセスの大幅な効率化が期待される。

アマゾンウェブサービス（AWS）は、最先端モデルのカスタマイズにおいて課題となっていた「破滅的忘却」を回避するための専用開発環境、Nova Forgeを公開した。通常、企業固有のデータを用いてAIを訓練する「教師あり微調整（SFT）」を行うと、モデルは特定分野の専門家にはなるものの、基本的な指示に従う能力や一般的な論理性、推論能力が失われる傾向にある。Nova Forgeはこの問題に対し、ユーザー独自のデータセットとAmazonが厳選したトレーニングデータを混合することを可能にし、モデルの汎用性を維持したままのカスタマイズを実現した。

1万6,000件の顧客コメントを用いた厳格な評価において、AWSチームはNova 2 Liteをオープンソースの競合モデルと比較した。この評価は、フィードバックを1,400以上の複雑な階層構造に分類するという高度な精度が求められるもので、従来のモデルでは微細な詳細の把握に苦戦していた。しかし、Nova Forgeのフルランク微調整を適用した結果、モデルの精度は17%も向上したのである。

特筆すべきは、モデルが一般知識を高度に保持し続けた点だ。標準的な微調整を施したモデルでは、歴史や数学など多岐にわたる分野を網羅するMMLUベンチマークのスコアが急落する中、データ混合を採用したNovaモデルは元の性能の99%以上を維持した。これにより、企業は社内ロジスティクスと一般的なビジネスコミュニケーションの両方を正確に理解する単一のモデルを運用できるようになり、業務プロセスの大幅な効率化が期待される。