生成AIモデルの評価は、いわば「動く標的」を狙うような難しさがある。開発者は通常、出力結果を採点するために「礼儀正しいか」といった固定された評価基準（ルーブリック）を用いる。しかし、創造性が求められる物語と、厳密なPythonスクリプトや法的文書では、本来適用すべき評価の基準が全く異なるはずだ。

この課題を解決するため、Amazon SageMaker AIは最新の基盤モデルであるAmazon Novaを活用した評価機能を導入した。これは「LLM-as-a-Judge」と呼ばれる手法で、一律の基準を適用する代わりに、ユーザーのプロンプトを分析してカスタムチェックリストをリアルタイムで構築する。例えば、医療記録の要約を行う際、システムが自動的に医学的正確性や共感的なトーンを最優先事項として設定するため、人間による手動の調整は不要となる。

この評価機能は、構造化されたYAMLデータを通じて詳細な分析結果を提供する。各項目に重要度に応じた重みを割り当て、判断の根拠となる「加重スコア」を算出することで、高い透明性を確保した。これにより、エンジニアリングチームは「モデルの精度は向上しているが、会話の明快さが失われている」といった微細なボトルネックを正確に特定できるようになった。

さらに、回答の提示順序を変えて複数回評価し一貫性を担保する「調整済み合意（reconciled agreement）」を実装することで、人間による評価に代わる信頼性の高い選択肢を提示している。このツールは、SFTモデルの開発サイクルを効率化し、大規模なトレーニングデータの品質管理や、最適なモデルチェックポイントの選定を大幅に加速させるだろう。

生成AIモデルの評価は、いわば「動く標的」を狙うような難しさがある。開発者は通常、出力結果を採点するために「礼儀正しいか」といった固定された評価基準（ルーブリック）を用いる。しかし、創造性が求められる物語と、厳密なPythonスクリプトや法的文書では、本来適用すべき評価の基準が全く異なるはずだ。

この課題を解決するため、Amazon SageMaker AIは最新の基盤モデルであるAmazon Novaを活用した評価機能を導入した。これは「LLM-as-a-Judge」と呼ばれる手法で、一律の基準を適用する代わりに、ユーザーのプロンプトを分析してカスタムチェックリストをリアルタイムで構築する。例えば、医療記録の要約を行う際、システムが自動的に医学的正確性や共感的なトーンを最優先事項として設定するため、人間による手動の調整は不要となる。

この評価機能は、構造化されたYAMLデータを通じて詳細な分析結果を提供する。各項目に重要度に応じた重みを割り当て、判断の根拠となる「加重スコア」を算出することで、高い透明性を確保した。これにより、エンジニアリングチームは「モデルの精度は向上しているが、会話の明快さが失われている」といった微細なボトルネックを正確に特定できるようになった。

さらに、回答の提示順序を変えて複数回評価し一貫性を担保する「調整済み合意（reconciled agreement）」を実装することで、人間による評価に代わる信頼性の高い選択肢を提示している。このツールは、SFTモデルの開発サイクルを効率化し、大規模なトレーニングデータの品質管理や、最適なモデルチェックポイントの選定を大幅に加速させるだろう。