生成AIアプリケーションのパフォーマンス監視は、長らく開発者にとっての課題であった。特に、意味のあるレイテンシデータを取得するために、複雑なクライアント側コードを記述しなければならないケースが多かった。Amazonはこの摩擦を解消すべく、Bedrockサービスに2つの新しいサーバー側メトリクスを直接CloudWatchへ統合した。このアップデートは、本番環境の負荷下でモデルがどのように動作するかに対し、切望されていた透明性を提供する。特にチャットボットやコーディング・アシスタントのように、初期応答時間がユーザー満足度に直結するアプリケーションにおいて、その効果は絶大である。

1つ目の追加項目である「TimeToFirstToken (TTFT)」は、リクエスト受信から最初のレスポンス・トークンが生成されるまでの経過時間をミリ秒単位で測定する。これはサーバー側で計測されるため、ネットワークの変動による測定誤差が排除されるのが特徴だ。その結果、開発チームはより正確なサービスレベル合意（SLA）を確立できるようになる。また、インフラ側の純粋なパフォーマンスを直接把握できる点も大きな利点と言える。

同様に重要なのが、予測困難なスロットリングの問題を解決する「EstimatedTPMQuotaUsage」メトリクスである。一部のモデルでは出力トークンに特定の倍率が適用されるため、単純なトークン数よりも早くクォータを消費してしまうことがある。このシステムは実効トークン使用量を可視化することで、開発者が事前にアラームを設定し、制限に達する前にキャパシティ増強を計画することを可能にする。これにより、高スループットなワークロードにおいても、よりスムーズなスケーリングが実現する。

これまで、AI（人工知能）を使ったプログラムがスムーズに動いているかを調べるのは、プログラミングが得意な人でも難しい作業でした。そこで、アマゾンは「Bedrock（ベドロック）」というAIサービスに、動きをチェックするための新しい「ものさし（サーバーサイド・メトリクス）」を追加しました。これにより、AIがどれだけテキパキとお返事できているかを、管理画面（CloudWatch）ですぐに見られるようになります。チャットボットのように、すぐにお返事がほしいアプリを作るときにとても便利です。

新しく追加された「最初の一文字目が出るまでの時間（TimeToFirstToken）」という機能は、お願いをしてからAIが最初のことばを書き始めるまでの時間をミリ秒単位ではかります。インターネットの調子に左右されず、AIそのものの速さを正確にはかれるのが特徴です。まるで、友達に話しかけてから、友達が「あのね」と話し始めるまでの反応の速さをはかるようなものです。

もうひとつの新しい機能（EstimatedTPMQuotaUsage）は、AIを使える「残り回数」を教えてくれるものです。AIには一度に使える量に制限（クォータ）があり、それを使い切ると動きが止まって（スロットリング）しまいます。この機能を使えば、AIのパワーをどれくらい使ったかを計算して教えてくれるので、「もうすぐ使えなくなるよ！」と教えてくれるアラームを設定できます。これで、たくさんの人が一度にAIを使っても、急に止まって困ることがなくなります。