宗教団体向けのデジタルエンゲージメントプラットフォームを提供するPushpayは、Amazon Bedrockを活用し、プロトタイプ段階だった生成AI検索ツールを実用レベルへと進化させた。 開発当初、自ら思考しタスクを実行する「エージェンティックAI」の精度は60〜70%に留まっていた。この壁を打破するため、チームは300件以上の検証済みクエリ対からなる「ゴールデンデータセット」を構築。 大規模言語モデル (LLM) を評価役として精度を測定する仕組みを導入することで、改善が必要な箇所の特定を可能にした。 技術的なハイライトは、固定された指示（プロンプト）からの脱却だ。 ユーザーの文脈に合わせて指示を動的に生成するシステムを実装し、さらにコスト削減と高速化を両立するプロンプトキャッシュを採用。 これにより、手動での操作に比べて15倍速い分析スピードを実現している。 また、「戦略的抑制」という手法も重要な役割を果たした。精度が95%の閾値に達しない特定の機能については、あえて一時的に無効化する判断を下したのだ。 このデータ主導のアプローチにより、ユーザーは常に信頼性の高い機能のみを利用でき、システム全体への信頼を維持している。

宗教団体向けのデジタルエンゲージメントプラットフォームを提供するPushpayは、Amazon Bedrockを活用し、プロトタイプ段階だった生成AI検索ツールを実用レベルへと進化させた。 開発当初、自ら思考しタスクを実行する「エージェンティックAI」の精度は60〜70%に留まっていた。この壁を打破するため、チームは300件以上の検証済みクエリ対からなる「ゴールデンデータセット」を構築。 大規模言語モデル (LLM) を評価役として精度を測定する仕組みを導入することで、改善が必要な箇所の特定を可能にした。 技術的なハイライトは、固定された指示（プロンプト）からの脱却だ。 ユーザーの文脈に合わせて指示を動的に生成するシステムを実装し、さらにコスト削減と高速化を両立するプロンプトキャッシュを採用。 これにより、手動での操作に比べて15倍速い分析スピードを実現している。 また、「戦略的抑制」という手法も重要な役割を果たした。精度が95%の閾値に達しない特定の機能については、あえて一時的に無効化する判断を下したのだ。 このデータ主導のアプローチにより、ユーザーは常に信頼性の高い機能のみを利用でき、システム全体への信頼を維持している。