AWS, AI 에이전트 검증 프레임워크 ‘Strands Evals’ 출시
- •AWS가 비결정적(non-deterministic) 환경에서 AI 에이전트의 성능을 검증할 수 있는 ‘Strands Evals’를 출시했다.
- •이 프레임워크는 모델 기반 판단 방식을 통해 도움말의 유용성과 도구 사용의 정확도를 측정하는 10가지 평가 도구를 내장하고 있다.
- •ActorSimulator 도구를 활용하면 가상의 사용자 프로필과 대화 목표를 생성해 자동화된 다중 턴 대화 테스트가 가능하다.
실험적인 프로토타입 단계의 AI 에이전트를 견고한 실제 운영 환경으로 옮기기 위해서는 기존의 결정론적 소프트웨어 테스트 방식에서 벗어난 새로운 접근이 필요하다. AI 에이전트는 자연어를 생성하고 맥락에 따른 복잡한 의사결정을 내리기 때문에, 동일한 입력에 대해서도 매번 다른 출력을 내놓을 가능성이 높다. 이처럼 결과가 일정하지 않은 특성상 기존의 단순 단언(assertion) 테스트로는 에이전트의 품질을 효과적으로 측정하기 어려웠다.
AWS는 이러한 한계를 극복하고자 Strands Agents SDK로 구축된 에이전트를 평가하는 체계적인 프레임워크인 Strands Evals를 선보였다. 이 시스템은 단순한 키워드 매칭 방식을 넘어 고도화된 모델을 '심사위원'으로 활용함으로써 답변의 유용성과 일관성, 근거성 등 미묘한 품질 차이를 정밀하게 진단한다. 이에 따라 개발자는 에이전트가 정확한 정보를 제공하는지뿐만 아니라, 논리적인 추론 단계를 올바르게 따르는지 및 검색 증강 생성(RAG)을 통해 근거를 잘 유지하는지를 다각도에서 측정할 수 있게 되었다.
가장 혁신적인 기능 중 하나인 ActorSimulator는 복잡한 다중 턴(multi-turn) 대화 시나리오를 효과적으로 해결한다. 미리 짜인 스크립트를 따르는 대신 특정 목표와 성격을 가진 가상의 페르소나를 생성하여 에이전트와 동적으로 상호작용하는 방식이다. 실제로 이를 통해 에이전트가 후속 질문이나 대화 도중의 갑작스러운 주제 전환에 어떻게 대응하는지를 실전처럼 검증할 수 있으며, 결과적으로 배포 전 단계에서 훨씬 높은 수준의 안정성을 보장한다.
또한 이러한 평가 도구들을 지속적 통합 및 배포(CI/CD) 파이프라인에 통합함으로써 에이전트의 품질 변화를 장기적으로 추적하는 것이 가능해졌다. 개발 과정 중 진행하는 실시간 테스트는 물론, 과거의 운영 로그를 분석하는 사후 분석 업무까지 지원한다. 무엇보다 이 프레임워크는 단순한 연구 수준에 머물러 있는 AI 기술을 신뢰할 수 있는 소프트웨어 공학의 영역으로 끌어올리는 핵심적인 인프라를 제공한다는 점에서 의미가 크다.