훈련 없이 AI 에이전트의 도구 호출 오류 잡는 'ASA' 어댑터
- •ASA 방식은 추가 훈련 없이 중간 레이어 활성화 개입을 통해 도구 호출 동작을 수정한다.
- •Qwen2.5-1.5B 벤치마크에서 도구 사용 F1 점수가 0.18에서 0.50으로 대폭 상승했다.
- •단 20KB의 자산만 사용하는 경량 시스템으로 모델 가중치 업데이트가 전혀 필요 없다.
AI 에이전트를 외부 도구에 적응시키는 과정은 매우 까다롭기로 유명하다. 도구의 인터페이스가 조금만 바뀌어도 모델이 문제 해결 지식은 충분히 갖추고 있으면서 정작 필요한 도구는 실행하지 못하는 이른바 '게으른 에이전트(Lazy Agent)' 현상이 빈번하게 발생하기 때문이다. 이에 수석 연구원 유진 왕(Youjin Wang)이 이끄는 연구팀은 모델이 응답을 생성하는 추론 단계에서 이러한 오류를 즉각 수정하는 훈련 불필요 솔루션인 활성 조향 어댑터(ASA)를 선보였다.
ASA는 모델의 핵심 가중치를 다시 학습시켜야 하는 일반적인 Fine-tuning과 달리, 중간 레이어 활성화에 대한 단발성 개입을 수행한다. 여기서 활성화란 모델이 정보를 처리할 때 내부 레이어를 통해 흐르는 신호를 의미한다. ASA는 라우터를 통해 특정 조향 벡터를 선택함으로써 모델이 올바른 도구 사용 모드로 진입하도록 정밀하게 유도하는 방식을 취한다. 특히 프로브 유도 게이트는 모델의 진정한 의도는 증폭하고 실수로 인한 실행은 억제하는 안전장치 역할을 한다.
실제로 Qwen2.5-1.5B 모델을 활용한 MTU-Bench 벤치마크 테스트 결과, 정확도와 재현율을 종합한 도구 호출 F1 점수가 0.18에서 0.50으로 대폭 상승하는 성과를 거두었다. 무엇보다 이러한 성능 향상은 단 20KB의 가벼운 자산만으로 가능했으며, 영구적인 가중치 업데이트가 없어 기존 지식을 잃어버리는 치명적 망각의 위험도 없다. 그 결과 개발자들은 인터페이스 변화에 맞춰 에이전트의 도구 활용 능력을 실시간으로 최적화할 수 있게 됐다.