외부 도구를 사용해 복잡한 문제를 해결하는 신뢰할 수 있는 에이전트, 즉 에이전틱 AI를 구현하는 것은 AI 개발 분야의 오랜 난제 중 하나였다. 기존의 방식들은 사람이 직접 정제한 데이터나 검증하기 어려운 시뮬레이션에 과도하게 의존해 왔으며, 이는 실제 환경의 복잡한 작업을 수행하는 데 필요한 정교함이 부족하다는 한계로 이어졌다.

이에 따라 연구진은 AI의 행동 시퀀스인 '궤적'과 해당 행동이 발생하는 환경인 '아레나'를 완전히 자동화된 방식으로 합성하는 ASTRA 파이프라인을 개발했다. 특히 도구 호출 그래프를 활용해 방대한 학습 데이터를 생성함으로써, 모델이 복잡한 소프트웨어 도구들을 자유자재로 다루는 방법을 스스로 학습할 수 있는 토대를 마련했다.

무엇보다 ASTRA의 가장 큰 특징은 인간의 추론 과정을 코드로 실행 가능한 독립적인 환경으로 변환하는 능력에 있다. 이러한 접근 방식은 모델이 내린 다단계 의사결정의 정답 여부를 규칙 기반으로 명확하게 피드백하는 '검증 가능한 강화 학습'을 가능하게 했다.

결과적으로 ASTRA는 작업 완수 성능과 상호작용의 효율성을 동시에 잡은 통합 학습 방법론을 제시했다. 실제로 지도 학습 방식의 미세 조정과 온라인 강화 학습을 결합한 ASTRA 모델은 다수의 산업 표준 벤치마크 테스트에서 최정상급 폐쇄형 모델들에 육박하는 뛰어난 성적을 거두었다.

우리가 망치나 가위를 사용해 물건을 고치듯, 인공지능도 컴퓨터 프로그램 같은 여러 도구를 써서 복잡한 문제를 해결하고 싶어 했습니다. 하지만 지금까지는 사람이 일일이 가르쳐주거나 복잡한 상황을 만드는 것이 너무 어려워 인공지능이 똑똑하게 행동하는 '심부름꾼(에이전틱 AI)' 같은 역할을 하기에 부족함이 많았습니다.

그래서 연구원들은 인공지능이 행동하는 순서(궤적)와 그 행동이 일어나는 가상의 연습장(아레나)을 자동으로 만들어내는 '아스트라(ASTRA)'라는 시스템을 개발했습니다. 이 시스템은 도구를 사용하는 순서도(도구 호출 그래프)를 보고 엄청나게 많은 연습용 가짜 데이터(합성 데이터)를 만들어냅니다. 덕분에 인공지능은 복잡한 소프트웨어 도구들을 어떻게 쓰는지 스스로 연습하며 배울 수 있는 기초를 다지게 되었습니다.

아스트라의 가장 큰 특징은 사람이 생각하는 과정을 컴퓨터 코드로 바꿔서 직접 실행해 볼 수 있게 만든 점입니다. 이를 통해 인공지능이 여러 단계를 거쳐 내린 결정이 맞았는지 틀렸는지 규칙에 따라 정확하게 알려주는 '검증 가능한 강화 학습(정답 확인이 가능한 스스로 학습법)'이 가능해졌습니다.

결과적으로 아스트라는 일을 완벽하게 끝내는 능력과 대화의 효율성을 모두 갖춘 새로운 학습 방법을 제시했습니다. 실제로 미리 공부하기(지도 학습 기반 미세 조정)와 실전에서 배우기(온라인 강화 학습)를 합친 이 모델은, 세계적으로 유명한 유료 인공지능(폐쇄형 모델)들과 실력을 겨루었을 때 거의 차이가 없을 만큼 아주 뛰어난 성적을 기록했습니다.