많은 기업이 기능 개발 속도를 테스트 커버리지보다 우선시하면서, 이는 결국 기술 부채와 취약한 코드베이스라는 부작용을 낳고는 한다. Mistral AI의 Proto 팀은 이러한 문제를 해결하기 위해 복잡한 Ruby on Rails 모놀리스 구조를 스스로 파악하고 탐색하는 자율 에이전트를 구축했다. Mistral AI의 오픈 소스 코딩 어시스턴트인 Vibe를 기반으로 설계된 이 에이전트는 소스 파일을 직접 읽고 인간의 개입 없이 RSpec 테스트를 생성하거나 기존 테스트를 개선한다. 특히 여러 인스턴스를 병렬로 실행할 수 있어, 개발자가 수동으로 작업할 경우 수주가 소요될 대규모 코드베이스도 단시간에 처리할 수 있다는 장점이 있다.

시스템 아키텍처는 특화된 AGENTS.md 파일과 카테고리별 스킬 파일을 통한 컨텍스트 엔지니어링에 크게 의존한다. 이러한 문서들은 에이전트에게 단계별 실행 계획과 더불어 모호한 단언문 지양과 같은 프레임워크 전용 규칙을 가이드라인으로 제공한다. 또한 단순히 겉보기에만 그럴듯한 코드가 아닌 실제로 작동하는 코드를 보장하기 위해 린팅(RuboCop) 및 코드 커버리지(SimpleCov)용 맞춤형 도구를 통합했다. 이러한 피드백 루프 덕분에 에이전트는 생성된 코드를 실행해 보고 괄호 누락과 같은 구문 오류를 스스로 찾아내어 테스트가 완벽하게 통과할 때까지 반복 수정을 진행한다.

275개의 파일로 구성된 실제 저장소에서 진행된 실험 결과, 에이전트는 100%의 라인 커버리지를 달성했을 뿐만 아니라 모든 스타일 위반 사항까지 완벽하게 제거했다. 커버리지와 같은 정량적 지표도 유의미하지만, 연구팀은 코드의 질적 표준을 더욱 정밀하게 평가하고자 LLM-as-a-judge 채점 시스템을 도입했다. 이를 통해 측정한 결과 종합적인 품질 점수가 기존 0.49에서 0.74로 대폭 상승하는 성과를 거두었다. 결과적으로 Mistral AI는 개발 과정의 번거로운 작업을 자동화함으로써 에이전틱 AI 워크플로우가 소프트웨어의 신뢰성과 유지보수성을 대규모로 향상시킬 수 있음을 입증했다.

회사들은 보통 새로운 기능을 빨리 만드는 데 집중하느라, 프로그램이 잘 작동하는지 확인하는 검사(테스트 커버리지)를 소홀히 할 때가 많아요. 그러면 나중에 고치기 힘든 복잡한 문제(기술 부채)가 생겨서 코드가 쉽게 망가질 수 있죠. '미스트랄 AI' 팀은 아주 큰 프로그램 덩어리(모놀리스)도 스스로 살펴보고 검사해 주는 인공지능 비서(자율 에이전트)를 만들었어요. '바이브(Vibe)'라는 인공지능 도구를 바탕으로 만든 이 비서는 사람이 시키지 않아도 코드를 읽고 검사 도구(RSpec 테스트)를 직접 만들거나 더 좋게 고칠 수 있어요. 여러 대의 인공지능을 동시에 가동하면 사람이 몇 주 동안 해야 할 엄청난 양의 일을 순식간에 끝낼 수 있답니다.

이 인공지능 비서는 미리 정리된 설명서(AGENTS.md)와 규칙들을 공부해서 어떻게 행동할지 스스로 계획을 세워요(컨텍스트 엔지니어링). 단순히 겉모습만 흉내 내는 것이 아니라, 코드가 실제로 잘 돌아가는지 확인하는 도구들을 함께 사용해요. 문법이 틀렸는지 확인하는 도구(린팅/RuboCop)와 검사를 안 한 곳이 있는지 확인하는 도구(코드 커버리지/SimpleCov)를 활용하는 것이죠. 인공지능은 이 도구들로부터 결과를 전달받아서, 괄호를 빠뜨리는 것 같은 실수(구문 오류)를 스스로 찾아내고 완벽하게 통과할 때까지 계속해서 고쳐나갑니다.

실제로 275개의 파일이 있는 큰 프로그램에 실험해 보니, 인공지능 비서는 단 한 줄도 빠뜨리지 않고 모든 코드를 완벽하게 검사해냈어요(라인 커버리지 100%). 또한, 다른 인공지능에게 점수를 매기게 하는 방식(LLM-as-a-judge)으로 확인해 보니 품질 점수가 0.49점에서 0.74점으로 크게 올랐어요. 미스트랄 AI는 이렇게 귀찮고 힘든 코딩 업무를 인공지능이 대신하게 함으로써, 우리가 사용하는 소프트웨어를 더 튼튼하고 안전하게 만들 수 있다는 것을 보여주었답니다.