하니스 엔지니어링을 통한 에이전틱 AI의 법률 업무 정복
- •Harvey는 하니스 엔지니어링을 반복 적용해 법률 에이전트의 성공률을 40.8%에서 87.7%로 대폭 향상시켰다.
- •이 시스템은 평가자-최적화 도구 루프를 활용하여 에이전트의 행동과 특수 법률 도구 모음을 자율적으로 개선한다.
- •인간의 역할은 실무 관리자에서 전략적 가이드라인을 설정하고 감독하는 설계자로 변화하고 있다.
법률 산업은 인공지능 활용 방식의 중대한 전환점을 맞이하고 있다. 단순한 질의응답 챗봇을 넘어 복잡하고 다단계의 전문적인 업무 흐름을 자율적으로 수행하는 에이전틱 AI 중심으로 기술이 재편되고 있기 때문이다. 최근 법률 기술 기업 Harvey가 선보인 '하니스 엔지니어링'은 기존 모델의 가중치를 직접 수정하는 대신, 모델 주위에 환경을 조성하여 스스로 오류를 수정하고 학습하도록 돕는 혁신적인 접근법이다.
이 방법론의 핵심은 '평가자-최적화(Evaluator-Optimizer)' 루프다. 에이전트가 상업용 임대차 계약서 작성이나 실사 설문지 검토와 같은 업무를 수행하면, 자동화된 심사관이 결과를 특정 기준에 따라 검토한다. 이 과정에서 발견된 오류와 추론 실패는 보조 코딩 에이전트에 전달되며, 코딩 에이전트는 하니스 환경 설정과 도구들을 수정하여 다음 시도에서 더 나은 결과를 낼 수 있도록 조정한다.
실험 결과는 매우 인상적이다. 기초적인 성능만을 갖춘 모델은 복잡한 법률 문서의 미묘한 차이를 파악하는 데 어려움을 겪었으나, 하니스 엔지니어링을 적용하자 12가지의 고난도 법률 과제에서 성공률이 약 40%에서 88% 수준으로 급등했다. 이는 고도의 AI 성능이 반드시 모델 자체의 지능에서만 나오는 것이 아니라, 모델이 작업하는 환경과 피드백 루프의 품질에 달려 있음을 시사한다.
이러한 변화는 법률 전문가의 역할을 근본적으로 재정의한다. 과거에는 인간이 소프트웨어의 동작을 일일이 제어하는 운전자 역할을 했다면, 이제는 전략적 가이드라인을 설계하는 건축가가 되어야 한다. 변호사는 과제의 목표와 평가 지침을 설정하고, AI는 그 테두리 안에서 스스로 도구와 작업 방식을 개선하며 정교한 결과물을 도출해낸다.
Harvey 측은 이번 사례가 소규모 실험임을 강조하지만, 그 시사점은 매우 깊다. 고품질의 지침과 적절한 피드백 체계가 있다면 AI 에이전트는 반복을 통해 지속적으로 성능을 끌어올리는 이른바 '언덕 오르기'식 성장이 가능하다. 대학생들이 주목해야 할 지점은 전문직의 영역이 수동적인 실행에서 자율적 시스템의 설계와 큐레이션으로 이동하고 있다는 사실이다.