엔트로피 적응형 미세 조정: 자신감 있는 충돌 해결을 통한 망각 현상 완화
- •인공지능이 특정 분야를 배울 때 기존의 일반적인 대화 능력이 나빠지는 고질적인 문제를 해결함
- •AI의 기존 지식과 새로운 학습 데이터가 충돌할 때 발생하는 성능 저하를 효과적으로 방지함
- •수학이나 의료 등 전문 AI를 개발하면서도 범용적인 똑똑함을 그대로 유지할 수 있게 됨
인공지능 모델이 특정 분야의 전문 지식을 습득하기 위해 추가 학습을 거치다 보면, 기존에 가지고 있던 보편적인 문제 해결 능력이나 유창한 대화 능력이 갑자기 저하되는 현상을 자주 겪게 된다. 이러한 현상을 연구자들은 치명적 망각이라고 부르며 인공지능 발전의 큰 걸림돌로 여겨왔다.
기존의 미세 조정 방식은 새로운 데이터를 무조건적으로 학습시키려다 보니, 모델이 이미 확신을 가지고 있는 지식과 새로운 데이터가 충돌할 때 내부 체계가 무너지며 기존 능력을 잃어버리게 되는 것이었다. 이번 연구팀은 이러한 문제의 핵심 원인이 이른바 '자신감 있는 충돌'에 있다는 사실을 정밀한 분석을 통해 밝혀냈다. 이는 인공지능이 스스로의 답에 높은 확신을 가지고 있음에도 불구하고, 외부에서 주어지는 학습 데이터가 이와 정반대의 정답을 강요할 때 발생하는 현상이다. 이때 무리하게 학습을 강제하면 모델의 전반적인 지능이 파괴되는 부작용이 나타난다.
이를 해결하기 위해 연구진은 엔트로피를 활용하여 모델이 스스로 얼마나 확신하고 있는지를 실시간으로 측정하고 학습의 세기를 조절하는 '엔트로피 적응형 미세 조정(EAFT)' 기술을 제안했다. EAFT 기술은 일종의 지능형 필터 역할을 수행하며 학습 과정을 조율한다. 인공지능이 새로운 내용에 대해 불확실성을 느낄 때는 새로운 지식을 적극적으로 수용하게 하고, 이미 잘 알고 있는 내용과 정면으로 충돌하는 데이터가 들어올 때는 학습 강도를 낮추어 기존의 지적 능력을 보호하는 방식이다.
실제 실험 결과, 수학이나 의료와 같은 전문 영역의 성능을 비약적으로 높이면서도 일반적인 추론 능력은 상실하지 않는 뛰어난 성과를 거두었다. 현재 이 혁신적인 기술은 오픈소스 학습 도구인 LLaMA-Factory에 즉시 통합되어 전 세계 개발자들이 편리하게 활용할 수 있게 되었다. 이번 연구는 특정 기업이나 산업에 최적화된 맞춤형 인공지능을 개발할 때 성능 저하 걱정 없이 더욱 안정적으로 학습시킬 수 있는 기반을 마련했다는 점에서 큰 의미가 있다.
앞으로 복잡한 논리가 필요한 산업 현장이나 고도의 지식이 요구되는 전문가용 서비스에서 이 기술이 널리 쓰이게 될 것으로 기대된다.