전 OpenAI 창립 멤버이자 테슬라의 AI 디렉터를 역임한 안드레이 카파시(Andrej Karpathy)는 최근 AI 모델 학습의 효율성이 얼마나 빠르게 진보하고 있는지를 보여주는 놀라운 비교 수치를 공개했다. 2019년 당시 OpenAI가 GPT-2를 학습시키기 위해서는 32개의 TPU v3 칩을 일주일 내내 가동해야 했으며, 여기에는 약 4만 3,000달러의 비용이 소요됐다. 하지만 카파시에 따르면, 2026년에는 단 한 노드의 H100 프로세서만으로도 3시간 만에 동일한 성능을 구현할 수 있게 된다. 실제로 이러한 600배의 비용 절감은 고성능 인공지능 모델 개발의 진입 장벽이 얼마나 빠르게 허물어지고 있는지를 단적으로 보여준다.

이번 비교의 척도로는 DCLM 연구 논문에서 소개된 앙상블 메트릭(여러 전문 테스트 결과를 결합한 지표)인 CORE 점수가 활용됐다. 오리지널 GPT-2가 특정 점수 임계값에 도달하기까지 막대한 자원이 필요했던 반면, 오늘날에는 'modded-nanogpt'와 같은 커뮤니티 주도 프로젝트의 최적화 기술 덕분에 저녁 식사 한 끼 가격으로 동일한 성과를 낼 수 있게 됐다. 이러한 추세는 유능한 언어 모델을 개발하는 데 필요한 재정적 투자가 매년 약 2.5배씩 감소하고 있음을 시사한다.

이러한 진화는 실리콘 성능을 극대화하는 하드웨어의 발전과 소프트웨어의 정교화가 맞물린 결과다. 특히 학습 비용이 이처럼 저렴해짐에 따라, 이제 거대 기술 기업이 아닌 소규모 팀도 정교한 모델을 개발할 수 있는 환경이 조성되고 있으며 이는 기술 권력의 이동으로 이어지고 있다. 결국 600배에 달하는 효율 개선은 어제의 최첨단 기술이 오늘은 누구나 주말 프로젝트로 시도해 볼 수 있는 저렴한 기술이 되었음을 상기시킨다.

전 OpenAI 창립 멤버이자 테슬라의 AI 디렉터를 역임한 안드레이 카파시(Andrej Karpathy)는 최근 AI 모델 학습의 효율성이 얼마나 빠르게 진보하고 있는지를 보여주는 놀라운 비교 수치를 공개했다. 2019년 당시 OpenAI가 GPT-2를 학습시키기 위해서는 32개의 TPU v3 칩을 일주일 내내 가동해야 했으며, 여기에는 약 4만 3,000달러의 비용이 소요됐다. 하지만 카파시에 따르면, 2026년에는 단 한 노드의 H100 프로세서만으로도 3시간 만에 동일한 성능을 구현할 수 있게 된다. 실제로 이러한 600배의 비용 절감은 고성능 인공지능 모델 개발의 진입 장벽이 얼마나 빠르게 허물어지고 있는지를 단적으로 보여준다.

이번 비교의 척도로는 DCLM 연구 논문에서 소개된 앙상블 메트릭(여러 전문 테스트 결과를 결합한 지표)인 CORE 점수가 활용됐다. 오리지널 GPT-2가 특정 점수 임계값에 도달하기까지 막대한 자원이 필요했던 반면, 오늘날에는 'modded-nanogpt'와 같은 커뮤니티 주도 프로젝트의 최적화 기술 덕분에 저녁 식사 한 끼 가격으로 동일한 성과를 낼 수 있게 됐다. 이러한 추세는 유능한 언어 모델을 개발하는 데 필요한 재정적 투자가 매년 약 2.5배씩 감소하고 있음을 시사한다.

이러한 진화는 실리콘 성능을 극대화하는 하드웨어의 발전과 소프트웨어의 정교화가 맞물린 결과다. 특히 학습 비용이 이처럼 저렴해짐에 따라, 이제 거대 기술 기업이 아닌 소규모 팀도 정교한 모델을 개발할 수 있는 환경이 조성되고 있으며 이는 기술 권력의 이동으로 이어지고 있다. 결국 600배에 달하는 효율 개선은 어제의 최첨단 기술이 오늘은 누구나 주말 프로젝트로 시도해 볼 수 있는 저렴한 기술이 되었음을 상기시킨다.