NVIDIA가 최신 소형 언어 모델 (SLM)인 Nemotron 3 Nano 30B를 Amazon SageMaker JumpStart에 공식 통합했다. 이번 출시는 300억 개의 파라미터가 보유한 방대한 지식과 고도로 효율적인 실행 방식을 결합한 '최적의 조합'을 제시한다. 특히 모델은 전체 규모에도 불구하고 혼합 전문가 모델 (MoE) 아키텍처를 채택하여, 실제 작업 시에는 30억 개의 파라미터만 활성화한다. 이는 각 질문마다 가장 적합한 전문가 팀만 호출하여 작업하는 방식과 유사하며, 이를 통해 계산에 필요한 에너지와 시간을 획기적으로 절감한다.

이 모델의 독특한 설계는 표준 트랜스포머 아키텍처와 기존 모델보다 정보 처리 효율이 뛰어난 새로운 시스템인 Mamba를 결합한 것이 특징이다. 이러한 하이브리드 구성을 통해 모델은 인공지능의 '단기 기억'에 해당하는 컨텍스트 창을 최대 100만 토큰까지 확장했다. 그 결과 AI는 방대한 법률 계약서나 복잡한 코드베이스 전체를 단 한 번의 상호작용으로 분석할 수 있으며, 문서의 앞부분에 언급된 정보도 놓치지 않고 정확히 파악해낸다.

나아가 NVIDIA는 모델의 가중치를 공개하며 접근성을 대폭 강화했다. 이에 따라 개발자들은 AI의 내부 설정을 확인하는 것은 물론, AWS의 보안 클라우드 환경 내에서 각자의 비공개 데이터를 활용해 모델을 정교하게 미세 조정할 수 있게 됐다. 실제로 소프트웨어 엔지니어링 능력을 평가하는 SWE-bench 등 주요 기술 벤치마크에서 높은 성적을 거둔 Nemotron 3 Nano는, 향후 대규모의 특화된 AI 에이전트를 구축하기 위한 강력하고 비용 효율적인 도구로 활용될 전망이다.

NVIDIA가 최신 소형 언어 모델 (SLM)인 Nemotron 3 Nano 30B를 Amazon SageMaker JumpStart에 공식 통합했다. 이번 출시는 300억 개의 파라미터가 보유한 방대한 지식과 고도로 효율적인 실행 방식을 결합한 '최적의 조합'을 제시한다. 특히 모델은 전체 규모에도 불구하고 혼합 전문가 모델 (MoE) 아키텍처를 채택하여, 실제 작업 시에는 30억 개의 파라미터만 활성화한다. 이는 각 질문마다 가장 적합한 전문가 팀만 호출하여 작업하는 방식과 유사하며, 이를 통해 계산에 필요한 에너지와 시간을 획기적으로 절감한다.

이 모델의 독특한 설계는 표준 트랜스포머 아키텍처와 기존 모델보다 정보 처리 효율이 뛰어난 새로운 시스템인 Mamba를 결합한 것이 특징이다. 이러한 하이브리드 구성을 통해 모델은 인공지능의 '단기 기억'에 해당하는 컨텍스트 창을 최대 100만 토큰까지 확장했다. 그 결과 AI는 방대한 법률 계약서나 복잡한 코드베이스 전체를 단 한 번의 상호작용으로 분석할 수 있으며, 문서의 앞부분에 언급된 정보도 놓치지 않고 정확히 파악해낸다.

나아가 NVIDIA는 모델의 가중치를 공개하며 접근성을 대폭 강화했다. 이에 따라 개발자들은 AI의 내부 설정을 확인하는 것은 물론, AWS의 보안 클라우드 환경 내에서 각자의 비공개 데이터를 활용해 모델을 정교하게 미세 조정할 수 있게 됐다. 실제로 소프트웨어 엔지니어링 능력을 평가하는 SWE-bench 등 주요 기술 벤치마크에서 높은 성적을 거둔 Nemotron 3 Nano는, 향후 대규모의 특화된 AI 에이전트를 구축하기 위한 강력하고 비용 효율적인 도구로 활용될 전망이다.