AWS와 NVIDIA의 협력이 실험적인 AI 단계를 넘어 본격적인 대규모 생산 환경으로 확장되고 있다. 이에 따라 AWS는 2026년부터 전 세계 리전에 100만 대 이상의 차세대 Blackwell 및 Rubin GPU를 배치할 계획이다. 이러한 인프라 구축은 특히 에이전틱 AI를 지원하기 위해 설계됐다. 에이전틱 AI는 단순히 텍스트를 예측하는 수준을 넘어, 복잡한 비즈니스 환경에서 스스로 추론하고 계획하며 다단계 워크플로우를 자율적으로 실행하는 시스템을 의미한다.

이러한 워크로드를 최적화하기 위해 AWS는 NVIDIA Inference Xfer Library(NIXL)를 새롭게 도입한다. 이 도구는 AI 모델의 처리 과정을 여러 칩이나 서버에 분산하여 처리하는 '분산 추론' 기술을 지원한다. 특히 NIXL은 구성 요소 간의 데이터 이동을 효율화하여 대형 모델의 고질적인 문제인 통신 지연을 최소화한다. 그 결과 모델 크기가 계속 커지더라도 사용자에게 고속 응답을 제공할 수 있는 기반이 마련됐다.

소프트웨어 측면에서는 Amazon Bedrock의 모델 라이브러리에 NVIDIA Nemotron 3 Super가 추가된다. 이 모델은 뇌의 특정 부분만 활성화하는 전문가 팀처럼 작동하는 혼합 전문가 모델(MoE) 구조를 채택하고 있다. 또한 개발자들은 곧 강화 미세 조정(Reinforcement Fine-Tuning, RFT) 기능을 사용할 수 있게 된다. 이를 통해 특정 피드백을 바탕으로 모델의 사고방식과 응답을 정교하게 조정할 수 있으며, 이는 법률이나 의료와 같이 정확도가 생명인 산업 분야에서 핵심적인 역할을 수행할 전망이다.

AWS와 NVIDIA의 협력이 실험적인 AI 단계를 넘어 본격적인 대규모 생산 환경으로 확장되고 있다. 이에 따라 AWS는 2026년부터 전 세계 리전에 100만 대 이상의 차세대 Blackwell 및 Rubin GPU를 배치할 계획이다. 이러한 인프라 구축은 특히 에이전틱 AI를 지원하기 위해 설계됐다. 에이전틱 AI는 단순히 텍스트를 예측하는 수준을 넘어, 복잡한 비즈니스 환경에서 스스로 추론하고 계획하며 다단계 워크플로우를 자율적으로 실행하는 시스템을 의미한다.

이러한 워크로드를 최적화하기 위해 AWS는 NVIDIA Inference Xfer Library(NIXL)를 새롭게 도입한다. 이 도구는 AI 모델의 처리 과정을 여러 칩이나 서버에 분산하여 처리하는 '분산 추론' 기술을 지원한다. 특히 NIXL은 구성 요소 간의 데이터 이동을 효율화하여 대형 모델의 고질적인 문제인 통신 지연을 최소화한다. 그 결과 모델 크기가 계속 커지더라도 사용자에게 고속 응답을 제공할 수 있는 기반이 마련됐다.

소프트웨어 측면에서는 Amazon Bedrock의 모델 라이브러리에 NVIDIA Nemotron 3 Super가 추가된다. 이 모델은 뇌의 특정 부분만 활성화하는 전문가 팀처럼 작동하는 혼합 전문가 모델(MoE) 구조를 채택하고 있다. 또한 개발자들은 곧 강화 미세 조정(Reinforcement Fine-Tuning, RFT) 기능을 사용할 수 있게 된다. 이를 통해 특정 피드백을 바탕으로 모델의 사고방식과 응답을 정교하게 조정할 수 있으며, 이는 법률이나 의료와 같이 정확도가 생명인 산업 분야에서 핵심적인 역할을 수행할 전망이다.