데이터 센터 효율의 재발견: 하드웨어 교체 없는 성능 향상
- •새로운 소프트웨어 시스템 'Sandook'이 데이터 센터의 저장소 처리량을 최대 94%까지 증대한다.
- •SSD 간 작업 부하를 지능적으로 분산해 성능 병목 현상과 하드웨어 낭비를 제거한다.
- •별도의 특수 하드웨어 도입 없이도 이론적 SSD 최대 성능의 95% 수준을 달성한다.
데이터 센터는 현대 디지털 세계의 중추 역할을 담당하고 있으나, 그 내면에는 저장 장치가 충분히 활용되지 못한다는 고질적인 비효율성이 존재한다. 흔히 AI의 문제는 연산 능력에 집중되어 있다고 생각하기 쉽지만, 사실 AI 모델 학습에 필요한 방대한 데이터를 담고 있는 SSD(Solid-State Drive)가 전체 시스템의 성능을 제한하는 병목 구간이 되는 경우가 많다. 장치마다 노후도나 상태가 제각각이라 균일한 성능을 내기 어렵고, 이로 인해 가장 느린 장치가 시스템 전체의 잠재력을 저하시키기 때문이다.
MIT 연구진은 이를 해결하기 위해 우르두어로 '상자'를 의미하는 'Sandook'이라는 소프트웨어 기반 솔루션을 선보였다. 연구진은 단순히 성능 저하를 해결하기 위해 고가의 하드웨어를 새로 구매하는 대신, 2단계 관리 구조를 통해 실시간으로 작업을 재분배하는 방식을 택했다. 시스템 내 글로벌 컨트롤러가 저장소 전체의 상태를 감시하고, 각 장치의 로컬 컨트롤러는 특정 드라이브가 가비지 컬렉션(Garbage Collection)과 같은 내부 프로세스로 인해 지연될 때 즉각적으로 대응한다.
가비지 컬렉션은 데이터 저장 공간을 확보하기 위해 드라이브가 내부적으로 수행하는 정리 작업인데, 이 과정에서 흔히 읽기 및 쓰기 속도가 저하되는 간섭 현상이 발생한다. Sandook은 이러한 드라이브별 성능 변동성을 다각도로 관리하여 장치가 최고 효율을 유지하도록 돕는다. 실제로 머신러닝 모델 학습이나 이미지 압축과 같이 부하가 큰 작업에서 이 소프트웨어를 활용하자, 기존의 정적인 방식보다 처리 성능이 거의 2배 가까이 향상되는 결과가 나타났다.
이번 성과는 단순한 기술적 속도 향상을 넘어 AI 시대의 지속 가능성 측면에서도 중요한 시사점을 던진다. 고성능 하드웨어를 끊임없이 제조하고 폐기하는 과정에서 발생하는 환경적 비용은 매우 막대하기 때문이다. 기존 인프라의 활용도를 극대화함으로써 장비의 수명을 획기적으로 연장할 수 있다는 점은 큰 의미가 있다.
결과적으로 이번 연구는 컴퓨팅 효율을 높이는 방법이 반드시 더 빠른 하드웨어를 구축하는 데에만 있는 것이 아님을 시사한다. 이미 보유한 자산을 더 똑똑하고 적응력 높은 소프트웨어로 관리하는 것만으로도 충분히 혁신적인 효율성을 달성할 수 있다는 사실을 증명한 것이다.