ハードウェア刷新不要:データセンター効率化の新手法
- •新ソフトウェア「Sandook」がデータセンターのストレージスループットを最大94%向上
- •SSD間の負荷をインテリジェントに調整し、性能のボトルネックとハードウェアの無駄を解消
- •特殊な新ハードウェアを導入することなく、理論上の最大SSD性能の95%を達成
データセンターは現代のデジタル社会を支える基盤であるが、ストレージハードウェアの稼働率が低いという深刻な非効率性を抱えている。AIモデルの学習には膨大なデータセットが必要であり、それを保持するSolid-State Drive(SSD)の性能が計算処理全体のボトルネックとなることが多い。ドライブの老朽化や健康状態、負荷状況は個々に異なり、最も性能の低い個体がシステム全体の足を引っ張るという現象が常態化している。
マサチューセッツ工科大学(MIT)の研究チームは、ウルドゥー語で「箱」を意味する「Sandook」というソフトウェアベースの解決策を開発した。これは、より高速な新型ハードウェアを追加購入する代わりに、二層構造の管理アーキテクチャを用いてタスクをリアルタイムで最適化する手法だ。グローバルコントローラーがストレージプール全体の状態を監視し、個々のマシンに搭載されたローカルコントローラーが即座に調整を行う。
この調整機能は、特定のドライブで発生するGarbage Collectionへの対応に特に有効である。これはドライブ内部のデータを整理し、空き領域を確保するバックグラウンド処理だが、頻繁に読み書き速度を低下させる原因となっていた。Sandookはこうした予測不可能なメンテナンス処理や、ドライブごとの摩耗の差、読み書きの競合といった複数の要因を動的に管理する。
機械学習モデルの学習や画像圧縮といった高負荷なアプリケーション環境において、このシステムは従来の静的な管理手法と比較してほぼ2倍の性能向上を実現した。実用的な現場での検証を通じ、ソフトウェアによる動的なリソース管理が、ハードウェア単体のスペック以上に重要であることを証明した形だ。
今回の成果は、AI時代における持続可能性の観点からも極めて重要である。高性能なハードウェアを絶えず製造し、廃棄し続けることは多大な環境コストを伴う。既存のインフラの能力を限界まで引き出し、機器の寿命を延ばすSandookの試みは、より賢明なソフトウェア開発こそが計算効率を改善する鍵であることを示唆している。