かつてOpenAIの創設メンバーであり、テスラのAI責任者も務めたアンドレイ・カーパシー（Andrej Karpathy）氏が、AIの学習効率がいかに驚異的なスピードで進化しているかを示す比較データを公開した。2019年当時、OpenAIがGPT-2を学習させるには32個のTPU v3チップを1週間稼働させる必要があり、そのコストは約4万3,000ドルに達していた。しかし、カーパシー氏によれば、2026年にはこれと同等の性能がH100プロセッサのシングルノードでわずか3時間あれば実現可能になるという。この600倍ものコスト削減は、高性能モデル開発への参入障壁が急速に消滅していることを物語っている。

この比較の基準となったのは、DCLMの研究論文で導入されたアンサンブル指標であるCOREスコアだ。オリジナルのGPT-2が達成した特定のスコアに対し、コミュニティ主導のプロジェクト「modded-nanogpt」などに端を発する現代の最適化技術を適用すれば、今や夕食1回分ほどのコストで同じマイルストーンに到達できる。実際に、実用的な言語モデルの開発に必要な投資額は、毎年およそ2.5倍のペースで減少していると推測される。

こうした進化の背景には、ハードウェアの性能向上と、半導体のポテンシャルを最大限に引き出すソフトウェアの洗練がある。学習コストが手頃になるにつれ、高度なモデル開発が小規模なチームでも可能になり、巨大IT企業への権力の集中が分散されつつある。この600倍という劇的な改善は、昨日の最先端の突破口が、今日では週末に個人で取り組める手頃なプロジェクトへと様変わりしたことを我々に改めて認識させてくれる。

かつてOpenAIの創設メンバーであり、テスラのAI責任者も務めたアンドレイ・カーパシー（Andrej Karpathy）氏が、AIの学習効率がいかに驚異的なスピードで進化しているかを示す比較データを公開した。2019年当時、OpenAIがGPT-2を学習させるには32個のTPU v3チップを1週間稼働させる必要があり、そのコストは約4万3,000ドルに達していた。しかし、カーパシー氏によれば、2026年にはこれと同等の性能がH100プロセッサのシングルノードでわずか3時間あれば実現可能になるという。この600倍ものコスト削減は、高性能モデル開発への参入障壁が急速に消滅していることを物語っている。

この比較の基準となったのは、DCLMの研究論文で導入されたアンサンブル指標であるCOREスコアだ。オリジナルのGPT-2が達成した特定のスコアに対し、コミュニティ主導のプロジェクト「modded-nanogpt」などに端を発する現代の最適化技術を適用すれば、今や夕食1回分ほどのコストで同じマイルストーンに到達できる。実際に、実用的な言語モデルの開発に必要な投資額は、毎年およそ2.5倍のペースで減少していると推測される。

こうした進化の背景には、ハードウェアの性能向上と、半導体のポテンシャルを最大限に引き出すソフトウェアの洗練がある。学習コストが手頃になるにつれ、高度なモデル開発が小規模なチームでも可能になり、巨大IT企業への権力の集中が分散されつつある。この600倍という劇的な改善は、昨日の最先端の突破口が、今日では週末に個人で取り組める手頃なプロジェクトへと様変わりしたことを我々に改めて認識させてくれる。