SQL開発、最先端AIがオープンソースを圧倒
- •11種類のモデルを用い、最大1万個のテーブル規模でSQL生成時のコンテキスト・エンジニアリングを分析。
- •Claude 4.5やGPT-5.2などの最先端モデルは、ファイル検索能力においてオープンソースモデルを圧倒。
- •TOONのような独自データ形式は、モデルの習熟度不足により「grep税」と呼ばれる余計なトークン消費を招く。
AIリサーチャーのデイモン・マクミラン(Damon McMillan)氏による最新の研究は、AIが情報を効率的に処理できるように整理する手法である「コンテキスト・エンジニアリング」の複雑さに焦点を当てた。特に、大規模言語モデルが膨大なSQLデータベースをどのように扱うかを詳細に調査している。約1万件の実験を通じて、最大1万個のテーブルを持つ複雑なスキーマに対する各モデルの挙動を評価し、高度なエージェンティックAI（自律型AI）の操作を想定したSQLコード生成の精度をベンチマークとして測定した。
研究の結果、主要なフロンティアモデルとオープンウェイツのモデルとの間に、極めて顕著な性能差があることが浮き彫りになった。Claude 4.5やGPT-5.2、Gemini 2.5 Proといった最上位モデルは、ファイルシステムベースのコンテキスト理解や構造化データの処理において、他を寄せ付けない能力を示した。対照的に、Llama 4やDeepSeek V3.2といったオープンソースモデルは、巨大な外部ファイルを扱う複雑なエージェント・ループにおいて信頼性を維持できず、苦戦を強いられる結果となった。
この論文における最も興味深い洞察の一つが、独自のデータ形式を採用した際に発生する「grep税（grep tax）」の発見だ。トークン消費を抑えるために設計されたTOON形式だが、モデルがその構造に不慣れであったために、意図に反してコストが増大した。モデルは形式を理解しようとして、反復プロセスの中で逆に多くのトークンを浪費したのである。この事実は、現代のAIシステムにおいては、モデルが学習時に大量に触れているMarkdownやYAMLなどの標準的な形式を採用する方が、依然として効率的であることを示唆している。