Ars Technicaの編集者であるBenj Edwards（ベンジ・エドワーズ）氏は、2ヶ月間にわたる集中的な実験結果を公開した。彼はClaude CodeやOpenAIのツールを駆使し、50以上のソフトウェアプロジェクトを開発したという。彼の経験は、ある重要な逆説を浮き彫りにしている。AIコーディングツールは開発のハードルを劇的に下げる一方で、人間の代わりになるのではなく、むしろ操作する人間の負担を増大させる側面があるのだ。ホビーユーザーにとってもプロにとっても、これらのツールは「パイロット」としての人間が全体像を維持して初めて機能する増幅器に過ぎない。 実験の結果、現在の大規模言語モデル (LLM) は依然として学習データに縛られていることが判明した。JavaScriptのような現代の言語には極めて強いが、レトロコンピューティングのアセンブリのようなニッチな領域では驚くほど脆弱だ。この限界は、真の汎用的推論ではなく統計的な関連性に依存するトランスフォーマーというアーキテクチャに起因する。ユーザーが真に独創的なものを求めると、モデルは学習データ内の一般的なパターンに回帰してしまうため、セマンティックな罠を回避するための高度なプロンプト戦略が求められる。 さらにエドワーズ氏は「90パーセント問題」を指摘した。AIエージェントは華やかなプロトタイプを素早く構築するが、実用レベルのソフトウェアに必要な細部の仕上げに苦戦するというものだ。モデルには永続的な学習メカニズムがなく、コンテキストウィンドウという一時的な記憶に頼っているため、セッション内で複雑なデバッグの教訓を「忘れて」しまうことも多い。 汎用人工知能 (AGI) の実現はまだ先の話だ。現在は、人間が設計の範囲を管理し、機能が際限なく膨らむリスクを抑える「ヒューマン・イン・ザ・ループ」の時代であると結論づけられる。

Ars Technicaの編集者であるBenj Edwards（ベンジ・エドワーズ）氏は、2ヶ月間にわたる集中的な実験結果を公開した。彼はClaude CodeやOpenAIのツールを駆使し、50以上のソフトウェアプロジェクトを開発したという。彼の経験は、ある重要な逆説を浮き彫りにしている。AIコーディングツールは開発のハードルを劇的に下げる一方で、人間の代わりになるのではなく、むしろ操作する人間の負担を増大させる側面があるのだ。ホビーユーザーにとってもプロにとっても、これらのツールは「パイロット」としての人間が全体像を維持して初めて機能する増幅器に過ぎない。 実験の結果、現在の大規模言語モデル (LLM) は依然として学習データに縛られていることが判明した。JavaScriptのような現代の言語には極めて強いが、レトロコンピューティングのアセンブリのようなニッチな領域では驚くほど脆弱だ。この限界は、真の汎用的推論ではなく統計的な関連性に依存するトランスフォーマーというアーキテクチャに起因する。ユーザーが真に独創的なものを求めると、モデルは学習データ内の一般的なパターンに回帰してしまうため、セマンティックな罠を回避するための高度なプロンプト戦略が求められる。 さらにエドワーズ氏は「90パーセント問題」を指摘した。AIエージェントは華やかなプロトタイプを素早く構築するが、実用レベルのソフトウェアに必要な細部の仕上げに苦戦するというものだ。モデルには永続的な学習メカニズムがなく、コンテキストウィンドウという一時的な記憶に頼っているため、セッション内で複雑なデバッグの教訓を「忘れて」しまうことも多い。 汎用人工知能 (AGI) の実現はまだ先の話だ。現在は、人間が設計の範囲を管理し、機能が際限なく膨らむリスクを抑える「ヒューマン・イン・ザ・ループ」の時代であると結論づけられる。