Snowflake社は、Cortex AIエージェントにおける深刻なセキュリティ脆弱性を修正した。これはプロンプトインジェクション攻撃によって安全フィルターを回避し、マルウェアを実行される恐れがあるとの報告に対応したものだ。侵害はエージェントがGitHubリポジトリの要約を指示された際に発生しており、READMEファイル内に隠された命令がシステムを欺き、悪意のあるシェルコマンドを実行させたのである。

このエクスプロイトは、人間の監視なしに実行が許可されている「コマンドの許可リスト」を巧みに突いたものだった。具体的には、ファイル内容を表示するcatコマンドがリストに含まれていることを悪用し、プロセス置換と呼ばれる手法が用いられた。この高度なシェルの構文は、あるコマンドの出力を仮想的なファイルとして扱うことを可能にするため、AIが無害だと誤認した一連の処理の中に、不正なスクリプトを紛れ込ませることに成功したのだ。

このインシデントは、パターンマッチングや制限付きリストのみに頼るAIエージェント保護策の脆弱さを露呈させた。ソフトウェア開発者でありDjangoの共同創設者でもあるサイモン・ウィリソン(Simon Willison)氏ら専門家は、エージェントを決定論的サンドボックス内で運用すべきだと提言している。エージェントの実行環境を基幹システムから完全に隔離することで、仮にプロンプト注入が発生したとしても、システム全体への波及的なダメージを防ぐことが可能になるからだ。

Snowflake（スノーフレーク）という会社は、自分たちのAI（Cortex AI）に見つかった重大な弱点を直しました。この弱点は、AIをだます特別な命令（プロンプトインジェクション）によって、セキュリティをすり抜けて悪いプログラム（マルウェア）を動かされてしまうというものでした。この問題は、AIがプログラムの保管場所（GitHub）にある説明書（READMEファイル）をまとめようとしたときに起きました。説明書の中に隠されていた悪い指示がAIをだまし、コンピュータを操作する命令（シェルコマンド）を勝手に実行させてしまったのです。

この攻撃は、AIが使ってもいい「安全な命令のリスト（許可リスト：アローリスト）」の隙を突いたものでした。例えば、ファイルの中身を表示するだけの命令（catコマンド）は「安全」としてリストに入っていました。しかし、攻撃者はこの命令の書き方を工夫して、別の命令をファイルの中身のように見せかけて実行させる高度なテクニック（プロセス置換）を使いました。AIはそれが悪いものだとは気づかず、安全な作業だと思い込んで実行してしまったのです。

今回の事件は、特定の言葉や命令を禁止するだけの守り方（パターンマッチングや制限リスト）には限界があることを示しています。セキュリティの専門家たちは、AIを他のシステムから切り離された「安全な隔離された部屋（決定論的サンドボックス）」の中で動かすべきだと考えています。もしAIがだまされて悪いことをしようとしても、その部屋の中から出られないようにしておけば、大切なコンピュータやデータが壊されるのを防ぐことができるからです。