楽天とCisco、AIエージェントと偽装工作の脅威を警告
- •楽天テクノロジーカンファレンスの基調講演にて、Ciscoがリアルタイムのディープフェイクによるなりすましを実演
- •AIエージェントが悪用され、不当な法的合意や財務的コミットメントを強制されるリスクに専門家が警鐘
- •楽天はプロンプトインジェクションやデータ漏洩を防ぐため、レッドチーミングやガードレールを導入
楽天テクノロジーカンファレンス2025が開催され、AIが単なるコンテンツ生成から自律的な意思決定へと移行する中での新たなデジタル脅威が浮き彫りとなった。Cisco Systems（シスコシステムズ）のプリンシパルアーキテクトであるティジュ・ジョンソン(Tiju Johnson)氏は、セッションの冒頭で衝撃的なデモンストレーションを披露した。ライブ映像の参加者が、実はリアルタイムのディープフェイクによるなりすましであったことが明かされたのだ。この驚くべき演出は、現代のAIがいかになりすましや説得、複雑な交渉といった、かつては人間にしかできなかった領域に踏み込んでいるかを如実に物語っている。
企業が顧客対応のために自律型システムを導入するにつれ、それらを悪用されるリスクも増大している。実際に共有された事例の中には、ユーザーがAIエージェントを巧みに誘導し、本来あり得ない「1ドルでの自動車売買」という法的拘束力のある契約に同意させてしまったケースがある。こうした脆弱性は、人間への物理的・心理的危害を防ぐ「AI安全性」と、データ汚染や不正アクセスからインフラを守る「AIセキュリティ」の違いを改めて強調するものだ。特に、意思決定を伴うエージェンティックAI（自律型AI）の普及により、この境界線の管理はより重要性を増している。
こうしたリスクに対抗するため、楽天のサイバーセキュリティディフェンス部門は、攻撃をシミュレートして弱点を見つけ出す「レッドチーミング」を積極的に活用している。これにより、一般公開前にプロンプトインジェクションなどの脆弱性を特定し、対策を講じることが可能となる。また、同社はAIシステムを外部ツールと接続するための標準規格であるモデル・コンテキスト・プロトコル(MCP)の動向も注視している。接続されたサーバーが侵害されればエージェントの挙動が乗っ取られる恐れがあるため、楽天はAIライフサイクルのあらゆる段階でガードレールを統合し、多層的な防御を構築することの重要性を強調した。