3行でいうと

  • プロンプトインジェクションは、AIが読む文章に紛れた指示で、AIの動きを変えてしまう攻撃です。
  • 英国のNCSCは、完全には防げないかもしれないと書いています。AI各社も、対策は危険を減らすもので、なくすものではないとしています。
  • AIが他人の書いた文章を読み、送る・消す・買うなどの操作もできるとき、特に注意が必要です。
  • 備えの基本は、任せる範囲を絞る、大事な操作は自分で確かめる、ログインや個人情報を渡しすぎない、の3つです。

この記事は、公式・一次資料(国の機関、国際的なセキュリティ団体、AI各社の公式文書)を読んでまとめたものです。この記事は、実際に使って確かめた記録ではありません。攻撃の具体的なやり方は書きません。書くのは仕組みと備えだけです。

先に結論

公式資料を読んで言えることは、次の4つです。

何が問題なのか

具体的な場面で考えます。

自分で書いた依頼なら、自分で気づけます。困るのは、AIが「他人が書いた文章」を読むときです。AIがメールの送信やファイルの共有、買い物のような「実際に動く力」を持っていると、読んだ文章に引きずられた結果が、現実の被害になります。

公式資料にある例を挙げます。OpenAIのヘルプ(ChatGPT agent)は、ウェブページに悪意のある指示が隠れていて、AIがメールからパスワード再設定のコードを取り出して、悪意のあるサイトに送ってしまう、という例を書いています。Anthropicのブラウザ利用の記事には、白い文字などで人には見えないように隠した指示が入ったメールが、「confidential」を含むメールを外部に転送させようとする例があります。GoogleのGeminiの説明には、メールや書類、予定表の招待に隠された指示が、データを盗もうとする、とあります。

たとえ話:手紙を読み上げる秘書

見立てです。AIを、あなたの代わりに手紙を読んで返事を出す秘書にたとえると、分かりやすいと思います。秘書はとても素直で、手紙に「この書類を、ここへ送ってください」と書いてあると、あなたの指示なのか、差出人の頼みごとなのかを、うまく区別できないことがあります。

NCSCの文書も近い言い方をしています。AIの中身は「これまでの文章に続く、もっともらしい次の言葉」を予測する仕組みで、「指示」と「データ(ただの資料)」のあいだに、もともと壁がない、と説明しています。

2種類ある:直接と間接

種類 何が起きるか 確認元
直接 AIの利用者自身が入力した文章が、AIの動きを意図しない方向に変える OWASP、IPA
間接 AIが読み込む外部の文章(ウェブ、メール、書類)の中の指示が、AIの動きを変える。AIを直接使っていない第三者が仕込める OWASP、IPA

IPA(情報処理推進機構)の「AI利用者のためのセキュリティ豆知識」は、間接プロンプトインジェクションを「AIシステムの利用者にも警戒が必要な攻撃類型」と説明しています。普通の利用者に関係が深いのは、間接のほうです。OWASPは、人間には見えない形の入力でもAIには影響しうる、とも書いています。

公式資料に書かれていること

NCSC(英国):「減らす」ことを目指す

NCSCのブログ(2025年12月8日公開)は、SQLインジェクション(古くからあるデータベースへの攻撃)は仕組みで根本的に防げるが、プロンプトインジェクションは同じようにはいかないかもしれない、と述べています。そのうえで、次の考え方を示しています。

  • AIは「混乱しやすい」ものだと最初から想定して設計する。
  • AIが動かせる道具の範囲を、AIとは別の(AIの判断に頼らない)仕組みで縛る。
  • 信頼できない相手の文章を読むときは、特別な権限のある道具に触れさせない。
  • 「危ない言葉を見つけたら止める」という禁止リスト方式だけに頼らない。言い換えが無限にあるからです。
  • 「防ぐ」と言い切る製品には警戒して、「減らす」仕組みを説明している製品を見る。

この文書の読み手として書かれているのは、セキュリティの専門家です。一般の利用者向けではないので、ここでは考え方だけを借りました。

OWASP:対策は7つ。確実に防ぐ方法は知られていない

OWASPの「LLM01:2025」のページは、対策として次の7つを挙げています(言い換えです)。AIの役割と範囲を決めておく、出力の形を決めて検査する、入出力をフィルターする、権限を最小限にする、危険度の高い操作には人間の承認を挟む、外部の文章を区別して扱う、攻撃を想定した試験を繰り返す。同時に、確実に防ぐ方法は今のところ知られていない、とも書いています。

AI各社:訓練、監視、確認画面、そして利用者への注意

会社 公式に書かれていること(言い換え) 確認元
OpenAI 外部の文章に紛れた指示を見分けて無視するよう、AIを訓練している。監視の仕組みで攻撃を検出する。ChatGPT agentでは、購入などの前に確認を求める、ログインしない状態で使うモードがある、と2025年11月の記事に書かれている(このagentは、ヘルプによれば現在は提供終了)。利用者には、渡す情報やログインを必要なものだけにする、確認が出たら中身を見る、「必要な操作は何でもやって」のような広い頼み方を避ける、と案内している OpenAI「Understanding prompt injections」(2025年11月7日)、OpenAI Help
Anthropic 模擬的な攻撃を使った訓練、読み込む文章の検査、人の手による試験を組み合わせている。同社の社内試験で、2025年11月時点の最新モデル(Claude Opus 4.5)の攻撃成功率は1%。それでも、「意味のあるリスク」が残り、「解決にはほど遠い」問題で、「どのブラウザ用エージェントも無縁ではない」と書いている Anthropic「Mitigating the risk of prompt injections in browser use」(2025年11月24日)
Google モデルの強化、悪意のある指示の検出、ユーザーへの確認、危険なリンクの伏せ字化など、何層もの防御を重ねる。たとえば予定の削除では、対象を示して明確に確認を求める Google「Mitigating prompt injection attacks with a layered defense strategy」(2025年6月13日)

Anthropicの1%は、同社の「適応型」の社内攻撃役が、1つの環境につき100回試したときの割合、という条件つきの数字です。同じ記事のグラフでは、同じ条件のOpus 4.5が1.4%と表示されていました(本文は「1%」と書いています)。2025年11月時点の特定のモデルの結果で、他社と比べるための数字ではありません。

OpenAIのヘルプ(ChatGPT agent)は、ログインしたサイトやつないだアプリを通じて、AIはメールやファイル、アカウント設定のような大事な情報に触れられる、と書いています。そして、必要なアプリだけを有効にして、重要なログインは避けるよう勧めています。また、安全のための仕組みは「すべての危険をなくすものではない」ので、AIの作業を見守って、怪しければ止めるよう案内しています。

IPA(日本):AIブラウザは社内用と社外用を分ける

IPAの豆知識(4月2日に公開。資料には「2025年12月版」の表示と「2026年3月」の日付がある)には、日本の利用者に向けて、具体的な助言が2つあります。

  • AIブラウザ(AIが組み込まれたウェブブラウザ)は、閲覧中のページや履歴をAIと共有します。ウェブページに悪意のある指示が含まれると、利用者の指示と取り違えて、情報漏えいや不正送金のような操作をしてしまうおそれがある。対策はまだ不完全なので、日常で使うAIブラウザでは、社内ポータルのような大事な情報にアクセスしないように、使い分ける。
  • AIが外部の情報を検索して取り込む仕組み(RAG)では、メールのような外部由来のデータも取り込まれる。社内の文書と不正なメールが同時に取り込まれると、社内の情報が外に出るおそれがある。検索の範囲を適切に限るなど、運用で選べる対策を検討する。

今日からできる対策(チェックリスト)

公式資料に書かれたことを土台にした、僕らの整理です。

見立てです。迷ったときに役立つのは、「もし、この文章を書いた他人が、AIに命令できるとしたら、何をされると困るか」を考えることだと思います。困る操作が思い浮かぶなら、そこは自分で確認する設定にしておく、という判断になります。

使う前の4つの質問も、僕らの整理です。

  1. AIは、他人が書いた文章(ウェブ、メール、書類)を読みますか。
  2. AIは、読んだあとに、送る、消す、買う、のような実際の操作をしますか。
  3. その操作の前に、自分に確認が出ますか。
  4. その間に、AIが触れられる情報の中に、失ったら困るものがありますか。

1と2が両方「はい」なら、この記事の対策が特に当てはまります。

気をつけること

出典

更新履歴