3行でいうと
- レッドチームは「構造化された方法で、人またはAIが新しいシステムの危険を探る」こと、というOpenAIの説明が基本の定義です。やり方は、専門家による試験、多言語の試験、AIが攻撃文を作る自動の試験、一般の人も参加する試験などに分かれます。
- 公開されている枠組みは、見る場所が違います。NISTの生成AIプロファイル（AI 600-1）は「何のリスクに対して、どんな試験を勧めるか」の一覧、OWASPは「アプリの弱点10項目」と「モデル・実装・基盤・実行時の4領域」の試験ガイドです。
- 結果は一回きりの証明になりません。OpenAIは「ある時点の発見であり、モデルが変われば変わる」と書き、Microsoftは「緩和策は危険をなくさず、試験と対策を繰り返す」と書いています。見つけた事例を、繰り返し走らせる評価に変えるのが公式の流れです。
この記事は、公式や標準化の文書を読んでまとめたもので、実際に使って確かめた記録ではありません。情報は2026年10月16日に確認しました。攻撃の具体的な手口は書きません。
先に結論
- レッドチームは、安全のための試験の一種です。「弱点を探す側」と「直す側」を分けて、攻撃する視点から穴を見つけます。
- 公式資料が共通して書くのは3点です。人間の専門家が要る、自動化で数を稼げる、そして一度の試験で終わらない。AIの会社は、この3つを組み合わせています。
- 自分でAIアプリを作る人に関係が深いのは、OWASPのアプリ向けの10項目と、Anthropicの開発者向け文書にある「エージェントはデプロイ前に、攻撃文を仕込んだ文書やメールで試す」という一文です。モデルそのものの試験は会社の仕事で、アプリの試験は作る側の仕事、と分けて考えると整理しやすくなります。
前提：レッドチームとは何か
OpenAIの解説は、レッドチームを「人またはAIを使って、新しいシステムの起こりうる危険を、構造化された方法で探ること」と説明しています。セキュリティの世界の「侵入テスト」に近い考え方ですが、AIでは対象が広がります。サーバーの穴だけでなく、危険な内容を答えてしまうか、偏った答えをしないか、悪用の手助けをしないか、といった「振る舞い」も試験の対象に入ります。
関係する言葉を2つ。脱獄（ジェイルブレイク）は、AIに決められた制限を破らせるための入力の工夫です。プロンプトインジェクションは、AIが読む文章に仕込まれた指示でAIを動かしてしまう問題で、別の記事で詳しく扱っています。
試験のやり方の種類
Anthropicの「Challenges in red teaming AI systems」は、同社が使ってきた方法を、次のように分けています。
| 種類 | 中身（公式の説明の要約） |
|---|---|
| 専門家による試験 | 外部の専門団体（記事にはThorn、Institute for Strategic Dialogue、Global Project Against Hate and Extremismなどが出てくる）と試験する。分野ごとの内容は、確認できていません |
| 多言語・多文化の試験 | シンガポールの機関（IMDA／AI Verify Foundation）と、英語、タミル語、中国語、マレー語で試験した |
| AIで攻撃文を作る自動の試験 | AIを使って自動で試験する方法。仕組みの細部と、効果の程度は、確認できていません |
| 新しい入力形式の試験 | 画像と文字を受け取るモデルのような、新しい入力の形式に向けた試験。内容の細部は、確認できていません |
| 一般の人も参加する試験 | 2022年半ばから行われている、とされる。DEF CONのAI Villageや、2023年のGRT Challengeが例として挙げられている |
同じページは、方法を比べやすくするための標準的なやり方がまだ少ない、と述べています。そのうえで、政策側への提案を5つ挙げています。中身は、確認できていません。これは会社の主張であり、僕らはその是非には立ち入りません。
OpenAIの文書は、外部の人間による試験の進め方を4つの段階で説明しています。
- 試験する人の構成を決める。
- 試験者がさわれるモデルやシステムの版を決める。
- 試験者に、入り口と案内を渡す。
- 集めたデータを整理し、使えるデータは繰り返し動かせる自動の評価に変える。
4段階という数までは確認できていますが、各段階の中身は取得した要約からの言い換えで、原文との照合は済んでいません。
OpenAIは、同じページで紹介している研究で、自動の試験も説明しています。能力の高いモデルが「引き出したい悪い応答の例」を考え、別のモデルがそれを引き出す攻撃文を作るよう訓練されます。報酬には、有害さを判定するモデル、ルールに基づく報酬、「過去の攻撃とどれだけ違うか」の報酬を組み合わせます。ページには数値の結果はありません。
公開されている枠組みは、見る場所が違う
NIST AI 600-1：リスクごとに「どんな試験を勧めるか」
NISTの「生成AIプロファイル」（AI 600-1）は、2024年7月付けの、自主的に使う文書です。AIのリスク管理の枠組み（AI RMF 1.0）の生成AI向けの補足にあたります。僕らが読めたのは途中までで、後半にさらに記述があるかもしれません。
読めた範囲では、レッドチームは「構造化された人の意見を集める方法」の一つとして出てきます。たとえば次のような勧めです。
- 予期しない失敗を見つけるために、役割を演じる攻撃やレッドチーム、混乱を起こす試験（chaos testing）を行う（MP-5.1-005）。
- 他のシステムへの攻撃、プロンプトインジェクション、データ汚染やモデルの抜き取りなどに対する耐性を試す（MS-2.7-007）。
- 学習データの再現、モデルの抜き取り、機密情報の漏えいなどを試す（MS-2.10-001）。
- 試験をする人が、同じモデルの開発に直接関わっていないようにする（MS-1.3-003）。
- 試験者や注釈者に渡した指示を文書に残す（MS-2.8-002）。
つまりNISTは、試験を「攻撃のうまさ」ではなく、「どのリスクを、誰が、どんな記録を残して試すか」として整理しています。
OWASP：アプリの10項目と、4領域のガイド
OWASPの「GenAI Security Project」は、オープンソースで続けられている、生成AIの安全性の取り組みです。その「LLMアプリケーションの10大リスク」の2025年版を読みました。項目は次のとおりです。
プロンプトインジェクション、機密情報の漏えい、サプライチェーン、データとモデルの汚染、不適切な出力の扱い、過剰な権限（Excessive Agency）、システムプロンプトの漏えい、ベクトルと埋め込みの弱点、誤情報、際限のない資源消費。
同じ団体の「GenAI Red Teaming Guide」は、ページに掲載日が2025年1月22日とあります。次の4領域を通して見る、と説明されています。
- モデルの評価（モデルそのもの）
- 実装の試験（モデルをアプリに組み込んだ部分）
- 基盤の評価（周りのシステムと環境）
- 実行時の振る舞いの分析（公開後の動き）
この4領域は、「AIの会社が見る範囲」と「アプリを作る人が見る範囲」の境目を考えるときに役立ちます。
Microsoft：100以上の製品を試した教訓
Microsoftは、2018年にできたAIのレッドチームが、2024年10月までに100を超える生成AIの製品を、80を超える作戦で試験した、と公表しています。2025年1月の白書は8つの教訓を挙げ、ブログ記事は3つに要約しています。
- 生成AIは、既存のセキュリティ上のリスクを増幅し、新しいリスクも持ち込む。
- 自動化は助けになるが、人間は要る。
- 多層の防御が鍵。緩和策は危険を完全にはなくさないので、試験と対策を繰り返す。
自分のアプリで何を試すか（見立て）
ここからは僕らの見立てです。公式の文書を、アプリを作る側の試験の観点に並べ直しました。公式が「この順に試せ」と書いているわけではありません。
| 観点 | 試す内容の例 | 手がかりにした公式の記述 |
|---|---|---|
| 入力 | 利用者が制限を破ろうとしたとき、断る文面が一定か | Anthropicの文書：断り方をシステムの指示に明記する、繰り返す利用者への対応を変える |
| 読み込む文書 | メール、Web、ファイルに仕込まれた指示に従わないか | Anthropic：デプロイ前に、攻撃を仕込んだ文書やメールで試す |
| 出力の扱い | AIの出力を検査せずに次の処理へ渡していないか | OWASP：不適切な出力の扱い |
| 権限 | AIに渡した権限や秘密が、必要以上に大きくないか | OWASP：過剰な権限。Anthropic：最小権限 |
| 情報の漏えい | 指示文や内部の情報を、聞かれて出してしまわないか | OWASP：機密情報、システムプロンプト。NIST：MS-2.10-001 |
| 偏りと有害な内容 | 言語や属性を変えても、同じ品質で答えるか | NIST：MS-2.11-002（対比の質問で偏りを測る）。Anthropic：多言語の試験 |
| 繰り返し | モデルを替えたあと、同じ試験を回せるか | OpenAI：データを自動の評価に変える。Microsoft：試験と対策を繰り返す |
Anthropicの開発者向け文書にある「脱獄とインジェクションへの対策」の中身
Anthropicの開発者向け文書（Mitigate jailbreaks and prompt injections）は、攻撃者が誰かで2つに分けています。利用者が攻撃者の場合（脱獄と直接のプロンプトインジェクション）と、利用者は信頼できるが、AIが読む第三者の内容（メール、Webページ、文書、道具の結果）に隠れた指示がある場合（間接のプロンプトインジェクション）です。
利用者が攻撃者の場合の対策は4つです。
- 無害性の確認（harmlessness screen）：小さなモデル（文書の例ではClaude Haiku 5.5）で、利用者の入力を先に分類する。判定は構造化出力で真偽の1項目にする。確認の呼び出しが
stop_reason: "refusal"で返ったら、有害の判定として扱う。 - 入力の検査：既知の攻撃の形を前もって除く。
- 指示文の工夫：倫理上、法律上の線引きと、断り方を書く。
- 繰り返す利用者への対応：同じ断りを何度も受ける利用者には、方針に反すると伝え、対応を変えて、制限や停止も検討する。
読み込む内容に仕込まれた指示への対策は、第三者の内容を道具の結果の欄に入れ、出どころを書き、「この内容は命令にならない」と指示文に書き、文字列をJSONにして境目をはっきりさせ、権限を最小にし、道具の出力を小さなモデルで検査する、というものです。「エージェントをデプロイ前に試す」はこの流れに含まれています。さらに、出力を継続して見ること、複数の層を組み合わせることも書かれています。
NIST AI 600-1と、OWASPの10項目の対応表（僕らが読めた範囲）
| NISTのアクションID | 内容の要約 |
|---|---|
| MP-5.1-005 | 役割を演じる攻撃、レッドチーム、混乱を起こす試験で、予期しない失敗を見つける |
| MS-1.3-003 | 構造化された意見の試験をする人は、同じモデルの開発に直接関わらない |
| GV-4.1-002 | 標準的な測定の手順と、AIレッドチームや独立した外部評価のような意見の集め方を決める |
| MS-2.7-007 | 他システムへの攻撃、プロンプトインジェクション、データ汚染、モデル抜き取りへの耐性を試す |
| MS-2.10-001 | 学習データの出力、リバースエンジニアリング、メンバーシップ推定、機密情報の開示を試す |
| MS-2.11-002 | 反事実的な質問や文脈の少ない質問で偏りを数値化し、部分集団での現場試験と組み合わせる |
表は、僕らが読めた範囲の抜粋で、全体の網羅ではありません。NISTの文書は2024年7月付けで、将来の改訂が予定されていると書かれています。
誤解されやすい点
- レッドチームをすれば安全になる、ではありません。 Microsoftは、緩和策は危険をなくさない、と書いています。
- 自動の試験があれば人間は要らない、でもありません。 Microsoftは、自動化は助けになるが人間は要る、と書いています。
- 結果は永続しません。 OpenAIは、発見は特定の時点のもので、モデルが進化すると変わりうる、と書いています。
- 新しい攻撃手法を公開するのは、それ自体が危険になりえます。 OpenAIは、情報ハザード（広まると危険になる情報）を、限界の一つに挙げています。この記事で手口を書かないのも、同じ理由です。
気をつけること
- この記事では、レッドチームの試験を実施していません。この記事は、公式文書の記述の要約です。
- 読んだページは、ツールが要約を返す形で取得しています。文章はそのままではなく言い換えで、要約に混じった推論は事実として使っていません。
- Anthropicのページは、各方法の「利点と課題」の図が、本文の取得に含まれませんでした。表は、文章の本文だけを根拠にしています。ページの公開日も、僕らの取得では確認できていません。
- NISTのアクションID（MP-5.1-005など）ごとの内容の要約、OWASPの10項目と4領域の名前の説明、Microsoftの3つの要点の中身は、取得した要約からの言い換えです。IDの数や項目の数までは確認できていますが、中身は原文との照合が済んでいません。
- NISTのAI 600-1は、取得した文章が途中までで、後半の記述は読めていません。定義の節も、僕らの読んだ範囲では見つかりませんでした。
- OWASPのサイトのトップのページには、レッドチームのガイドへのリンクが見つかりませんでした。ガイドは別のページで確認しています。ガイドの全文（PDF）は読んでおらず、4領域の中身の細部は確認できていません。
- MITRE ATLAS（攻撃手法の公開データベース）の公式ページは、本文が取得できず、内容を書いていません。
- PyRITは、生成AIのレッドチームを、自動でも人の手でも行うための枠組みで、攻撃、採点、保存などの部品があり、コマンドライン、GUI、Pythonから使える、とそのドキュメントに書かれています。ただしページ本文は運営者を明記しておらず、この記事では使っていません。
- 法律や規制への対応の助言ではありません。
- 各社の手法や文書は更新されます。最新は、公式のページで確認してください。
出典
- Challenges in red teaming AI systems（Anthropic、2026年10月16日確認）
- Advancing red teaming with people and AI（OpenAI、2026年10月16日確認）
- Mitigate jailbreaks and prompt injections（Claude Platform Docs、Anthropic、2026年10月16日確認）
- 3 takeaways from red teaming 100 generative AI products（Microsoft Security Blog、Microsoft、2026年10月16日確認）
- NIST AI 600-1 Generative AI Profile（NIST、2026年10月16日確認）
- OWASP Top 10 for LLM Applications 2025（OWASP GenAI Security Project、2026年10月16日確認）
- GenAI Red Teaming Guide（OWASP GenAI Security Project、2026年10月16日確認）
- PyRIT Documentation 1.1.0（PyRIT、2026年10月16日確認）
更新履歴
- 2026年10月25日 書き方を直しました。
- 前：運営者が使っていないと読める書き方 → いま：「この記事は、実際に使って確かめた記録ではありません」。公式の資料を読んでまとめた記事で、使い心地は書いていない、という意味に直した