3行でいうと

  • 3社の公式ページは、学習の材料を、公開されているWebの内容、提携先などから得たデータ、人（ユーザー、作業者、研究者）が提供・作成したデータ、AIが作った合成データ、といった組み合わせとして説明しています。
  • 材料は「全部そのまま」ではありません。重複を除く、有害な内容や質の低いものを取り除く、サイトの持ち主が出した「来ないで」の指定（robots.txt）に従う、などの処理が書かれています。
  • 一方、読んだページには、どのサイトや本を何件使ったかという個別の一覧は載っていません。「何を読んだのか」の答えは、種類の説明までです。

この記事は、公式の文書を読んでまとめたもので、実際に使って確かめた記録ではありません。ページの文章は要約を通して読んだため、原文のそのままの引用はせず、言い換えています。たとえ話と、「見立てです。」で始まる段落は僕らの考えで、公式の説明とは分けて書きました。

先に結論

公式ページを読んで言えることは、次の4つです。

  1. 材料は、1種類ではありません。 OpenAIは、公開されているインターネットの内容、提携先から得る情報、ユーザー・人間の訓練者・研究者が提供または作成する情報の3つを挙げています。Anthropicは、公開Web、第三者のデータ、ユーザーのデータ、社内で作ったデータ。Googleは、Webの文書、コード、画像、音声、動画などの混合です。
  2. 処理を経たものを使うと書かれています。 重複の除去、安全面と質の面のフィルタなどです。
  3. サイトの持ち主が「学習に使わないで」と伝える手段があります。 3社のうちOpenAIとAnthropicは、robots.txtに従う専用のクローラー（Webを巡回して内容を集めるプログラム）を公開しています。Googleのモデルカードも、robots.txtを守ると書いています。
  4. 個別の中身（どのサイトを何件）は、読んだページにはありません。 種類の説明と、何が「入らない」かの説明がある、という程度です。

たとえ話：修業中の料理人

僕らのたとえです。公式の文書にあるものではありません。

学習を、料理人の修業にたとえます。

このたとえは、「材料」と「学び終わったモデル」は別、と覚えるためのものです。

公式ページが書いている「材料」

3社を並べて、読んだ範囲で整理します。

見るところ OpenAI Anthropic Google（Gemini 3 Proのモデルカード）
公開されたWeb 公開のWebページ、掲示板、ブログ、投稿など。有料の壁の向こうや、ダークウェブからは意図して集めない、と書かれている ClaudeBotが、誰でも見られるWebページを集める。パスワードで守られたページは対象外 Webの文書が、事前学習の材料の一つ。クローラーで集めたデータにも触れている
第三者・提携先 提携先との契約で得るデータセット 購入したデータセット、契約で得たデータ、紙の本などの文章、企業の非公開のデータセット 商用の契約で得たライセンスデータ、公開データセット
人が作るもの 人間の訓練者や研究者が提供・作成するデータ 人による評価やフィードバック、選ばれた例（学習の後の段階） 指示への答え方を教えるデータ、人の好みを示すデータ、社員のデータ
ユーザーのデータ ChatGPTでの会話が、モデルの改善に使われうる（オプトアウト方法は別ページ） 安全確認で見つかったもの、フィードバック、利用者が許可したもの Googleの製品やモデルとのやりとりのデータが、Googleの規約やプライバシー設定のもとで入りうる
合成データ 「増えている」と説明。データが少ない分野を補うなど 社内で作ったデータ（モデル訓練の通知ページは「合成データ」とは書いていない。Transparency Hubは、他のAIが作った合成データに触れている） AIが作った合成データも含む
取り除くもの ヘイトスピーチ、成人向け内容、個人情報をまとめたサイト、スパム 重複の除去など。有害・規約違反の内容を見つける社内ツール 重複の除去、安全フィルタ、質のフィルタ。性的・暴力的な内容、児童性的虐待に関する内容など

表の「人が作るもの」には、学習の後半（事後学習：人の評価やお手本で、答え方を整える段階）で使うデータも含まれます。

誤解されやすい点

「AIはインターネット全部を読んでいる」 公式ページは、そうは書いていません。OpenAIは、有料の壁の向こうやダークウェブからは意図して集めない、と書いています。Anthropicは、パスワードで守られたページは集めないとし、robots.txtの指定に従うと書いています。Googleもrobots.txtを守る、と書いています。何がどのくらい入ったかの割合は、読んだページにありません。

「AIの答えは、学習した文章の写し」 OpenAIは、写して貼り付けているのではない、と説明しています。ただ、これはOpenAIの説明で、他社のAIにも同じ説明が当てはまるのかは、読んだ資料からは分かりません。

「質問すると、そのたびにWebを読みに行っている」 学習は、答える前に済んでいるものです。答えるときにWebを調べる機能は別のものです。「知識の期限」や「ChatGPTの検索」を扱う別の記事で説明しています。Anthropicの公式ページも、学習用のクローラー（ClaudeBot）と、利用者の質問に答えるためにWebへ行く仕組み（Claude-User、Claude-SearchBot）を分けて説明しています。

「自分の入力は必ず学習に使われる」 サービスと設定で違います。たとえばAnthropicの消費者向けプランの公式ページ（2026年3月16日の日付が表示されていました）は、使われるのは、設定で許可した場合、安全確認の対象になった場合、自分から参加を申し込んだ場合など、と書いています。シークレットチャットは対象外とも書かれています。ChatGPTやGeminiの設定の場所は、同じ連載の別の記事で扱っています。

公式ページに出てくる「来ないで」の指定

サイトの持ち主が、AIの学習用に内容を集められたくないとき、robots.txtという決まったファイルで伝えます。読んだ公式ページの範囲では、次のとおりです。

  • OpenAI。 学習に使われうる内容を集めるのは「GPTBot」で、これを禁止すれば、そのサイトの内容は学習に使わない、という意味になると書かれています。ChatGPTの検索結果に出すための「OAI-SearchBot」は別の設定で、学習用ではないと書かれています。さらに、利用者が頼んだときにページを見に行く「ChatGPT-User」もあり、自動で巡回するものではないため、robots.txtが当てはまらないことがある、と書かれています。
  • Anthropic。 学習用は「ClaudeBot」。ほかに、利用者の質問のときの「Claude-User」と、検索の答えを良くするための「Claude-SearchBot」があります。ClaudeBotはrobots.txtの指定に従い、CAPTCHA（人間かどうかを確かめる仕掛け）を回避しようとしない、と書かれています。IPアドレスで止める方法は確実に効かないことがあり、robots.txtがおすすめ、とも書かれています。
  • Google。 Googleのクローラーの一般的な説明ページで、Gemini用の指定（Google-Extendedなど）を探しましたが、読んだページには出てきませんでした。ここは確認できていません。

この指定は「これから先に集める分」についてのお願いで、すでに学習に使われた分を取り戻す方法については、読んだページに書かれていません。

今日からできること、やってはいけないこと

どれも、上の公式ページを土台にした、僕らの整理です。

今日からできること

やってはいけないこと

気をつけること

出典

更新履歴