3行でいうと
- 汚染は、言い回しを変えた問題でも起きる。単純な文字列の照合では防ぎきれない
- 影響の大きさは、論文によって「ほとんどない」から「大きい」まで分かれる。モデルとテストによる
- 対策は、新しい問題で測る、答えを非公開にする、別の問題で測り直す、の3系統
この記事は、実際に使って確かめた記録ではありません。この記事は公式の文書や論文を読んでまとめたものです。
先に結論
- 汚染された点数は、「その問題を解く力」ではなく「その問題を見たことがあるか」を一部含みます。どこまで含むかは、モデルとテストごとに違い、外からは分かりにくいです。
- 影響が小さいと報告した研究もあります。GPT-4の技術報告は「ほとんど影響がない」としました。一方、OpenAIは2026年2月、コード修正のテストSWE-bench Verifiedについて、汚染が深刻だとして使うのをやめました。
- 点数を読むときは、「いつ作られた問題か」「答えが公開されているか」「別の新しい問題でも同じ傾向か」を確かめるのが基本です。
前提：汚染とは何か
- 学習データは、AIが事前に読み込む大量の文章です。ウェブから集めることが多く、公開されているテストの問題や答えも、その中に入りえます。
- ベンチマーク汚染（データ汚染）は、モデルが学習の過程でテストの情報を取り込んでしまい、評価が不正確になることです。2024年の調査論文の要約では、GPT-4、Claude 3、Geminiのような大きなモデルが出て、この問題が大きくなった、とされています。
- 悪意がなくても起きます。ウェブの文章を広く集めれば、テストの問題を解説した記事や、質問サイトの書き込みも混ざります。
- 汚染にはいくつかの形があります。問題文がそのまま混ざる場合、言い換えや翻訳された形で混ざる場合、AIが作った合成データに混ざる場合です。以下の研究が、それぞれの例を示しています。
汚染の例：研究で確かめられたこと
| 研究 | 何をしたか | 分かったこと（論文の記述） |
|---|---|---|
| GPT-3の論文（2020年） | 事前学習データとの13-gram（13語の連続）の重なりで、汚染の疑いのある例を見つけた | 汚染は多く起きうるが、影響は「恐れたほど大きくないかもしれない」。一方、ろ過に不具合があり、検出された重なりの一部しか除けなかった。再学習は費用の面でできなかった、と書かれている |
| GPT-4の技術報告 | 評価問題から50文字の断片を3つ選び、学習データと照合 | 重なった例を除いて再評価したところ、報告した結果への影響は「非常に小さい」とある。照合は、答えの選択肢を使わず、偽陰性（見逃し）も偽陽性（誤検出）も起こりうる、と書かれている |
| 言い換えの研究（2023年） | 問題を言い換えたり翻訳したりした版を学習に混ぜた | 13Bのモデルが、MMLU、GSM-8k、HumanEvalでGPT-4に並ぶ成績になりえる。単純な文字列の照合では防げない。HumanEvalの約8〜18%が、公開の学習データ（RedPajama-Data-1T、StarCoder-Data）と重なる。GPT-3.5/4が作った合成データにも汚染が見つかった |
| GSM1k（2024年） | 小学生向けの算数テストGSM8kと同じ難しさの新問題1,205問を、人手で作った | 最も悪いモデルで、GSM8kより最大8%低い点数。一部のモデル群で系統的な過学習が見られるが、最先端のモデルの多くでは過学習の兆候は小さい |
| MMLUの汚染の調査（2026年のプレプリント） | 6つのモデルと、MMLUの513問で、3種類の実験をした | 汚染率は全体で13.8%、STEMで18.1%。言い換えた問題では、点数が平均7.0ポイント下がった |
「プレプリント」は、査読（専門家の確認）を受ける前の論文です。最後の研究は小さな標本（科目ごとに9問など）で、著者自身が、検出は下限の見積りで、行動の兆候は記憶の証明ではない、と述べています。結果は参考として読んでください。
OpenAIによるSWE-bench Verifiedの打ち切り（2026年2月23日）
OpenAIは、コード修正のテストSWE-bench Verifiedの点数を報告するのをやめた、と発表しました。
- OpenAIの説明では、試した最先端モデルは、問題によっては、人が書いた修正案や、問題文の細部をそのまま再現できました。
- 最先端の点数が過去6か月で74.9%から80.9%に上がったのは、能力の向上だけでなく、学習時に問題を見ていた影響も混じっている、と述べています。
- また、問題を見たことのあるモデルは、問題文が足りないテストを通りやすかった、と報告しています。
- 代わりに、SWE-bench Proの公開セットで報告することを勧めています。ただし、OpenAIは、それも完全ではないと述べています。
同じ発表の中で、監査した138問のうち59.4%でテストの作りや問題文に問題があった、とも述べられています。これは汚染とは別の問題（テストの質）です。
見つける方法と、その限界
見立てです。公式資料に出てきた方法を、僕らが3つにまとめました。
- 文字列の重なりを調べる（GPT-3の13-gram、GPT-4の50文字の断片）：単純で手軽ですが、言い換えを見逃します。言い換えの研究が、この弱点を示しています。
- 別の新しい問題と比べる（GSM1k）：同じ難しさの新問題で点数が下がれば、過学習の疑いです。ただし、新問題は作るのに手間がかかります。
- モデルの振る舞いを調べる：出力の分布（答えの出し方の偏り）から汚染を見つける方法（CDD）が提案されています。論文によると、他の検出方法より、正解率・F1・AUCの平均で21.8〜30.2%の相対的な改善があり、汚染の影響を最大66.9%減らす補正（TED）も示されています。これは論文自身の評価用データでの結果です。
各手法の細かい条件
GPT-4の技術報告の照合方法：評価問題とその学習データから、空白と記号を除き、文字と数字だけにします。各問題から、ランダムに50文字の断片を3つ選び（50文字未満なら全体）、学習データの文章のどれかに現れたら「汚染」とみなします。照合には、問題文や文脈だけを使い、答えの選択肢は使いません。これにより、見逃しも誤検出も起こりえます。汚染と判定した問題を外して再評価した結果が、報告された点数への影響は非常に小さかった、と記されています。RLHF（人の評価で追加の調整をする段階）のデータは、事前学習のデータよりずっと小さく、特定の問題が入っている可能性は低いが、確認はしていない、とも書かれています。
GPT-3の論文：疑いのある例を除いた「きれいな」部分の点数が、全体の点数と近ければ、汚染の影響は大きくない、という解釈が示されています。きれいな部分が低ければ、汚染が点数を押し上げた可能性があります。論文は、LAMBADAではデータの一部が学習データに現れたが影響は小さいと見られ、WinogradとPIQAでも汚染が見つかり、PIQAには注記が付けられた、と書いています。
言い換えの研究のツール：LLM Decontaminatorは、言い換えられた重なりを、AIを使って見つける方法です。公開されています。著者は、公開の試験を使うなら、より強い除去を行い、新しい使い捨ての試験を作ることを勧めています。
MMLUの汚染の調査（2026年のプレプリント）：ウェブ検索による文字列の検出（513問）、言い換えと間接的な言い換えの問題（約100問）、行動を調べる探り（TS-Guessing、513問）の3つ。著者は、検出の基準は保守的で、検索の索引は学習データそのものではないため、汚染の見積りは下限と考えるべきだ、と述べています。論文の表の間に平均値の食い違いがある箇所があり、数字の扱いに注意が必要です。
対策：問題を新しくする、隠す、測り直す
| 方針 | 例 | 公式資料の記述 |
|---|---|---|
| 新しい問題で測る | LiveCodeBench | 問題に公開日を付け、モデルの学習データの期限より後の問題だけで測れる。LeetCode、AtCoder、CodeForcesの新しい競技から集める |
| 新しい問題で測る | LiveBench | 最近の数学の競技、arXivの論文、ニュースなどから、毎月問題を追加・更新。答えは、人でもAIでもなく、客観的な正解で自動採点。論文の要約では、上位のモデルも正答率は70%未満 |
| 一部を非公開にする | HLE（Humanity's Last Exam） | 問題は公開しつつ、非公開の保留セットで、過剰適応を確かめる |
| 一部を非公開にする | SWE-bench Pro | 1,865問のうち、保留セット（12リポジトリ）と商用セット（18リポジトリ）は公開せず、「汚染に強い試験台」とされる |
| 答えを工夫して公開する | CapBencher（論文の提案） | 各問題に、論理的に正しい答えを複数用意し、そのうち1つだけをランダムに載せる。完全な能力でも超えられない上限が生まれ、それを超えるモデルは、漏れや不正の強い兆候になる |
| 学習データに入れない目印 | BIG-benchのカナリア文字列 | 各課題のファイルに目印の文字列を入れ、ウェブから集めた学習データに漏れるのを防ぐ。編集しないこと、とされている |
論文（How Can I Publish My LLM Benchmark）の要約は、非公開にして提出させる方法は一般的だが、フィードバックを通じたテストへの過剰適応は残る、とも指摘しています。
点数を読むときの確認項目
見立てです。僕らの整理です。
- いつ作られた問題か：モデルの学習の期限より前に公開されたテストは、汚染の可能性が高くなります。
- 答えは公開されているか：公開されているほど、混ざる可能性が上がります。
- 別のテストでも同じ傾向か：1つのテストだけ飛び抜けている場合は、疑う余地があります。
- 発表側が、汚染の確認方法を書いているか：書いていなければ、確認できていないだけかもしれません。
- 自分の仕事の問題で試せるか：社内の資料や、公開されていない自分の課題は、そもそもモデルが見ていません。仕事で使うなら、少数でも自分の問題で測るのが確かです。
よくあるつまずき
見立てです。公式資料を読んで、読み違えやすいと思った点を挙げます。
- 汚染があるから、そのテストの点数は全部無意味だ、と決めつける。GPT-4の報告のように、影響が小さいと確かめた例もあります。「どの程度」が問題です。
- 単純な文字列の照合で「汚染なし」と言い切る。言い換えは見つかりません。
- 古い有名なテストの点数だけで、新しいモデルの優劣を決める。上位が似た点数に集まり、差が汚染やテストの欠陥に隠れることがあります。
- 新しい問題のテストは汚染されない、と考える。公開された時点から、次のモデルの学習に混ざりうるため、継続的な更新が必要です。
気をつけること
- この記事は、実際に使って確かめた記録ではありません。論文と公式の発表の記述をまとめたものです。
- 汚染の影響の大きさは、モデルとテストで違い、研究によって結論も違います。この記事の表は、それぞれの研究の範囲の話です。
- 2026年のMMLU汚染の調査はプレプリントで、標本が小さく、著者自身が限界を述べています。結論を一般化しないでください。
- GPT-3の論文は、本文の一部しか読めていません（付録の詳しい数字は確認できていません）。
- OpenAIの発表には、他社のモデルの汚染を示す例が含まれていますが、その具体例は確認していません。優劣の判断には使えません。
- 対策の効果（CDD、TED、CapBencherなど）は、各論文の提案段階の結果です。実際の運用での効果は確認できていません。
- 各社のモデルカードにある汚染対策の記述は、今回は読んでいません。
出典
- ベンチマークデータ汚染の調査論文（arXiv 2406.04244、2026年10月8日確認）
- Language Models are Few-Shot Learners（arXiv、2026年10月8日確認）
- GPT-4 Technical Report（arXiv、OpenAI、2026年10月8日確認）
- Rethinking Benchmark and Contamination for Language Models with Rephrased Samples（arXiv、2026年10月8日確認）
- A Careful Examination of Large Language Model Performance on Grade School Arithmetic（arXiv、2026年10月8日確認）
- Are Large Language Models Truly Smarter Than Humans? Benchmark Contamination, Surface-Pattern Reliance, and Behavioral Memorization Across Six Frontier Models（arXiv、2026年10月8日確認）
- Generalization or Memorization: Data Contamination and Trustworthy Evaluation for Large Language Models（arXiv、2026年10月8日確認）
- How Can I Publish My LLM Benchmark（arXiv、2026年10月8日確認）
- LiveBench: A Challenging, Contamination-Limited LLM Benchmark（arXiv、2026年10月8日確認）
- LiveCodeBench（公式サイト、2026年10月8日確認）
- Why SWE-bench Verified no longer measures frontier coding capabilities（OpenAI、2026年2月23日、2026年10月8日確認）
- SWE-Bench Pro（arXiv、2026年10月8日確認）
- Humanity's Last Exam（公式サイト、2026年10月8日確認）
- google/BIG-bench（GitHub、2026年10月8日確認）
更新履歴
- 2026年10月25日 書き方を直しました。
- 前：運営者が使っていないと読める書き方 → いま：「この記事は、実際に使って確かめた記録ではありません」。公式の資料を読んでまとめた記事で、使い心地は書いていない、という意味に直した