ベンチマークの名前は「何を測るか」で読む：SWE-bench・GPQA・MMLU-Pro・LiveCodeBench・HLEを、公式資料で確かめる

3行でいうと

5つのテストは、測る対象が別物。コード修正、理系の難問、広い知識、新しい競技問題、専門家の難問
SWE-bench Verifiedは500問。OpenAIは2026年2月、監査した138問の59.4%に問題があるとして、使うのをやめた
同じ名前でも版や出題範囲が違う。「何の版で、どの条件か」が書かれていない数字は比べない

この記事は、実際に使って確かめた記録ではありません。この記事は公式の文書や論文を読んでまとめたものです。

先に結論

ベンチマークの名前は、点数ではなく「何を測る試験か」で覚えるほうが役に立ちます。
5つを一言にすると次のとおりです。SWE-benchは実際のソフトウェアの不具合を直せるか。GPQAは専門家でも難しい理系の4択。MMLU-Proは広い知識と推論を10択で。LiveCodeBenchは新しく出た競技プログラミングの問題。Humanity's Last Exam（HLE）は専門家が作った、検索で見つかりにくい難問です。
どれも「その試験の点」でしかありません。仕事での使いやすさは、別に確かめる必要があります。

前提：ベンチマークとは

ベンチマークは、AIに同じ問題を解かせて、正答率などの点数を出す試験です。点数は、問題の作り方、採点のしかた、AIに渡す道具（ツールやヒント）の有無で変わります。

また、試験問題が学習データに混ざってしまうことをデータ汚染（AIがすでに答えを見ている状態）と呼びます。これについては、別の記事「ベンチマーク汚染」で詳しく扱います。この記事でも、汚染への対策が各テストでどうなっているかだけ触れます。

5つのテストの比較

テスト	測るもの	規模と形式	作り方	汚染への備え
SWE-bench	実在のGitHubの不具合報告を読み、コードを直して解決できるか	元の版は2,294問、Python製の人気リポジトリ12個	実際の不具合報告と、その修正の提案（プルリクエスト）から作成	公開された問題。後述のとおり汚染が問題視された
GPQA	生物・物理・化学の専門的な4択	本体は448問。難問だけのDiamondは198問	各分野の専門家が作成し、別の専門家と、検索できる非専門家が検証	データは配布時に「ネットに平文で載せない」ことを求める
MMLU-Pro	広い分野の知識と推論	12,032問、14分野、10択	元のMMLUと、他の問題集から選び、選択肢を増やして専門家が確認	特別な仕組みは、読んだ資料では確認できていません
LiveCodeBench	コード生成に加え、自己修正、コードの実行結果の予測など	論文の要約では、2023年5月〜2024年5月の400問	LeetCode、AtCoder、CodeForcesの競技から継続的に収集	問題に公開日が付いており、モデルの学習日より後の問題だけで測れる
Humanity's Last Exam（HLE）	専門家が作った、検索で簡単には見つからない難問	2,500問、100を超える分野。選択式と短い記述式。画像つきの問題もある	世界中の専門家が作成	問題は公開し、非公開の別セットで過剰適応（そのテストだけに強くなること）を確かめる

1つずつ読む

SWE-bench：コードを直せるか

元の論文（2023年）によると、実際の不具合報告と修正から2,294問を作り、AIにコードベース（ソースコード一式）と不具合の説明を渡して、直させます。複数の関数やファイルにまたがる修正が必要な問題が多い、と書かれています。
公式サイトの「% Resolved」は「解けた問題の割合」です。採点は、直したコードがテストを通るかで行われます。
公式サイトは版を分けて載せています。Verified（人が選別した500問）、Lite（300問）、Multilingual（42リポジトリ、9言語、300問）、Multimodal（画像などを含む480問）です。
公式サイトの既定の表示は、すべてのモデルを同じ簡易なエージェントの環境で動かした結果（「Bash Only」）です。AIに何の道具を渡すかで点数が大きく変わるため、条件がそろっているかが重要です。
SWE-bench Verifiedは、OpenAIが2024年に作りました。元の問題には、テストが厳しすぎたり、問題文が足りなかったりして、正しい修正を落とすものがあったためです。93人の開発者が1,699問を見て、500問を残しました。

GPQA：専門家でも難しい理系の4択

論文によると、448問の4択で、生物・物理・化学です。専門家が作り、別の専門家と、ネットを使える非専門家が検証しました。
博士レベルの専門家の正答率は65%（明らかな誤りを除くと74%）、非専門家は34%、当時のGPT-4系の最高は39%と、論文の要約にあります。2023年当時の数字です。
難問だけを選んだDiamondは198問です。論文の定義では、2人の専門家がどちらも正解し、非専門家3人のうち正解は多くて1人、という条件で選びます。
論文の表では、Diamondの専門家の正答率は81.3%、非専門家は22.1%ですが、これらは選び方による偏りがある、とも書かれています。

MMLU-Pro：広い知識を10択で

元のMMLUは57の科目を扱う試験です。論文の要約では、当時の多くのモデルがでたらめに答える水準に近く、最大のGPT-3でも平均で約20ポイント上回る程度でした。
MMLU-Proは、選択肢を4つから10に増やし、簡単な問題やあいまいな問題を除いて、推論が必要な問題を足しました。データセットの説明では、元のMMLUから6,810問、ほかの問題集から5,222問を足し、合計12,032問です。
論文によると、モデルの点数はMMLUより16〜33%低くなります。24通りの聞き方で試すと、聞き方による点数のぶれは、MMLUの約4〜5%から約2%に減りました。
データセットの説明では、選択肢を増やす作業にGPT-4を使い、10人を超える専門家が確認した、とあります。

LiveCodeBench：新しい問題で測る

論文の要約では、LeetCode、AtCoder、CodeForcesの競技から、継続的に新しい問題を集めます。コードを書く能力だけでなく、自己修正、コードの実行結果の予測、テストの出力の予測も測ります。
各問題に公開日が付いています。モデルの学習データの期限より後の問題だけで測れば、答えを見ていない状態で比べられる、という考え方です。
公式サイトは、あるモデル群が、特定の時期以降のLeetCode問題で点数が大きく落ちる例を挙げ、それ以前の問題での汚染の可能性を示している、と述べています。
なお、論文の要約は400問（2023年5月〜2024年5月）、公式サイトの説明は300問超（2023年5月〜2024年2月）と、古い版の記述が残っているようで、数字が一致しません。この記事では、論文の数字を載せました。

Humanity's Last Exam：専門家の難問

公式サイトによると、2,500問で、100を超える分野から出ています。答えは1つに決まり、確かめやすい形で、ネット検索ですぐ見つからないもの、という条件です。画像つきの問題があり、文字だけのモデルは、文字だけの部分で測ります。
問題は公開され、非公開の問題セットも別に持っています。過剰適応を確かめるためです。
公式サイトの更新履歴には、2025年4月3日に2,500問で確定、2025年10月8日に更新型の派生版（HLE-Rolling）、2026年1月28日に学術誌Natureに掲載、2026年9月22日にHLE-Diamond公開、とあります。HLE-Diamondについて公式サイトは、元のHLEで最先端のAIの点数が誤差の限界に近づいたときの移行先、と説明しています。問題数などの中身は、読んだページでは確認できていません。
公式サイトの点数表には「Dataset Updated: April 3rd, 2025」とあり、点数が最新かどうか分からないため、この記事では点数を載せません。

SWE-bench Verifiedを巡る、2026年のOpenAIの発表

OpenAIは2026年2月23日の発表で、SWE-bench Verifiedの点数を報告するのをやめ、ほかの開発者にもそうするよう勧めました。理由は2つです。

テストの欠陥：OpenAIは、モデルがよく解けなかった138問（500問の27.6%）を監査しました。OpenAIのo3が64回の実行で安定して解けなかった問題です。それぞれ、経験のあるエンジニアが少なくとも6人で独立に確認し、指摘は別のチームが再確認しました。その結果、138問の59.4%で、テストの作りや問題文に実質的な問題がありました。内訳は、実装の細部を決めつける厳しすぎるテストが35.5%、問題文にない機能まで調べるテストが18.8%、その他が5.1%です。
データ汚染：試した最先端モデルは、問題によっては、人が書いた修正案や問題文の細部をそのまま再現できました。OpenAIはこれを、すべての最先端モデルが問題や解答の一部を学習で見ていた証拠だと述べています。また、問題を見たことのあるモデルは、問題文があいまいなテストを通りやすかった、とも報告しています。

OpenAIは、最先端の点数が過去6か月で74.9%から80.9%へ上がった点について、能力の向上だけでなく、学習時に問題を見ていたことの影響も混じっていると述べています。そのうえで、代わりにSWE-bench Proの公開セットで報告することを勧めています。OpenAIは、SWE-bench Proも完全ではないと断っています。

SWE-bench Proの論文の要約によると、1,865問で、41のリポジトリから作られ、公開セット（11リポジトリ）、非公開の保留セット（12リポジトリ）、企業との契約で使う商用セット（18リポジトリ）の3つに分かれます。保留セットと商用セットは公開されておらず、著者は「汚染に強い試験台」と呼んでいます。

読み方・選び方

見立てです。公式資料を読んだうえでの、僕らの整理です。

仕事に近いのはどれか：コードを直す作業ならSWE-bench系、広い知識の質問ならMMLU-Pro、専門的な理系の質問ならGPQAが近い、という対応が考えられます。ただし、どれも自分の仕事の問題とは違います。
難しいテストは差が見えやすい：易しい試験は、上位がみな満点近くになり、差が見えなくなります。MMLUからMMLU-Proへの変化や、HLEの登場は、この問題への対応と読めます。
新しい問題のテストは時期に注意：LiveCodeBenchのように日付で区切れるテストは、どの期間の問題で測ったかを確認します。
点数の差は小さいときは誤差かもしれない：問題数が数百のテストでは、1問の違いが数ポイントになります。たとえばGPQA Diamondは198問なので、1問で約0.5ポイントです（僕らの計算です）。

よくあるつまずき

見立てです。公式資料を読んで、読み違えやすいと思った点を挙げます。

「SWE-bench」とだけ書かれた数字を、版の違いを見ずに比べる。Verified、Lite、Proは別の試験です。
AIに渡す道具（エージェントの仕組み）の違いを無視する。公式サイトが共通の環境での表示を既定にしているのは、この違いが大きいためです。
専門家の正答率をそのまま「人間の上限」と読む。GPQAの専門家の数字は、問題によって偏りがある、と論文も断っています。
MMLU-Proの点数が、MMLUよりずっと低いことを、モデルが劣化した証拠と読む。試験が難しくなったのが理由です。

気をつけること

この記事では、これらのテストを実行していません。内容は論文と公式ページに基づきます。
ページの要約が、場所によって食い違う箇所がありました（LiveCodeBenchの問題数、HLEの分野数の言い方など）。この記事では、論文の要約か、運営者の公式サイトの記述のうち、確認できた方を書きました。
MMLU-Proの汚染対策と、HLE-Diamondの問題数などの中身は、読んだ資料では確認できていません。
GPQAのDiamondの198問は、論文の本文で確認しました。データセットの配布ページでは、各版の問題数は確認できませんでした。
各テストの最新の点数と順位は、書いていません。変わりやすく、条件が違うためです。
版や出題は更新されます。使う前に、各テストの公式ページを確認してください。

出典

更新履歴

2026年10月25日 書き方を直しました。
- 前：運営者が使っていないと読める書き方 → いま：「この記事は、実際に使って確かめた記録ではありません」。公式の資料を読んでまとめた記事で、使い心地は書いていない、という意味に直した