3行でいうと

  • 「1位」は、何を測った順位か、誰が測ったか、いつの何版の順位か、で意味が変わります。この3つが書かれていない「1位」は、そのままでは比べられません。
  • 実例として、Googleの2026年10月13日の発表は、あるAIが「Vals Indexで1位」と書いていました。順位表の側を読むと、仕事の種類、非公開の問題、点数の差まで確かめられました。
  • 「順位」は便利な目安ですが、自分の使い方で一番かどうかは別の話です。順位表の説明を読んで、自分の用途に近いかを見ます。

この記事は、公式の文書を読んでまとめたものです。この記事は、実際に使って確かめた記録ではありません。読んだページは、要約を通して読んでいます。そのため、公式の文章をそのまま引用せず、言い換えて書きました。たとえ話と「見立てです。」で始まる段落は、僕らの考えです。

先に結論

「ベンチマーク」は、AIに同じ問題を解かせて点数をつける、共通のテストです。その点数を並べた表が、順位表（リーダーボード）です。「1位」と書いてあったら、次の3つを順に確かめます。

  1. 何を測った順位か。 問題の種類（プログラミング、金融、人の好みなど）と、問題の数や出どころ。
  2. 誰が、どう測ったか。 発表した会社の社内評価か、外の運営者か。問題は公開か非公開か。実行の設定は書かれているか。
  3. いつの、何版の順位か。 順位表は更新され、テストの版も変わります。点数の差がどのくらいかも見ます。

見立てです。3つとも、発表のページを見るだけでは分からないことが多く、順位表の側のページを開く必要がありました。「1位」の一言は、入口にすぎないと思います。

たとえ話：「クラスで一番」と言われたら

僕らのたとえです。公式の文書にあるものではありません。

友だちが「うちの子、クラスで一番なんだ」と言ったとします。聞き返したくなるはずです。「何の科目で？」「誰が採点した試験？」「いつの試験？」「2位とは何点差？」。

AIの「1位」も同じです。国語の1位と数学の1位は別物で、先生が自分で作って自分で採点した試験と、全国共通の試験でも意味が違います。

実例：「Vals Indexで1位」を読む

2026年10月13日付のGoogleの発表（Gemini 4 Argon）には、複数のテストでの好成績が書かれていました。読んだ範囲で、各主張にどんな注記が付いていたかを表にします。

発表に書かれていた主張 発表ページにあった注記（読んだ範囲）
Vals Indexで1位 順位表のトップページへのリンクのみ。点数、設定、実行日は書かれていない
ERQAで87%、ほかの最先端モデルより上 GitHubへのリンクのみ。設定、実行者、日付は書かれていない
RareBenchで57%、LabBenchで52.2% 外部団体（Gamow Labs）の非公開の評価で、同団体のページへのリンクがある。評価条件は書かれていない。脚注の、意見は外部のものでGoogleのものではないという趣旨の断りは、同団体のブログの参照に付いたもの
Gray Swan（プロンプトインジェクションの攻撃への強さ）でリード。攻撃の成功率0.7% リンクも設定も書かれていない

つまり、数字の多くは会社自身が示したもので、条件を確かめるには、リンク先を見るしかありません。社内評価（会社自身が測ったもの）と、第三者評価（外の運営者が測ったもの）は、分けて読みます。ここでは「Vals Indexで1位」を、順位表の側で確かめます。

Vals Indexのページに書かれていたこと（2026年10月16日確認の表示）

見立てです。この指数は、「金融・コーディング・法務・税務の仕事」という限られた物差しで、非公開の問題を、運営者が測ったものです。「1位」は事実のようですが、「AIとして1位」という意味ではなさそうです。ただ、ページがここまで条件を書いていること自体は、確かめやすい点だと思います。

「1位」には、4つの種類がある

読んだ範囲で、仕組みが違う4種類が見つかりました。

種類 例 誰が測るか 読むときの注意
発表した会社の社内評価 OpenAIの2026年10月7日の発表、Anthropicの2026年7月24日の発表の一部 発表した会社自身 点数、問題の数、設定が書かれていないことがある
運営者が測る指数 Vals Index 外の運営者 問題が非公開のことがある。版が変わる
人の投票 Arena 利用者の投票 「好み」の順位で、正解のあるテストではない
決まった問題のテスト SWE-bench 公開された問題を、各機関が実行 実行の枠組みや環境の更新で点数が上がった例がある（Epoch AI）

発表した会社の社内評価の例として、OpenAIの発表は、読んだ範囲では標準的な公開ベンチマークの名前を出さず、社内の評価の比較だけを書いていました。Anthropicの発表は、一部の図について、社内で実行した結果だと脚注で断り、使った実行環境（mini-SWE-agent。AIに課題を解かせるための道具立てで、ハーネスと呼ばれます）と、各課題5回の平均であることを書いていました。ほかのテストには、試行回数や実行日が本文に見当たりませんでした。点数そのものは図表の中にあり、僕らは読めていません。

人の投票の順位（Arena）

Arenaの公式FAQによると、順位に数えられるのは、名前を伏せた2つのAIが同じ質問に答え、人がよいと思ったほうを選んだ票だけです。名前が分かったあとの票や、並べて見るだけのモードの票は、公開の順位に入りません。点数は、チェスで使うEloに近い統計の方法で計算するとあります。つまり、「正解率」ではなく「どちらが好まれたか」の順位です。

決まった問題のテスト（SWE-bench）

SWE-benchの公式ページによると、12のPythonのプロジェクトの実際の不具合の報告（issue）から作ったテストです。「Verified」は、そのうち人が選んだ500件です。Epoch AIは、同じテストを自分たちの環境で動かしていますが、安定して動かない16件を除いて484件で測っています。

誤解されやすい点

「1位」は、自分の用途で一番という意味ではない。 Vals Indexは仕事の分野を4つに絞っています。文章の添削や旅行の相談は、含まれていません。

順位は、固定されたものではない。 Valsは指数の版を更新しており、版が違うと点数の水準が変わります（v2.1はv2より点数が低いと、ページが書いています）。Epoch AIも、2026年2月に実行の枠組みを更新して、点数が上がったと書いています。

「外の運営者が測った」なら、完全に中立とは限らない。 Valsは、非公開の問題を自分で運営しています。Epoch AIは、SWE-bench Verifiedに「欠陥がある（Flawed）」という印を付け、以前、誤りが5〜10%ありうると見積もった、と書いています。運営者の側が自分で限界を書いているのは、読む側には助けになります。

Arenaの掲載のルール（公式の方針ページ）

2026年9月1日更新の方針ページによると、次のような決まりがあります。

  • 掲載の対象は、一般に公開された、提供元自身の基盤モデルです。
  • 公開モデルは、評価が安定するまで試験し、最低1,000票（通常はそれ以上）で掲載します。
  • 発売前のモデルは、匿名で試験できます。早く公開するには、2週間以内に一般提供を始める約束と、公開版と同じであるという書面の確認が要ります。
  • 発売前などの点数は「暫定」と表示され、発売後の票が十分たまるまで続きます。
  • 評価と順位付けの計算は、公開のプログラム（Arena-Rank）で確かめられます。

順位を上げるための工夫（操作）への対策については、読んだ範囲では記載を確認できていません。

今日からできること、やってはいけないこと

今日からできること

やってはいけないこと

気をつけること

出典

更新履歴