人が選ぶAIランキング（Arena）の点数は「勝率の差」を表す：Eloの読み方とスタイルの偏りを、公式資料で確かめる

この記事は、実際に使って確かめた記録ではありません。この記事は公式の文書や論文を読んでまとめたものです。

先に結論

• Arenaの順位は、人が好んだ答えを集めたものです。正しさの試験ではなく、「どちらが好まれたか」の記録です。
• 点数の差は、勝率に直して読みます。差が数十点なら、勝率は50%を少し超える程度です（僕らの計算です。下で示します）。
• 公式の論文と記事は、答えの長さや見た目が点数に影響することを認めています。その補正が「スタイル制御」です。
• 運営の方針や外部の批判も、公式資料で確認できます。順位を使う前に、条件を読んでおく価値があります。

前提：Arenaとは

• 利用者が質問を入力すると、名前を隠した2つのAIの答えが並びます。気に入ったほうに投票すると、そこで初めてAIの名前が表示されます（公式の「How Arena Works」ページと、2024年の論文による）。
• 論文（Chatbot Arena、2024年）の要約によると、数か月で24万票以上が集まりました。投票は、多様な利用者から集めた比較（2つのうちどちらか）です。
• 公式サイトは現在 arena.ai で、旧アドレスの lmarena.ai は arena.ai に転送されました（転送を確認しました）。名称が変わった経緯は、読んだページでは確認できていません。この記事では、以降「Arena」と書きます。

点数の仕組み

Eloから、Bradley-Terryへ

• Eloは、チェスなどで使う点数の方式です。強い相手に勝つと点数が大きく上がり、負けると下がります。1局ごとに点数を更新します。
• 運営の2023年12月の記事によると、Arenaは最初、この更新式のEloを使いましたが、点数のぶれが大きく、更新の幅（K）を調整するのが難しかったそうです。そこで、対戦履歴をまとめて使うBradley-Terryモデルに変えました。
• 記事は、このモデルを「Eloの最尤推定」（観測された結果が最も起こりやすくなるように点数を決める方法）だと説明しています。対戦の順番は関係なく、引き分けは半勝半敗として数えます。
• 論文は、Bradley-Terry係数のほうが統計的な推定に向いているため、この変更をした、と書いています。2つのモデルの差をロジスティック関数（勝率を0から1に収める曲線）に入れて、勝つ確率を表します。

勝率に直して読む

一般的なElo式では、点数の差が400点で、強い側の期待される成績が弱い側の10倍（約0.91対0.09）になります（Wikipediaの解説による）。ただし、Arenaの論文と公式ページには、この「400」の尺度の定義が書かれていませんでした。Arenaの表示点数が同じ尺度かどうかは、確認できていません。

そのうえで、一般的な式で計算した例です（僕らの計算です）。

見立てです。点数の差が数十点なら、同じ質問を100回出して、強いほうが選ばれるのは50数回、ということになります。1位と2位の差が10点前後のときに「勝った」と言い切るのは、難しいと思います。

信頼区間：順位の幅

• 運営の2023年の記事は、Bradley-Terryの点数を何度も再抽出して（ブートストラップ）、信頼区間（本当の値がありそうな幅）を出すと説明しています。票が少ないモデルほど幅が広くなります。
• 論文は、信頼区間の計算に2つの方法を比べ、大きい標本で幅が小さい「サンドイッチ法」を使うことにした、と書いています。
• 読み方は、幅が重なっているモデル同士は、順位の違いに確かさがない、と考えるのが基本です。たとえば、Arenaが2025年の反論で挙げた例に「1069（±27）」と「1054（±18／22）」があります。外部の論文が同じ版の食い違いとして示した点数で、運営は、幅が重なっているので差とは言えない、と述べています。

長さや見た目の偏り：スタイル制御

• 公式の記事（2024年8月29日公開、2025年6月13日更新）は、答えの「スタイル」が順位に強く影響すると述べています。
• 制御する特徴は、答えの長さ（トークン数の正規化した差）、見出しの数、太字の数、箇条書きの数です。方法は、Bradley-Terryの回帰に、スタイルごとの係数を足します。記事は、長さが支配的な要因で、ほかのマークダウンの影響は二次的だった、と書いています。
• 補正の結果、GPT-4o-miniとGrok-2-miniは多くの最先端モデルより下がり、Claude 3.5 Sonnet、Claude 3 Opus、Llama-3.1-405Bは大きく上がりました。難しい質問だけの部分では、Claude 3.5 Sonnetがchatgpt-4o-latestと同率1位になりました。これは2024年当時のモデルの話です。
• 記事の限界も明記されています。この補正は観察に基づくので、長さと品質に本当の関係があるなど、見えていない要因は残りうる、とあります。因果推論やランダム化実験は今後の課題、とされています。
• スタイル制御が、現在の順位表の既定の表示かどうかは、読んだページでは確認できていません。

見立てです。長く丁寧な答えが好まれるのは、人間の評価としては自然ですが、「短くても正確な答え」が必要な用途には、順位がそのまま当てはまらない可能性があります。自分の用途に近い分野別の順位があれば、そちらを見たほうがよいと思います。

運営の方針と、外部からの批判

方針（公式の「Leaderboard Policy」、2024年3月2日公開、2026年9月1日更新）

• 順位表に載る条件は、世界の一般の人が使える最初の提供元（ファーストパーティ）の基盤モデルであること、などです。1,000票以上で評価が安定した後に載ります。
• 提供元は、未公開モデルを匿名の名前でテストでき、複数の版も試せます。公開前のモデルは「暫定（preliminary）」の点数で載り、2週間以内の公開を約束することなどが条件です。
• 提供元に、公開済みの点数を取り下げる一般的な権利は、読んだ範囲では方針に見つかりませんでした。
• 順位の計算と評価の仕組みは、Arena-Rankとして公開され、データの一部も監査用に公開されている、とあります。

批判：「The Leaderboard Illusion」（2025年）

• 論文の要約によると、一部の提供元が公開前に多数の版を非公開でテストして、好ましくない点数を取り下げられる、と指摘しています。Metaが、Llama-4の公開前に27の非公開版を試した、とされています。
• 閉じたモデルは、オープンなモデルより多く抽出され、削除も少ない、とも述べています。GoogleとOpenAIがそれぞれ全データの約19.2%、20.4%を得て、オープンウェイトの83モデルを合わせても約29.7%、という数字です。
• Arenaは2025年5月9日に反論を出しました。オープンモデルの割合は、論文の8.8%でなく、運営の統計（2025年4月27日）では40.9%だとしています。また、「公開前のテストで100点以上有利になる」という図は、実データでなく仮定による模擬だとして、実際の影響は50回のテスト・3,000票で約+11点程度と見積もっています。
• 運営は、一方で、10を超えるモデルを同時に公開前テストした場合は「暫定」と表示し、公開後に新しい票が2,000票集まるまで続ける、といった変更を予定している、と述べています。

どちらの主張が正しいかは、僕らには判断できません。両方の原文があり、数字の食い違いは、測る範囲や前提の違いによる可能性があります。

選び方・判断の基準

見立てです。僕らの整理です。

• 順位より、幅と差を見る：点数の差が小さい、または幅が重なっているなら、「同程度」と読む。
• 条件を確かめる：スタイル制御の有無、分野（文章、コード、検索など）、暫定かどうか、を見る。
• 「好まれる」と「正確」は別：事実の正確さや、仕事での使いやすさは、投票からは分からない。Arenaは2026年7月に、事実の正確さを加えた順位（factuality adjustment）を出しているが、中身はこの記事では確認していません。
• 自分の用途で試す：順位は、最初の候補を選ぶ参考に使う。

よくあるつまずき

見立てです。公式資料を読んで、読み違えやすいと思った点を挙げます。

• 1位のモデルが、すべての用途で最良だと思う。投票した人の質問と、自分の質問は違います。
• 点数の差を、能力の差の割合だと読む。点数は勝率の差から推定した値です。
• 暫定の点数や、票の少ないモデルの点数を、確定として扱う。幅が広くなります。
• 数か月前の順位を、そのまま今の比較に使う。モデルの更新や、評価の方法の変更で動きます。

気をつけること

• この記事では、Arenaに投票したり、順位の再計算をしたりしていません。内容は公式ページと論文に基づきます。
• Arenaの現在の点数の尺度（400など）と、順位表の既定の設定は、読んだページで確認できませんでした。順位表のページには、方法の説明や票の数が書かれていませんでした。
• 点数の例は、一般的なElo式での計算で、Arenaの実際の表示とは違う可能性があります。
• スタイル制御の記事の例は、2024年のモデルです。現在のモデルでの効果は確認していません。
• 批判と反論は、双方の原文を読みましたが、数字を独自に検証していません。
• 運営の方針や仕組みは更新されています。使う前に、最新の公式ページを確認してください。
• 特定のモデルの順位や点数は、変わりやすいため、書いていません。

出典

• Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference（arXiv、2026年10月22日確認）
• 同論文の本文PDF（arXiv、2026年10月22日確認）
• How Arena Works（Arena、2026年10月22日確認）
• Chatbot Arena: New models & Elo system update（LMSYS、2023年12月7日、2026年10月22日確認）
• Style Control（Arena、2024年8月29日公開、2025年6月13日更新、2026年10月22日確認）
• Arena Leaderboard Policy（Arena、2026年10月22日確認）
• The Leaderboard Illusion（arXiv、2026年10月22日確認）
• Our Response to 'The Leaderboard Illusion' Writeup（Arena、2025年5月9日、2026年10月22日確認）
• Elo rating system（Wikipedia、2026年10月22日確認。一般的なElo式の確認用）
• Leaderboard（Arena、2026年10月22日確認）
• Blog 一覧（Arena、2026年10月22日確認）

更新履歴

• 2026年10月25日 書き方を直しました。
  • 前：運営者が使っていないと読める書き方 → いま：「この記事は、実際に使って確かめた記録ではありません」。公式の資料を読んでまとめた記事で、使い心地は書いていない、という意味に直した