3行でいうと
- MT-Bench論文では、GPT-4の判定と人間の判定が80%以上一致し、人間どうしの一致と同じ水準でした。
- 偏りは4つ報告されています。順序（位置）、長さ（冗長性）、自分びいき、数学・推論での採点ミスです。
- 対策は、順序を入れ替えて2回判定する、正解例を渡す、先に理由を書かせる、長さを補正する、などです。
- 最後は、人間が付けた少数の正解と、判定の一致率を測って確かめます。
この記事は、実際に使って確かめた記録ではありません。この記事は公式の文書や論文を読んでまとめたものです。
先に結論
- LLM-as-a-judgeは、別のAIに「この答えはどちらがよいか」「この答えは基準を満たすか」を判定させる方法です。人間の採点は遅く高いので、代わりに使われます。
- MT-Bench論文（NeurIPS 2023）は、強いAIの判定が、人間の好みとよく合うことを示しました。同時に、その論文自身が、4つの弱点を書いています。
- 見立てです。判定をそのまま信じるのではなく、「偏りを減らす手順」と「人間との一致率の確認」をセットにするのが基本だと思います。
- ここで読んだ論文の実験は、2023年前後のモデルが中心です。今のモデルで同じ数字になるとは限りません。
前提：判定の3つの形
OpenAIの評価の文書は、AIによる判定を3つに分けています。
- ペアで比べる（pairwise comparison）：2つの答えを見せて、どちらがよいか選ばせる。
- 単独で採点する（single answer grading）：1つの答えに、基準に沿って点数や合否を付けさせる。
- 正解例を見せて採点する（reference-guided grading）：模範解答を渡し、それを基準に採点させる。
文書は、信頼性を上げるにはペアで比べる、または合否で判定するのがよい、と書いています。
用語を整理します。
- ルーブリックは、採点基準の表です。「何ができていれば何点」を言葉で決めたものです。
- 一致率は、判定役のAIと人間が、同じ結論を出した割合です。
人間とどれくらい合うか
MT-Bench論文の数字です。人間の専門家が付けた判定と、GPT-4の判定を比べています。
| 比べた組み合わせ | 一致率（引き分けを除いた場合） | 偶然の一致の目安 |
|---|---|---|
| GPT-4と人間 | 85%（1ターン目） | 50% |
| 人間どうし | 81%（同じ条件） | 50% |
引き分けや、順序を入れ替えて結果が変わった票も含める条件では、GPT-4と人間の一致は66%、人間どうしは63%でした。このときの偶然の目安は33%です。論文の抄録は「80%以上で、人間どうしと同じ水準」とまとめています。論文は、モデルの性能差が大きいペアほど、一致率が70%から100%近くに上がる、とも書いています。つまり、差が微妙な比較ほど、AIも人間も判断が割れます。
報告されている4つの偏り
偏りの数字と対策の一覧
MT-Bench論文と関連論文の内容を表にしました。判定役のモデルは、当時のものです。
| 偏り | 起きること | 論文の数字 | 対策 |
|---|---|---|---|
| 位置（順序） | 最初に見せた答えを選びやすい | 2つの答えの順序を入れ替えて、判定が同じ結果になった割合（一貫性）は、GPT-4で65.0%、Claude-v1で23.8% | 順序を入れ替えて2回判定し、両方で勝ったときだけ勝ちとする |
| 冗長性（長さ） | 長い答えを選びやすい | 内容を増やさずに言い換えで長くした答え（「繰り返しリスト」）に騙された割合は、Claude-v1とGPT-3.5が91.3%、GPT-4が8.7%（23件） | 長さを補正する、または長さの差を記録して分析する |
| 自分びいき | 自分が書いた答えを高く採点しやすい | GPT-4は自分の勝率が10ポイント高く、Claude-v1は25ポイント高い。ただし論文は「限られたデータで断定できない」と述べている | 判定役を、答えを作ったモデルと別にする |
| 数学・推論の採点ミス | 答えに引きずられ、正誤を間違える | 10問の数学で、判定の失敗が既定の指示では14/20、考えさせて採点では6/20、正解例を渡すと3/20 | 先に自分で解かせる、さらに正解例を渡す |
関連する論文の数字です。
- 「Large Language Models are not Fair Evaluators」（arXiv 2305.17926）は、答えの順序を変えるだけで評価が操作でき、ChatGPTを判定役にするとVicuna-13BがChatGPTに80問中66問で勝てた、と報告しています。対策として、判定の根拠を複数書かせる、順序を変えた結果を集計する、判断が割れる例だけ人間に回す、の3つを提案しています。
- 「Length-Controlled AlpacaEval」（arXiv 2404.04475）は、長さの影響を回帰分析で取り除く方法を提案し、人間の投票による順位表（Chatbot Arena）との相関（Spearman）が0.94から0.98に上がった、と報告しています。
- 「LLM Evaluators Recognize and Favor Their Own Generations」（arXiv 2404.13076）は、判定役のAIが自分の出力を見分ける力が強いほど、自分びいきも強くなる、という相関を報告しています。GPT-4やLlama 2が、何もしなくても自分の出力をある程度見分けられる、とも述べています。
MT-Bench論文は、順序入れ替えの対策について、判定を2回呼ぶので費用が増えることにも触れています。また、見本の判定を数件付けて判定させる方法（few-shot）で、GPT-4の一貫性は65.0%から77.5%に上がりましたが、プロンプトが長くなりAPIの費用が約4倍になった、と書いています。一貫性が高いことが、正確さを意味するわけではない、とも注意しています。
対策を手順にする（見立てです）
見立てです。公式の文書と論文の勧めを、実際の手順に直すと、次のようになると思います。
- 答えの形を決める。 OpenAIとAnthropicの文書は、判定の出力を「correct / incorrect」や1〜5の数字のように決まった形にするよう勧めています。自由な感想では集計できません。
- 基準を具体的に書く。 Anthropicの文書の例は「最初の文に会社名を入れていなければ不正解」のような、確かめられる基準です。1つの用途に複数の基準表が要ることもある、とも書かれています。
- 判定の前に理由を書かせる。 AnthropicとOpenAIの文書は、理由づけ（chain-of-thought）を判定の前に置くと成績が上がると書いています。G-Eval論文（arXiv 2303.16634）も、理由づけと「書式に沿って埋める」方式を組み合わせた枠組みです。この論文では、要約の評価で人間との相関（Spearman）が0.514でした。
- ペア比較は、順序を入れ替えて2回。 両方で同じ結論のときだけ採用し、割れたら引き分けにします（MT-Bench論文の保守的な方法）。
- 答えの長さを記録する。 点数が長さと連動していないかを、後で確かめられます。
- 判定役は、答えを作ったモデルと別にする。 OpenAIの文書は、まず強いモデルで試し、人間の評価との一致を確かめてから、費用や速度の最適化に進むよう勧めています。
- 正解例があれば渡す。 特に数学や論理は、論文でもっとも効果が大きかった対策です。
- 人間の正解を30〜50件付けて、一致率を測る。 判定の設定を変えるたびに測り直します。
一致率の読み方（僕らの計算です）
僕らの計算です。人間が付けた正解40件に対して、判定役のAIが34件で同じ結論を出したとします。一致率は34÷40 = 85%です。ただし、40件の結果には揺れがあります。標準誤差は√(0.85×0.15÷40) ≒ 0.056、つまり約5.6ポイントです。標準誤差の2倍の幅で見ると、「85%」は約74%〜96%のどこかにある、と読むのが妥当です。
また、一致率には「偶然の目安」があります。MT-Bench論文でも、引き分けを除いた2択なら50%、引き分けを含む3択なら33%が偶然の一致です。「70%一致」は、2択なら偶然より20ポイント上というだけです。単に「高い」と言わず、目安と並べて読んでください。
よくあるつまずき
- 採点の基準が曖昧。 「分かりやすさ」だけでは、判定役の解釈で揺れます。基準を、数えられる条件に分けます。
- 判定の呼び出しが1回だけ。 位置の偏りが乗ります。ペア比較は順序を入れ替えて2回呼びます。
- 長い答えの勝率が高いのに、中身を確認しない。 長さの偏りかもしれません。長さの差で勝率を分けて集計します。
- 判定役のモデルを途中で替える。 点数の基準が変わり、過去の結果と比べられなくなります。バージョンを記録し、替えたら全件を再採点します。
- 判定役にも正解を知らない課題を採点させる。 論文では、正誤を判定する能力が足りない課題で、判定役が間違った答えを正しいとしました。
- 人間の確認を最後までやらない。 OpenAIの文書は、自動採点を人間の評価と合わせ続ける（calibrate）ことを、評価の基本方針に挙げています。
気をつけること
- この記事は、実際に使って確かめた記録ではありません。数字はすべて、論文と文書に書かれたものです。
- 論文の実験は、GPT-4、GPT-3.5、Claude-v1など2023年前後のモデルです。今のモデルでの位置・長さ・自己選好の偏りの大きさは、ここで読んだ資料からは分かりません。
- 英語中心の評価です。日本語での一致率や偏りは、確認できていません。
- 「自分びいき」は、MT-Bench論文自身が「データが限られていて断定できない」と述べています。別の論文は、自己認識と自己選好の相関を示しましたが、すべてのモデルに当てはまるとは限りません。
- 「判定役を別のモデルにする」は、論文の結果に基づいた僕らの見立てで、公式の手順として書かれているわけではありません。
- 判定の費用は、答えの数と判定の回数に比例します。順序入れ替えや理由づけで、費用が増えます。
- 判定役に、社内の資料や個人情報を含む出力を送ることになります。送ってよいかは、契約や社内規則で確認してください。
出典
- Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena（arXiv 2306.05685、2026年10月8日確認）
- Large Language Models are not Fair Evaluators（arXiv 2305.17926、2026年10月8日確認）
- Length-Controlled AlpacaEval: A Simple Way to Debias Automatic Evaluators（arXiv 2404.04475、2026年10月8日確認）
- LLM Evaluators Recognize and Favor Their Own Generations（arXiv 2404.13076、2026年10月8日確認）
- G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment（arXiv 2303.16634、2026年10月8日確認）
- Evaluation best practices（OpenAI API、OpenAI、2026年10月8日確認）
- Define success criteria and build evaluations（Claude Platform Docs、Anthropic、2026年10月8日確認）
更新履歴
- 2026年10月25日 書き方を直しました。
- 前：運営者が使っていないと読める書き方 → いま：「この記事は、実際に使って確かめた記録ではありません」。公式の資料を読んでまとめた記事で、使い心地は書いていない、という意味に直した