3行でいうと

  • 評価データは、2つに分けて作ると考えやすくなります。「問いと正解のセット」（何を聞き、何が正しいか）と、「採点の基準」（どう点を付けるか）です。この分け方は僕らの整理で、公式文書の用語そのものではありません。
  • 最初に作るのは、データではなく成功基準です。Anthropicは、具体的、測れる、達成できる、用途に合う、の4つを満たすように書き、たとえば「1万件のテストで、F1が0.85以上」という形を例にしています。
  • 採点は、公式の整理では、コードが最も速く確実、人が最も柔軟だが遅く費用がかかる、AIはその中間です。基準に合う中で最も速く確実な方法を選び、AIに採点させる場合は、人の採点との一致を確かめてから規模を広げるよう書かれています。

この記事は、実際に使って確かめた記録ではありません。この記事は、公式の文書と論文のページを読んでまとめたものです。数字と日付は2026年10月16日に確認し、10月22日に読み直しました。変わることがあります。

先に結論

手順：評価データをつくる7段

ここから7つの手順を、順に書きます。

手順1：成功基準を先に書く

評価データを作る前に、「何ができれば合格か」を書きます。Anthropicの「成功基準を定める」の文書は、良い基準の条件を4つ挙げています。

条件 意味（名前からの僕らの言い換え） 公式の例
具体的（Specific） 達成したいことをはっきり書く （例の細部は確認できていません）
測れる（Measurable） 数字などで測れる形にする 「1万回の試行で、毒性の検出が0.1%未満」
達成できる（Achievable） 現実に達成できる水準にする （例の細部は確認できていません）
用途に合う（Relevant） アプリの目的に合わせる （例の細部は確認できていません）

同じ文書は、基準として考える観点も並べています。課題への忠実さ、一貫性、関連性と筋の通り方、口調と文体、プライバシーの保護、文脈の使い方、遅延、価格、の8つです。多くの用途では、複数の観点を同時に測る必要がある、とあります。たとえば感情分類の例では、「F1が0.85以上」「出力の99.5%が毒性なし」「誤りの90%は、不便にとどまり、重大でない」「応答の95%が200ミリ秒未満」と、4つを並べています。ただし公式の例でも、「不便」「重大」は、実際にはさらに定義が要る、と注記されています。

見立てです。この段階で基準が書けないなら、データを集めても、何をもって「良い」とするかが決まりません。ここで時間を使うのが、結局は早道だと思います。

手順2：問いを集める

何を集めるか

OpenAIの「評価のベストプラクティス」は、データの出どころをいくつか挙げています（内訳は確認できていません）。内容には、典型的な例、端の例、敵対的な例を含めるように、と書かれています。

Anthropicの文書は、評価の設計の原則を3つ挙げています。

  1. 課題に合わせる。 端の例を入れる。
  2. 自動で採点できる形にする。
  3. 量を優先する。 少し精度の低い自動採点の問いが多いほうが、少数の丁寧な人手の採点より良い。

端の例については、AnthropicとOpenAIの文書がそれぞれ具体例を挙げていますが、その内訳は確認できていません。

自分で全部書かなくてもよい

Anthropicの文書は、基準になる少数の例から、Claudeに追加の問いを作らせることもできる、と書いています。

ただし、作らせた問いは、実際の利用に近いかどうかを、人が目で確かめる必要があります。これは僕らの見立てで、公式の資料に、同じ趣旨の文を確認したわけではありません。

手順3：正解（参照答え）を持たせる

自動で採点するには、各問いに、正解または採点の拠りどころが必要です。OpenAIのEvalsの文書では、データはJSONL形式で、1行が{"item": {...}}の形です。各itemの項目は、評価のitem_schemaに合わせます。公式の例の項目は、ticket_text（問い合わせの文章）とcorrect_label（正解ラベル）です。採点側は、{{ item.correct_label }}のように、データの項目を参照します。

公式の説明に沿って、僕らが書いた形の例です。動作確認はしていません。

{"item": {"ticket_text": "（問い合わせの文章）", "correct_label": "（正解のラベル）"}}

Anthropicの文書の例では、課題ごとに件数と採点方法が違います。感情分類は1,000件のツイートで完全一致、要約は200件でROUGE-L、口調の評価は100件で1〜5の採点、FAQは50組で類似度の平均です（後ろの「くわしく」にまとめました）。

人が正解を付ける場合について、OpenAIの文書は人の評価の勧めを4つ挙げています。その内訳は確認できていません。

手順4：採点方法を選ぶ

Anthropicの文書は、採点方法を3つに分け、最も速く、確実で、拡張しやすいものを、基準に合う中から選ぶよう書いています。

方法 長所 短所
コードで採点（完全一致、文字列に含まれるか） 最も速く、確実で、拡張しやすい 柔軟な判断が要る基準には向かない
人が採点 最も柔軟 遅く、費用がかかる
AIが採点 速く、柔軟で、拡張しやすく、複雑な判断もできる 規模を広げる前に、信頼できるか確かめる

公式の例に出てくる、課題と採点方法の組み合わせは、後ろの「くわしく」の表にまとめました。ここでは要点だけ書きます。

OpenAIのgrader（採点器）の文書は、採点の部品を整理しています。文字列の一致（string_check）、文章の類似度（text_similarity）、AIによる点数付け（score_model）、自分で書くPythonの採点（python）です。同じ文書は、ツール呼び出しの引数を採点する場合の例として、1と1.0のような小さな違いでも一致しないと判定されうる、と書いています。

なお、OpenAIは、Evalsのプラットフォームと採点器の廃止を発表しています。Evalsの文書によると、既存の内容は2026年10月31日に読み取り専用になり、2026年11月30日に停止予定です。このため、データを自分の手元（リポジトリ）にも持っておくと、乗り換えやすい、というのが僕らの見立てです。

手順5：採点の基準（ルーブリック）を書く

AIに採点させる場合の基準づくりについて、Anthropicの文書は次のような助言を挙げています（原文の「Tips」の箇条書きは3つで、ほかは採点方法の説明やコード例の注記にあります）。

OpenAIの文書は、AIによる採点では、2つの答えを並べて比べる方式か、合格・不合格の判定を勧めています。さらに、答えの長さの違いをそろえる、点を付ける前に理由を書かせる、と書いています。graderの文書は、採点AIには、良い・普通・悪いの答えの例を、少数の見本として添えるよう勧めています。

手順6：AIの採点を、人の採点と突き合わせる

これが、一番省かれやすい手順です。

AIによる採点を調べた論文（Zhengら、2023年）のページによると、GPT-4級の強いAIの採点は、人の好みと80%を超えて一致し、これは人どうしの一致と同じ水準だった、と書かれています。同時に、AIの採点には、位置の偏り、長さの偏り、自分の出力を好む偏り、そして推論力の限界があると、アブストラクトに書かれています。アブストラクトのページには、一部の偏りを緩和する解決策を提案したとありますが、その中身は載っていませんでした。

この一致の数字は、その論文の問題と採点条件でのものです。自分の仕事で同じ一致が出るとは限らないので、確かめる必要があります。OpenAIのgraderの文書は、確かめ方の例として、専門家が答えを「A、B、Cの順に良い」と並べたら、採点AIの順位も同じになるかを見る、と書いています。また、弱い採点AIは、モデルに悪用されうる（採点の抜け穴を突かれる）ので、専門家の評価と比べて見つける、とも書いています。

手順7：失敗した例を足して育てる

OpenAIの文書は、評価を継続的に回すよう書いています。本番の挙動を見て新しい失敗の例を評価データに足していく、というのは僕らの整理です。OpenAIの文書は、避けたい失敗（アンチパターン）も挙げていますが、その内訳は確認できていません。

プロンプトを変えるたびの回帰テストの考え方と、10問から始める小さな評価は、別の記事で扱っています。

Anthropicの文書にある、課題ごとの評価の例（公式の数値）
課題 データ 採点方法
感情分類 1,000件のツイート 完全一致（strip().lower()でそろえる）
FAQ 50組 埋め込みモデルall-MiniLM-L6-v2によるコサイン類似度の平均
要約 200件 ROUGE-L
口調 100件 AIが1〜5で採点
プライバシー：医療チャット 500件 AIがyes／noで判定。個人の健康情報（PHI）がなければ自動で合格
会話 100件 AIが1〜5で採点

公式の例のコードは、この記事では動かしていません。

OpenAIのgrader（採点器）の種類と、pythonの制限（読んだ範囲）

  • 種類：string_check、text_similarity、score_model、python、multi。各種類のパラメータの細部は、僕らの記録では確認できていません。公式の仕様を見てください。
  • python：ソースは256kB未満、ネットワークなし、実行は2分まで、メモリ2GB、CPU2コア。

選び方・判断の基準

ここからは僕らの見立てです。公式が書いている手順そのものではありません。

よくある失敗・つまずき

気をつけること

出典

更新履歴