3行でいうと

  • 読んだ公式の指南（頼み方の書き方）は、どれも「英語で書くとよい」とは勧めていません。そもそも、頼む言語については、ほとんど書かれていませんでした。
  • 数字を出していたのは、Anthropicの多言語のページだけです。英語を100パーセントとすると、日本語は、測ったモデルで93.5〜96.8パーセントでした。英語がやや上ですが、近い値です。
  • 返事の言語は書いて指定する、日本語の文字で書く、大事なときは自分でも試す、がAnthropicのページのコツです。ChatGPTの「言語設定」のヘルプは、画面の言語の説明で、頼む言語には触れていません。

この記事は、公式の文書を読んでまとめたものです。この記事は、これらのサービスに頼んで比べたものではありません。「見立てです。」と書いた部分は僕らの考えで、公式の文書とは分けています。

先に結論

公式の文書を読んで言えることは、次の4つです。

  1. 「英語で頼め」と勧める公式の指南は、読んだ範囲で見つかりませんでした。 Anthropicの頼み方の指南、OpenAIのChatGPT向けの学習ページ、Googleの開発者向け文書とWorkspaceの案内のどれにも、そうは書かれていません。OpenAIの学習ページは、決まった型は要らず、自分の言葉で始めてよい、と書いています。
  2. 数字で比べているのは、Anthropicの多言語のページでした。 日本語は、英語より少し低く、それでも9割台です（くわしくは下の囲み）。
  3. 返事の言語は、頼みごとの中で指定します。 Anthropicのページは、AIが言語を会話から推測することもできるが、明示したほうがよい、と書いています。
  4. 「日本語対応」には、画面の言語と、頼める言語と、機能ごとの対応があります。 混ぜないことが大事です。

たとえ話：いくつもの言語を話せる通訳

僕らのたとえです。公式の文書にあるものではありません。

いくつもの言語を話せる通訳さんがいるとします。どの言語でも仕事はできますが、言語によって、得意不得意の差が、少しあります。そして、ふだんの仕事の言語ではなく、頼む側が慣れない言語で頼むと、細かい意図が伝わりにくくなります。

AIも、言語によって差があると、Anthropicのページは書いています。だからといって、日本語で細かいニュアンスを伝えられる人が、わざわざ慣れない英語で頼むと、頼みごとの中身が薄くなるおそれもあります。この「どちらが得か」は、差の大きさと、自分の英語の力の両方で決まります。

公式の文書は、言語について何と書いているか

発行元・ページ 言語について書かれていること 書かれていないこと
Anthropic「Multilingual support」 英語を100パーセントとした各言語の割合の表。返事の言語の指定の仕方、コツ 最新のモデルの数字（表は2つのモデルのみ）
Anthropic「Prompting best practices」 （読んだ範囲では）他言語での頼み方の指南なし ―
OpenAI「ChatGPTの言語設定」ヘルプ 画面の言語が59あり、日本語を含む。端末の言語に自動で合わせる 頼む言語ごとの性能
OpenAI「ChatGPT capabilities overview」 言語間の翻訳ができる。音声の理解・文字起こしの質は、言語で違うことがある 文章を頼む言語ごとの対応状況
Google「Gemini Apps Help」 Webアプリは70を超える言語、230を超える国と地域で使え、日本語と日本が載っている どの機能がどの言語で使えるか
Google「Prompt design strategies」「Workspaceの案内」 （読んだ範囲では）他言語での頼み方の指南なし ―

「書かれていない」ことは、「英語でないと困る」ことを意味しません。ただ、公式が英語を勧める根拠を示している、とも言えません。

今日からできること

  1. 迷ったら、まず日本語で頼む。 見立てです。公式が英語を勧めていないこと、日本語がClaudeの測定で英語の9割台だったこと、OpenAIが「自分の言葉で始めてよい」と書いていることから、考えました。
  2. 返事の言語を、頼みごとに書く。 「日本語で答えて」と一言添えます。Anthropicは、会話から言語は推測できるが、明示すると確実、と書いています。翻訳なら、元の言語と訳す言語の両方を書きます（例：「次の英語を日本語に訳して。訳文だけ返して」。Anthropicの例を、日本語に置き換えた僕らの例です）。
  3. ローマ字ではなく、日本語の文字で書く。 Anthropicのページは、元の文字で入力するほうが、ローマ字などに直したものより結果がよい、と書いています。
  4. 自然な言い回しを頼む。 Anthropicは、その言語を母語とする人が話すような言い回しで、と頼めると書いています。
  5. 大事な場面では、自分で比べる。 答えが怪しいと感じたら、同じ内容を英語でも頼んで、見比べる。見立てです。Anthropicのページも、大事な用途では、自分で言語を試し、評価するよう勧めています。
  6. 専門用語は、日本語と英語を並べて書く。 見立てです。公式に書かれた手順ではありません。
Claudeの表の読み方

Anthropicのページの表は、英語を100パーセントとして、各言語の点数が英語の何パーセントかを示すものです（原文の表は15行あり、下は一部を抜き出したものです）。測った問題は、MMLUという評価用の問題集です（ページは中身の形式を説明していません。「幅広い分野の知識と推論を問う選択式」というのは、僕らの補足です）。英語の問題を、専門の人間の翻訳者が14の言語に訳したものです。例を見せずに解かせる方式（ゼロショット）で、考える機能を使って測った、とあります。

言語 Claude Sonnet 4.5（廃止予定と表示） Claude Haiku 4.5
英語 100% 100%
スペイン語 98.2% 96.4%
中国語（簡体字） 96.9% 94.2%
日本語 96.8% 93.5%
韓国語 96.7% 93.3%
ヒンディー語 96.7% 92.4%
スワヒリ語 91.1% 78.3%
ヨルバ語 79.7% 52.7%

日本語は、2つのモデルのどちらでも英語に近い値です。Haiku 4.5のほうが、英語との差が大きく出ています。資源の少ない言語ほど、差が大きいことも読み取れます。

ただし、この点数は知識と推論を問う選択式の問題の点数で、翻訳の質、文章の自然さ、文化的な適切さを直接測るものではありません（この注意は、Anthropicのページには書かれていませんでした。点数の性質からの僕らの読み取りです）。

誤解されやすい点

「英語のほうが、必ず賢い答えが返る」 読んだ公式の指南に、そう書いたものはありません。Anthropicの数字では、英語が少し上でしたが、日本語もそれに近い値でした。ただし、測ったのは特定の2つのモデルで、問題の種類も限られています。

「ChatGPTの言語設定を日本語にしたから、頼み方の言語も決まった」 OpenAIのヘルプの言語設定のページは、画面の言語の説明です。頼む言語や、返事の言語を決めるものとは書かれていません。

「日本語対応と書いてあれば、全機能が同じ質で使える」 Googleのページは、言語と国の対応を書いているだけで、機能ごとの対応は書いていません。OpenAIは、音声の理解や文字起こしの質が言語で違うことがある、と書いています。

「数字が高ければ、日本語の文章が上手」 表は選択式の知識問題の点数で、文章の自然さを測ったものではありません（問題集の性質からの僕らの見立てです）。

やってはいけないこと

気をつけること

出典

更新履歴