3行でいうと

  • 3社の公式ヘルプはどれも、答えが間違うことがある、と自分で書いています。間違いには、存在しない引用や参考文献をそれらしく作ることも含まれます。
  • 向かない場面として、公式の説明から読み取れたのは、新しい出来事、渡した資料の正確な読み取り、とても長い会話、医療・法律・お金などの専門的な判断、の4つです。
  • 各社の共通の勧めは、答えを「下書き」として使い、大事な点は元の資料で確かめることです。

この記事は、公式の文書を読んでまとめたもので、実際に使って確かめた記録ではありません。「見立てです」と書いた部分は僕らの考えで、公式の文書に書かれていることとは分けています。

先に結論

公式の説明を読んで言えるのは、次のとおりです。

  1. 事実と違うことを、自信ありげに答えることがある。 OpenAI、Claude、Geminiのヘルプが、それぞれ自分で書いています。
  2. 知識には期限がある。 それより新しい話は、検索などの道具がないと分からない、と書かれています。
  3. 渡した資料を、正確に読めるとは限らない。 画像の表や大きなファイルが例です。
  4. とても長い会話には上限がある。
  5. 専門的な判断の代わりにはならない。 Googleは、医療・法律・金融などの専門的な助言として扱わないよう書いています。

「だから使うな」とは、どのページにも書かれていません。どれも「下書きとして使い、確かめる」を勧めています。

たとえ話：物知りだけれど、ある日から世間の情報を見ていない友人

僕らのたとえです。公式の文書にあるものではありません。

AIは、とても物知りな友人のようなものです。何を聞いても、すらすら答えてくれます。ただ、この友人には3つの癖があります。

大事な数字や日付は、別の方法で確かめる。この付き合い方が、公式の説明からも読み取れます。

このたとえは分かりやすさのためのものです。AIが本当に「知っている」「忘れる」のかは、読んだ資料には書かれていません。

公式が書いている「苦手」の5つ

1. もっともらしい間違い

OpenAIのヘルプは、ChatGPTの答えに、事実の誤り（定義や日付など）が混じることがあり、存在しない引用、研究、参考文献を作ってしまうこともある、と書いています。この現象を「ハルシネーション」（事実でないことを、もっともらしく作ってしまうこと）と呼びます。難しい質問や、あいまいな質問にも、自信ありげに答えることがある、とも書かれています。

ClaudeとGeminiのヘルプにも、同じ趣旨の説明があります。Claudeは、権威がありそうに見えて、事実に基づかない引用を作ることがある、正しく見えて間違っていることがある、と書いています。Geminiは、作り話を事実のように示すことがある、特に人物についての答えは、不正確・不適切なことがある、としています。

総務省の令和6年版の白書も、ハルシネーションには技術的な対策があるが、完全には抑えられないとして、検索などの手段と併用して、答えが正しいか確かめることが望ましい、と書いています。

見立てです。3社と国の資料が同じことを書いているので、「ときどき起きる不具合」というより、「いまの生成AIにつきものの性質」として付き合うのが現実的だと思います。ハルシネーションの見分け方は、別の記事で扱っています。

2. 新しい出来事、最新の情報

OpenAIのヘルプは、モデルの学習データには期限があり、それ以後の出来事は、検索などの道具を使わないと分からない、と説明しています。Claudeのヘルプも、分野によっては最新の情報を持たず、現在の出来事について混乱することがある、と書いています。

Geminiのヘルプには、Geminiは自分の機能（学習のしかた、出典を示すか、最新の情報を出せるか）を、誤って説明することがある、という一文があります。AIに「最新の情報を知っていますか」と聞いても、その答え自体が当てにならないことがある、ということです。

また、OpenAIのヘルプによると、検索の機能を使っても、技術的な問題、有料の壁、サイト側の設定（robots.txt）によって、取得できないサイトがあります。

3. 渡した資料の、正確な読み取り

「資料を貼ったり、ファイルを渡せば大丈夫」とは限りません。OpenAIの「データ分析」のヘルプは、次の注意を書いています。

計算については、このヘルプは「苦手」とは書いていません。計算や集計は、AIがPythonのコード（プログラムの文章）を書いて実行して行う場合がある、と説明し、そのコード、出力、前提を見直してから使うよう求めています。計算そのものの得意・不得意は、読んだ公式ページには書かれていませんでした。

4. とても長い会話

Claudeのヘルプは、会話の長さには上限があると説明しています。AIは、一度の会話で扱える量に限りがあり、これを「コンテキストウィンドウ」（作業記憶のようなもの。一度に見渡せる量）と呼んでいます。長い会話と、添付したファイルで、この枠が埋まっていきます。上限に近づくと警告が出ます。

対処として、ヘルプは、新しい会話を始めること、必要な部分だけ読み込む「プロジェクト」を使うこと、使わない資料を外すこと、などを挙げています。

5. 専門的な判断、偏りのある見方

Googleのヘルプは、Geminiの答えを、医療、法律、金融などの専門的な助言として扱わないよう書いています。Claudeのヘルプも、重要度の高い助言は慎重に確かめるよう書いています。

偏りについては、OpenAIが、ひとつの見方を絶対の真実のように示す、微妙な問題を単純にしてしまう、科学の合意や社会の議論の重みを取り違える、といったことが起こりうると書いています。総務省の白書も、偏りを含む回答をうのみにし続けると、不公平な結果が固定化・拡大するおそれがある、としています。

開発者向けの文書にある、間違いを減らす工夫

Anthropicの開発者向け文書「Reduce hallucinations」は、間違いを減らす方法をいくつか挙げています。

  • 「分からないときは、分からないと答えてよい」と、はっきり許可する。
  • 長い文書では、まず根拠になる箇所をそのまま抜き出させ、その抜き出しだけをもとに答えさせる。
  • 主張ごとに、裏づけの引用を付けさせ、見つからなければその主張を取り下げさせる。
  • 同じ頼みを何回か実行して、答えの食い違いを見る。食い違いは、間違いのしるしかもしれない、としています。

文書は、これらで間違いは大きく減るが、完全にはなくならない、重要な内容は確かめるよう書いています。

見立てです。日常で使うなら、頼みに「分からなければ、分からないと言ってください」と一言足すのが、1つ目の方法に近い使い方だと思います。ただ、普通のアプリで同じように効くかは、公式の文書に書かれておらず、この記事でも確かめていません。

誤解されやすい点

「自信のある言い方なら、正しい」 OpenAIは、間違っているときにも自信ありげに答えることがある、と書いています。言い方の調子は、正しさの目印になりません。

「新しいモデルになれば、間違いはなくなる」 読んだ資料では、そうは書かれていません。Anthropicの文書は、工夫で大きく減るがなくならない、総務省の白書は、完全には抑えられないとしています。

今日からできること、やってはいけないこと

どれも、上の公式ページの内容を土台にした、僕らの整理です。

今日からできること

やってはいけないこと

気をつけること

出典

更新履歴