3行でいうと

  • 「入るかどうか」はもう主な分かれ目ではなくなりつつあります。Anthropicの公式文書では、現行モデルの多くが100万トークンの窓を持ちます。分かれ目は、問い合わせの頻度（キャッシュが温かいか）、資料の更新頻度、複数の箇所をまたぐ問いの有無です。
  • 丸ごと渡す方法の費用は、キャッシュが使えるかで10倍以上変わりえます。Anthropicの公開価格で僕らが計算すると、20万トークンを毎回渡す入力費は、キャッシュなしで0.40ドル、命中すれば0.02ドルでした。ただし5分以内に次の質問が来ないと、書き込み代がかかり、キャッシュなしより高くなります。
  • 精度は一方的ではありません。長い文脈は、トークンが増えるほど精度や再現率が落ちると公式が書いています。RAGは、検索で取りこぼすと答えられません。両方の弱点を補う混合の方法（先にRAG、答えられないときだけ丸ごと）が、論文で報告されています。

この記事は、実際に使って確かめた記録ではありません。この記事は、公式の文書と論文を読んでまとめたものです。料金と仕様は2026年10月16日に確認しました。変わることがあります。

先に結論

前提：2つの方法

丸ごと渡す方法（長文脈）は、資料をそのまま頼みごとの文章に入れます。AIが一度に見られる範囲（コンテキストウィンドウ）に収まる必要があります。Anthropicの文書では、100万トークンの窓を持つのはSonnet 5.5、Opus 5.5、Haiku 5.5などで、一部の古いモデル（Sonnet 4.5など）は20万トークンです。Googleの文書は、100万トークンを、約5万行のコード、英語の小説8冊、ポッドキャストの文字起こし約200話に相当すると説明しています。

RAG（検索拡張生成）は、資料を小さな断片（チャンク）に分けて索引にしておき、質問のたびに関係しそうな断片だけを検索して渡す方法です。OpenAIのベクトルストアは、ファイルを自動で分割・埋め込み・索引化し、検索結果は既定で10件、最大50件です。

どちらも、頼みごとの文章に入れた分のトークンが、料金と遅延に効きます。

軸1：費用

プロンプトキャッシュが前提になる

長い資料を毎回送ると、毎回その分の入力料金がかかります。プロンプトキャッシュは、前回と同じ冒頭部分を再利用して、費用と遅延を減らす仕組みです。OpenAIの文書は、冒頭が同じであることが条件で、変わる内容は後ろに置くよう案内しています。Anthropicの文書は、ツール定義やシステムプロンプトなどを変えると、そこから後ろのキャッシュが無効になると書いています。

Anthropicの公式文書では、キャッシュの書き込みは通常の入力の1.25倍（5分）か2倍（1時間）、読み取りは0.1倍（Sonnet 5.5とOpus 5.5は0.05倍、Fable 5.1とMythos 5.1は0.025倍）です。OpenAIの文書では、GPT-5.6以降で書き込み1.25倍、読み取り0.1倍（GPT-6.1 Solは0.05倍）で、保持は30分です。

僕らの計算：20万トークンの資料

次は、AnthropicのSonnet 5.5の公開価格（入力は100万トークンあたり2ドル）を使った、僕らの計算です。入力費だけで、出力費、検索の仕組みの費用は含めません。

方法 1回の質問の入力費 計算
20万トークンを毎回渡す（キャッシュなし） 0.40ドル 200,000 × 2ドル ÷ 100万
同じ（キャッシュ命中） 0.02ドル 読み取り0.05倍 = 100万あたり0.10ドル
同じ（5分キャッシュの初回の書き込み） 0.50ドル 書き込み1.25倍 = 100万あたり2.50ドル
RAGで20断片 × 800トークン = 1.6万トークンを渡す 0.032ドル 16,000 × 2ドル ÷ 100万

20断片は、Anthropicの検索改善の記事で渡す件数として最良だった数を借りたもので、1断片800トークンも、同記事が費用の試算で置いた仮定を借りたもので、実際の資料でこの大きさになるとは限りません。RAG側には、これとは別に、断片を作る・索引を持つ・検索する費用がかかります。OpenAIの検索の保存料金は、最初の1GBが無料で、以降は1GBあたり1日0.10ドルと書かれています。

この表から言えることは3つあります。

  1. キャッシュが命中し続けるなら、20万トークンを丸ごと渡す入力費（0.02ドル）が、キャッシュなしのRAG（0.032ドル）より小さくなります。
  2. 5分以内に次の質問が来ず、毎回キャッシュの書き込みになると、0.50ドルで、キャッシュなしの0.40ドルより高くなります。
  3. 1回再利用されれば元が取れます。書き込み1.25 + 読み取り0.05 = 1.30で、2回キャッシュなしの2.00より小さいからです。

問い合わせが少ない、不定期に来る、という使い方では、2の落とし穴に入りやすいと、僕らは考えます。1時間のキャッシュは書き込みが2倍なので、費用の余裕とのかね合いです。

料金の段差

Haiku 5.5は、1回の頼みごとが10万トークンを超えると、入力単価が100万あたり0.10ドルから0.50ドルへ上がると、Anthropicの料金ページに書かれています。この判定は、リクエストごとにされ、キャッシュが命中した分があっても、10万トークンを超えれば高い単価になると書かれています。つまり、10万トークンちょうどなら0.01ドル、10万1トークンなら約0.05ドルと、僕らの計算では5倍の段差があります。モデルを選ぶとき、資料のサイズがこの境にかかるかは確認する価値があります。

公式の数字（2026年10月16日に確認）

Anthropicのプロンプトキャッシュ

  • 自動キャッシュ（リクエスト全体に1つ指定）と、明示のブレークポイント（1リクエストに最大4つ）があります。
  • 最小の長さはモデルで違い、512、1,024、2,048、4,096トークンのいずれかです。
  • 既定の保持は5分で、使うたびに更新されます。1時間にもできます。
  • ツール定義、システムプロンプトなどを変えると、そこから後ろのキャッシュが無効になります。
  • 使用量の欄は、cache_read_input_tokens、cache_creation_input_tokens、input_tokensです。input_tokensは最後のブレークポイントより後ろだけで、総入力ではありません。
  • キャッシュの命中は、レート制限に数えられません。
  • キャッシュは、最初の応答が始まってから使えます。並列で送ると、最初のものが命中しません。

Anthropicの価格（100万トークンあたり、Sonnet 5.5）: 入力2ドル、出力10ドル、5分書き込み2.50ドル、1時間書き込み4ドル、読み取り0.10ドル。ページに更新日の表示はありませんでした。

OpenAIのプロンプトキャッシュ: GPT-5.6以降で最小1,024トークン、書き込み1.25倍、読み取り0.1倍、保持30分。要約や切り詰めで履歴を書き換えると、再利用がリセットされうると書かれています。確認はcached_tokensで行います。

OpenAIの検索: 結果は既定10件、最大50件。score_thresholdは0.0〜1.0で、ファイルには属性を最大16個つけ、eq、inなどの条件で絞り込めます。削除は結果整合で、消したあとの短い間、検索結果に残ることがあります。

Google: 長文脈の文書は、キャッシュを使うと費用が標準の約4分の1になる例（Gemini Flash）を挙げていますが、保存料金や割引率の現行値は、キャッシュのページには書かれていませんでした。

軸2：精度

長い文脈の弱点

Anthropicの文書は、トークン数が増えるほど精度と再現率が落ちる現象を「context rot」と呼び、窓の広さと同じくらい、中に入れる内容を選ぶことが大切だと書いています。Googleの文書は、単一の情報を探す試験では高い性能を示す一方、複数の情報を探すと精度が下がり、文脈によって大きく変わると書いています。また、長いほど最初のトークンが出るまでの時間が延びます。

質問を、長い文脈の後ろに置くと性能がよい、という点は、Googleの文書にも書かれています。

RAGの弱点

RAGは、検索で取りこぼせば、AIは根拠を持てません。Anthropicの記事は、上位20件に必要な断片が入らなかった割合（失敗率）を基準にしています。基準の失敗率は5.7%で、次のように下がったと報告しています。

改善 失敗率 基準からの減り方
断片に文脈の説明をつけて埋め込む 3.7% 35%
さらに語句の一致検索（BM25）を併用 2.9% 49%
さらにリランカーで再採点 1.9% 67%

埋め込み（意味の近さ）は、一意の識別子やエラーコードのような正確な語句を取りこぼしやすく、語句の一致検索はそれを補う、と書かれています。上位150件をリランカーで採点して20件に絞る構成でした。20件が、5件、10件より良かった一方、多すぎると気を散らしうるので、用途で試すようにとも書かれています。この数字は、Anthropicが自社の設定で測ったもので、読者の資料で同じになるとは限りません。

論文：長文脈とRAGの比較（2024年のモデル）

Liらの論文（2024年7月投稿、EMNLP 2024の産業トラック）は、Gemini-1.5-Pro、GPT-4o、GPT-3.5-Turboを、9つの公開データセットで比べました。長文脈が平均でRAGを上回りました（3.6〜13.1%）。RAGの強みは費用でした。

さらに、Self-Routeという方法を提案しています。まずRAGで答えさせ、検索した断片では答えられないと自分で判断した問いだけ、全文を渡し直す方法です。半分を超える問いがRAGで済み、Gemini-1.5-Proでは約82%でした。トークン使用量は、全文を渡す方法の約61%（GPT-4o）から約39%（Gemini-1.5-Pro）でした。性能は全文を渡す方法とほぼ同じ（−2.2%〜+1.7%）と報告されています。

論文の数字と、著者が述べる限界
  • 比べた3モデルでの、長文脈の平均的な優位は、Gemini-1.5-Proが7.6%、GPT-4oが13.1%、GPT-3.5-Turboが3.6%です。
  • RAGと長文脈の予測が同じだった問いは、約63%です。
  • 費用の削減は、Gemini-1.5-Proが65%、GPT-4oが39%と書かれています。
  • 著者は、評価のモデルが学習時に評価用の資料を見ている可能性（データ漏えい）を限界として挙げています。最適な断片数がタスクで違う点も限界として挙げています。
  • 今の100万トークン級のモデルでの結果ではありません。傾向の参考として読んでください。

軸3：更新頻度と運用

資料が頻繁に変わる場合、丸ごと渡す方法は、変更のたびにキャッシュが作り直しになります。Anthropicのキャッシュは、冒頭が少しでも変わるとそこから後ろが無効になります。一方、RAGは、変わった断片だけ索引を直せます。ただし、OpenAIの文書は、削除が結果整合で、消した直後の検索に残りうると書いています。消した資料が出てはいけない用途では、この遅れを織り込む必要があります。

見せる範囲を分けたい場合（部署ごと、顧客ごと）、RAGは検索の段階で属性による絞り込みができます（OpenAIの検索）。丸ごと渡す方法では、見せてよい資料だけを選んで組み立てることになります。

出典を示したい場合は、僕らの見立てでは、渡した断片が記録に残るRAGのほうが、どの資料から答えたかを示しやすいはずです。ただし、公式の文書をこの点で比べてはいないので、確認できていません。

判断の表

次の表は、公式の数字を材料にした、僕らの見立てです。

状況 向く方法の目安 理由
資料が窓に十分収まり、5分以内に質問が続く 丸ごと＋キャッシュ 命中すれば入力費が小さく、設計が単純
資料は小さいが、質問が不定期で、少ない 丸ごと（キャッシュなし）かRAGを比較 毎回の書き込みで割高になりうる
資料が窓を超える、または超えそう RAG（または要約と併用） 入りきらない
資料が毎日変わる RAG 変更部分だけ直せる
複数箇所をまたぐ問いが多い 丸ごと、または混合 RAGは取りこぼしやすい
答えに出典、権限の切り分けが必要 RAG＋属性の絞り込み 検索段階で範囲を決められる
問いの種類がばらばら Self-Route型の混合を検討 簡単な問いは安く、難しい問いだけ全文

気をつけること

出典

更新履歴