「Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks」を、どこから読むか

← ラボ / 原文ゼミ

事前学習済みの生成モデル（パラメータに知識を持つ部分）と、Wikipediaの密ベクトル索引（外部の知識）を、検索器でつないで微調整する方式「RAG」を提案する論文。abstractによると、3つのオープンドメイン質問応答で当時の最高成績を出し、生成課題でも検索を使わない基準モデルより具体的・多様・事実的な出力になったとされている。

読む文書：arXiv:2005.11401（Lewis ほか、2020）

1. 1題名・日付・版を見る

   absページでは、v1の提出日は2020-05-22、最新のv4は2021-04-12。分野はcs.CLとcs.LG。取得した範囲では、v2とv3の日付は読めなかった。

   ここで注意：コメント欄と掲載誌情報は表示されていなかった。発表先は別の一次資料で確かめる。

2. 2abstractで主張を1文にする

   「パラメータに覚えさせた知識だけに頼らず、外部の文書を検索して使うと、知識を要する課題で成績が上がり、出典の提示や知識の更新もしやすくなる」。論文は、RAG-Sequence（出力全体で同じ文書群を使う）とRAG-Token（トークンごとに別の文書を使える）の2つの形を比べている。

   ここで注意：出典の提示や知識の更新は、abstractでは従来の生成モデルの課題として挙げられている点。それがどこまで解決されたかは、本文の実験で確かめる。

3. 3図表で何が示されたかを見る

   表1のNatural Questionsのテストでは、完全一致がRAG-Sequence 44.5、RAG-Token 44.1、閉じた本（外部検索なし）のT5-11B+SSMは36.6。表2のMS-MARCOではRAG-SequenceがBARTを2.6 BLEU・2.6 ROUGE-L上回り、Jeopardy形式の質問生成では表4の人手評価で事実性が42.7%対7.1%（BART）と報告されている。

   ここで注意：FEVERでは、検索の教師なしでも、パイプライン方式の最高成績に3-wayで4.3%、2-wayで2.7%まで迫ったという書き方。上回ったとは書かれていない。

4. 4実験の条件（データ・モデル・比較相手）を見る

   検索器はDPR（BERT-baseの2つの符号化器）で、文書側の符号化器と索引は固定し、質問側だけ微調整する。生成器はBART-large（約4億パラメータ）。索引は2018年12月のWikipediaを100語ずつに分けた約2100万文書。課題は4つのオープンドメインQA、MS-MARCO、Jeopardy質問生成、FEVER。

   ここで注意：知識源はWikipediaだけ。企業の社内文書など別の知識源での結果は、この論文からは分からない。

5. 5限界や「書いていないこと」を見る

   検索の効果はタスクで違い、FEVERではBM25の検索器が最良だった。物語生成のような課題では、検索器が入力に関係なく同じ文書を返す現象（検索の崩壊）が起き、BARTのように振る舞ったと書かれている。広い影響の節では、Wikipediaは完全に事実的でも偏りがないわけでもないこと、誤情報・なりすまし・スパムの悪用リスクが挙がっている。

   ここで注意：索引の入れ替え実験（82人の世界の指導者）は、2016年版と2018年版の索引で70%・68%、食い違う組み合わせで12%・4%。知識を再学習なしに更新できる例だが、1種類の質問での検証にとどまる。

6. 6その後の影響は論文外の話として分ける

   この論文が示したのは、2020年時点のモデルと課題での結果。その後の製品や実装でRAGという名前がどう使われているかは論文の外の話として、別メモにまとめる。

   ここで注意：論文は検索器と生成器の共同事前学習を今後の課題としている。現在の「RAG」と呼ばれる仕組みが論文と同じ構成とは限らない。

この種の文書を読むときの型

外部知識を使う手法の論文は、構成要素（検索器・生成器・索引）の図 → どの課題で何と比べたか → 検索の有無・種類を変えた切り分け実験 → 失敗例と広い影響、の順に読む。知識源の日付（索引の時点）を必ず控えると、数字の意味を取り違えにくい。

確認できていない点（4件）

• absページのコメント欄・掲載誌情報は表示されず、確認していない
• v2・v3の日付は取得結果に表示されなかった
• TriviaQA・WebQuestions・CuratedTrecの個別の数値は、取得できた要約では確認しておらず載せていない
• ベースライン各種の数値や付録の詳細（FAISS設定の細部など）は一部の要約でしか確認していない

出典（3件）

• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks（arXiv abs）（arXiv、確認日 2026-10-23）
• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks（arXiv HTML版）（arXiv、確認日 2026-10-23）
• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks（arXiv PDF）（arXiv、確認日 2026-10-23）

確認日：2026年10月23日。取得は要約経由のものを含みます。原文は、上のリンク先で必ず確かめてください。

ラボの資料は、公式の文書を読んでまとめたもので、実際に使って確かめた記録ではありません。日付や仕様は変わるので、使う前に各ページの出典で確かめてください。事実と「僕らの見立て」は、分けて書いています。