検索拡張型生成

通常、参照対象のデータはLLM埋め込み、つまり大きなベクトル空間の形式の数値表現に変換されます。RAGは、非構造化データ（通常はテキスト）、半構造化データ、または構造化データ（例えば、知識グラフ）に適用できます。これらの埋め込みは、文書検索を可能にするためにベクトルデータベースに保存されます。

ユーザーのクエリが与えられると、まずドキュメント検索器が呼び出され、クエリを補強するために使用される最も関連性の高いドキュメントが選択されます。^{[ 2 ] [ 3 ]}この比較は、使用されるインデックスの種類に応じて、さまざまな方法で行うことができます。^{[ 1 ]}

このモデルは、ユーザーの元のクエリを迅速にエンジニアリングすることにより、取得した関連情報をLLMに供給します。新しい実装（ 2023年現在）また、クエリを複数のドメインに拡張したり、メモリと自己改善を使用して過去の検索から学習したりするなどの機能を備えた特定の拡張モジュールを組み込むこともできます。

最後に、LLMはクエリと取得されたドキュメントの両方に基づいて出力を生成できます。^{[ 2 ] [ 3 ]}一部のモデルは、取得された情報の再ランク付け、コンテキストの選択、微調整など、出力を改善するための追加の手順を組み込んでいます。

これらの手法は、テキストを密ベクトルまたは疎ベクトルとしてエンコードすることに焦点を当てています。単語の識別情報をエンコードする疎ベクトルは、通常辞書長で、ほとんどがゼロです。意味をエンコードする密ベクトルは、よりコンパクトで、ゼロの数が少なくなっています。さまざまな機能強化により、ベクトルストア（データベース）での類似性の計算方法を改善できます。^{[ 8 ]}

• ベクトル類似度の計算方法を最適化することでパフォーマンスが向上します。ドット積は類似度スコアを向上させ、近似最近傍探索（ANN）はK近傍探索（KNN）よりも検索効率を向上させます。^{[ 9 ]}
• 後期の相互作用により精度が向上する可能性があり、これによりシステムは検索後に単語をより正確に比較できるようになります。これは文書のランキングを改善し、検索の関連性を向上させるのに役立ちます。^{[ 10 ]}
• ハイブリッドベクトルアプローチは、密なベクトル表現と疎なワンホットベクトルを組み合わせるために使用でき、密なベクトル演算よりも疎なドット積の計算効率を利用します。^{[ 8 ]}
• その他の検索手法は、文書の選択方法を洗練することで精度を向上させることに重点を置いています。一部の検索手法は、SPLADEなどのスパース表現とクエリ拡張戦略を組み合わせて、検索精度と再現率を向上させています。^{[ 11 ]}

これらの手法は、ベクターデータベースにおける文書検索の質を向上させることを目的としています。

• 逆クローズタスク（ICT）を使用してリトリーバーを事前学習します。これは、文書内のマスクされたテキストを予測することで、モデルが検索パターンを学習するのに役立つ手法です。^{[ 12 ]}
• 教師ありリトリーバー最適化は、検索確率をジェネレーターモデルの尤度分布に合わせます。これには、特定のプロンプトに対して上位 k 個のベクトルを検索し、生成された応答のパープレキシティをスコアリングし、リトリーバーの選択とモデルの尤度の間のKL ダイバージェンスを最小化して検索を洗練することが含まれます。^{[ 13 ]}
• 再ランキング技術は、トレーニング中に最も関連性の高い検索ドキュメントを優先することで、検索器のパフォーマンスを向上させることができます。^{[ 14 ]}

RAG用のRetro言語モデル。各Retroブロックは、アテンション層、チャンク化クロスアテンション層、フィードフォワード層で構成されています。黒文字のボックスは変更されるデータを示し、青文字は変更を実行するアルゴリズムを示します。

言語モデルをリトリーバーを念頭に置いて再設計することで、25分の1のサイズのネットワークで、はるかに大きなネットワークと同等のパープレキシティを得ることができます。^{[ 15 ]}この方法（Retro）はゼロからトレーニングするため、元のRAGスキームでは回避されていたトレーニング実行の高コストが発生します。トレーニング中にドメイン知識を与えることで、Retroはドメインへの注目度を下げ、より小さな重みリソースを言語の意味論にのみ割り当てることができるという仮説があります。再設計された言語モデルを以下に示します。

Retroは再現性がないという報告があったため、再現性を高めるための修正が行われた。再現性の高いバージョンはRetro++と呼ばれ、コンテキストRAGが含まれている。^{[ 16 ]}

チャンキングとは、データ検索ツールがデータの中から詳細情報を見つけられるように、データをベクトルに分割するための様々な戦略を指します。

さまざまなデータ形式には、適切なチャンキングによって活用できるパターンが存在する。

チャンキング戦略には、次の3種類があります。

• 長さは固定で、重複部分があります。これは高速で簡単です。連続するチャンクを重複させることで、チャンク間の意味的な文脈を維持しやすくなります。
• 構文ベースのチャンクを使用すると、文書を文に分割できます。spaCyやNLTKなどのライブラリも役立ちます。
• ファイル形式に基づいたチャンキング。特定のファイル形式には、自然なチャンク構造が組み込まれているため、それを尊重するのが最善です。例えば、コードファイルは、関数全体またはクラス全体としてチャンク化およびベクトル化するのが最適です。HTMLファイルでは、<table>要素やbase64エンコードされた<img>要素はそのまま残しておくべきです。PDFファイルについても同様の考慮が必要です。UnstructuredやLangChainなどのライブラリは、この方法を支援するのに役立ちます。

ベクトルデータベース検索（別名セマンティック検索手法）では、ユーザーの質問に答えるために必要な重要な事実を見落とすことがあります。これを軽減する1つの方法は、従来のテキスト検索（別名全文検索）を実行し、その結果をベクトル検索で取得したベクトルにリンクされたテキストチャンクと組み合わせ、結合されたハイブリッドテキストを（効果的なスコアリングまたは再ランキングスコアリングを使用して）言語モデルに入力して生成することです。^{[ 17 ]}

RAGシステムは、事実としては正しいものの誤解を招く情報源を取得する可能性があり、解釈の誤りにつながることがあります。場合によっては、LLMは文脈を考慮せずに情報源から記述を抽出し、誤った結論に至ることがあります。さらに、矛盾する情報に直面した場合、RAGモデルはどの情報源が正確かを判断するのに苦労することがあります。この制限による最悪の結果は、モデルが複数の情報源からの詳細を組み合わせ、古い情報と更新された情報を誤解を招く形で統合した応答を生成する可能性があることです。MIT Technology Reviewによると、これらの問題は、RAGシステムが取得したデータを誤って解釈する可能性があるために発生します。^{[ 2 ]}

2025年9月、イスラエルはこの制限に基づき、世論を自国に有利な方向に誘導するため（ハスバラ）、600万ドルを支払った。 ^{[ 18 ] [ 19 ]}