ベクターデータベース

ベクトルデータベース、ベクトルストア、またはベクトル検索エンジンは、ベクトル（固定長の数値リスト）を他のデータ項目とともに保存できるデータベースです。ベクトルデータベースは通常、1つ以上の近似最近傍アルゴリズム^{[1] [2] [3]}を実装しているため、クエリベクトルを使用してデータベースを検索し、最も近いデータベースレコードを取得できます。

ベクトルは、高次元空間におけるデータの数学的表現です。この空間では、各次元がデータの特徴に対応しており、次元の数は、表現されるデータの複雑さに応じて数百から数万の範囲です。この空間におけるベクトルの位置は、その特徴を表します。単語、フレーズ、またはドキュメント全体、画像、音声、その他の種類のデータはすべてベクトル化できます。^[4]

これらの特徴ベクトルは、特徴抽出アルゴリズム、単語埋め込み^[5]、またはディープラーニングネットワークなどの機械学習手法を使用して生データから計算される場合があります。目的は、意味的に類似したデータ項目が互いに近い特徴ベクトルを受け取ることです。

ベクターデータベースは、類似性検索、セマンティック検索、マルチモーダル検索、レコメンデーションエンジン、大規模言語モデル（LLM）、オブジェクト検出などに使用できます。 ^[6]

ベクター データベースは、大規模言語モデルのドメイン固有の応答を改善する方法である検索拡張生成(RAG) を実装するためにもよく使用されます。RAG の検索コンポーネントは任意の検索システムにすることができますが、ベクター データベースとして実装されることが最も多いです。関心のあるドメインを説明するテキスト ドキュメントが収集され、各ドキュメントまたはドキュメント セクションについて、通常はディープラーニング ネットワークを使用して特徴ベクトル (「埋め込み」と呼ばれる) が計算され、ベクター データベースに格納されます。ユーザー プロンプトが与えられると、プロンプトの特徴ベクトルが計算され、データベースが照会されて最も関連性の高いドキュメントが取得されます。次に、これらは大規模言語モデルのコンテキスト ウィンドウに自動的に追加され、大規模言語モデルはこのコンテキストを与えられたプロンプトに対する応答の作成に進みます。^[7]

高次元ベクトルの類似性検索で最も重要な手法は次のとおりです。

• 階層的ナビゲート可能なスモールワールド（HNSW）グラフ
• 局所性を考慮したハッシュ法（LSH）とスケッチ
• 積量子化 (PQ)
• 反転ファイル

これらの技術の組み合わせ。^[要出典]

最近のベンチマークでは、HNSWベースの実装は最高のパフォーマンスを発揮しています。^{[8] [9]}国際類似性検索およびアプリケーション会議、SISAP、神経情報処理システム会議（NeurIPS）などの会議では、大規模データベースでのベクトル検索に関するコンテストが開催されています。

• 次元の呪い - 多くの側面（「次元」）を持つデータを分析するときに生じる困難
• 機械学習 – 経験を通じて自動的に改善するアルゴリズムの研究
• 最近傍探索 – コンピュータサイエンスにおける最適化問題
• レコメンデーションシステム – ユーザーの好みを予測するシステム

• Sawers, Paul (2024-04-20). 「AI の誇大宣伝サイクルがピークを迎える中、ベクター データベースが注目を集めている理由」TechCrunch 。2024年 4 月 23 日閲覧。