Loading article…
クエリ拡張（QE ）は、情報検索操作、特にクエリ理解の文脈での検索パフォーマンスを向上させるために、特定のクエリを再定式化するプロセスです。[1]検索エンジン のコンテキストでは、クエリ拡張では、ユーザーの入力（検索クエリ領域に入力された単語、場合によっては他の種類のデータ）を評価し、追加のドキュメントに一致するように検索クエリを拡張します。クエリ拡張には、次のような手法が含まれます。
- 単語の同義語の検索、同義語の検索
- 意味的に関連する単語の検索（例：反意語、部分語、下位語、上位語）
- 検索クエリ内の各単語を語幹処理して、単語のさまざまな形態をすべて見つける
- スペルミスを修正し、修正された形式を自動的に検索したり、結果に提案したりする
- 元のクエリの用語の重み付けを変更する
クエリ拡張は、コンピュータサイエンスの分野、特に自然言語処理と情報検索の領域で研究されている方法論です。
精度と再現率のトレードオフ
検索エンジンは、ユーザーの検索結果の品質を高めるためにクエリ拡張を呼び出します。ユーザーが常に最適な用語を使用して検索クエリを作成するわけではないことが想定されています。この場合、最適なのは、ユーザーが入力した用語がデータベースに含まれていないためである可能性があります。
ユーザーが入力した用語を語幹処理すると、ユーザーが入力した用語の代替語形も一致するため、一致するドキュメントが増え、総再現率が増加します。ただし、精度は低下します。検索クエリを拡張して、ユーザーが入力した用語の同義語を検索すると、再現率は向上しますが、精度は低下します。これは、再現率の要素が分母の一部であるため、再現率が高くなると暗黙的に精度が低下するという、精度の計算方法の方程式の性質によるものです。また、多くのユーザーは精度に関係なく、より多くの結果をくまなく調べることを望まないため、再現率が高くなると全体的な検索結果の品質に悪影響が出るとも推測されます。
この点におけるクエリ拡張の目標は、再現率を高めることで、より関連性の高い（高品質の）ページ、または少なくとも同等の関連性の高いページを結果セットに含めることにより、精度を（数学的に等式のように低下するのではなく）潜在的に高めることです。結果セットには含まれないページであっても、ユーザーの希望するクエリとの関連性が高い可能性があるページは含まれます。クエリ拡張がなければ、関連性に関わらず、そのようなページは含まれません。同時に、現在の商用検索エンジンの多くは、ランキング付けに単語頻度（ tf-idf ）を使用しています。 [要出典] ユーザーが入力した単語と同義語および代替形態の両方の出現をランキング付けすることにより、密度の高い（高頻度で近接した）ドキュメントが検索結果の上位に移動する傾向があり、再現率が高いにもかかわらず、結果の上部近くにある検索結果の品質が向上します。
クエリ拡張方法
クエリ拡張の自動手法は、1960 年に Maron と Kuhns によって提案されました。[2]現代のクエリ拡張手法は、ドキュメント コレクション分析 (グローバルまたはローカル) [3]を意味するか、辞書またはオントロジーに基づいています。[4]ドキュメント コレクションのグローバル分析は、用語間の関係の検索に適用されます。ローカル分析は、Rocchio によって導入された関連性フィードバックを指します。 [5] Rocchio は、取得したドキュメントの一部を手動で判断し、このフィードバック情報を使用してクエリを拡張することを提案しました。ユーザーの判断を収集するのは難しい場合があるため、最初に取得された上位のドキュメントのみが関連性があると見なされます。これは、いわゆる疑似関連性フィードバック(PRF) です。[6]疑似関連性フィードバックは平均的には効率的ですが、一部のクエリの結果に悪影響を与える可能性があります。[7]特に難しいクエリでは、取得された上位のドキュメントは関連性がない可能性があるためです。疑似関連ドキュメントは、多くのクエリ用語と共起する拡張候補用語を見つけるために使用されます。[8]このアイデアは、関連性言語モデル形式論の中で、疑似関連文書内のクエリ用語までの距離を考慮した位置関連性[9]と近接関連性モデル[10]の中でさらに発展しました。クエリ拡張のもう1つの方向性は、インデックスとクエリ用語をベクトル空間で表現することです。これは、意味ベクトルまたは単語埋め込みを使用して、クエリ時に関連用語を見つけるために使用できます。[11] [12]
より一般的には、クエリ拡張とその対応するドキュメント拡張は、ディープラーニングに基づくさまざまなエンコーディングスキームを使用して、ベクターデータベースの形で実装されています。[13]
参照
ソフトウェアライブラリ
- QueryTermAnalyzer オープンソース、C#。クエリ拡張のための機械学習ベースのクエリ用語重みおよび同義語アナライザー。
- LucQE - オープンソース、Java。Apache Luceneを使用してクエリ拡張を実行できるフレームワークといくつかの実装を提供します。
- Xapianは、クエリ拡張をサポートするオープンソースの検索ライブラリです。
- ReQueオープンソース、Python。教師ありクエリ拡張法のトレーニングと評価のための設定可能なソフトウェアフレームワークとゴールドスタンダードデータセットのコレクション。[14] [15]
参考文献
引用
- ^ Vectomova, Olga; Wang, Ying (2006). 「用語の近接性がクエリ拡張に与える影響に関する研究」. Journal of Information Science . 32 (4): 324–333. CiteSeerX 10.1.1.552.5987 . doi :10.1177/0165551506065787. S2CID 7265523.
- ^ Maron, ME および Kuhns, JL 1960. 関連性、確率的索引付け、および情報検索について。Journal of the ACM 7, 3, 216–244。
- ^ C. CarpinetoとG. Romano。情報検索における自動クエリ拡張の調査。ACM Computing Surveys、44(1):1-50、2012年1月。
- ^ J. Bhogal、A. Macfarlane、P. Smith。オントロジーベースのクエリ拡張のレビュー。Inf. Process. Manage.、43(4):866-886、2007年7月。
- ^ J. Rocchio. 情報検索における関連性フィードバック。SMART 検索システム、p. 313-323。1971 年。
- ^ C. Buckley. SMART を使用した自動クエリ拡張: TREC 3. 第 3 回テキスト検索会議 (TREC-3) の議事録。NIST 特別出版、p. 69-80。米国国立標準技術研究所、1995 年。
- ^ G. Amati、C. Carpineto、G. Romano。クエリの難易度、堅牢性、およびクエリ拡張の選択的適用。情報検索の進歩、p. 127-137、2004年。
- ^ J. Xu および WB Croft。ローカルおよびグローバル ドキュメント分析を使用したクエリ拡張。情報検索の研究開発に関する第 19 回国際 ACM SIGIR 会議の議事録、4 ～ 11 ページ。ACM、1996 年。
- ^ Y. Lv および C. Zhai。疑似関連性フィードバックのための位置関連性モデル。情報検索の研究開発に関する第 33 回国際 ACM SIGIR 会議の議事録、579-586 ページ。ACM、2010 年。
- ^ L. Ermakova、J. Mothe、E. Nikitina。2016。クエリ拡張のための近接関連性モデル。第31回ACM応用コンピューティングシンポジウム（SAC '16）の議事録。ACM、ニューヨーク、ニューヨーク、米国、1054-1059。DOI: https://doi.org/10.1145/2851613.2851696
- ^ Sahlgren、Magnus、Jussi Karlgren、Rickard Cöster、および Timo Järvinen。2003 年。「ランダム インデックスを使用した自動クエリ拡張」。『クロス言語情報検索の進歩: クロス言語評価フォーラム (CLEF) の第 3 回ワークショップ』。Springer。
- ^ S. Kuzi、A. Shtok、O. Kurland。2016。「単語埋め込みを使用したクエリ拡張」。第25回ACM国際情報および知識管理会議（CIKM '16）の議事録。ACM、ニューヨーク、ニューヨーク、米国、1929-1932。DOI: https://doi.org/10.1145/2983323.2983876
- ^ Lin, Jimmy; Nogueira, Rodrigo; Yates, Andrew (2020-10-13). 「テキストランキング用の事前学習済みトランスフォーマー: BERT とその先」. arXiv : 2010.06467 [cs.IR].
- ^ Mahtab Tamannaee、Hossein Fani、Fattane Zarrinkalam、Jamil Samouh、Samad Paydar、Ebrahim Bagheri: リクエスト: クエリ絞り込みのための構成可能なワークフローとデータセット コレクション。 CIKM 2020: 3165-3172
- ^ Hossein Fani、Mahtab Tamannaee、Fattane Zarrinkalam、Jamil Samouh、Samad Paydar、Ebrahim Bagheri、「クエリ絞り込み方法とゴールドスタンダードデータセット生成の拡張可能なツールキット」。情報検索の進歩：第43回ヨーロッパIR研究会議（ECIR'21）、2021年。
出典
- D. Abberley、D. Kirby、S. Renals、および T. Robinson、「THISL 放送ニュース検索システム」。Proc . ESCA ETRW Workshop Accessing Information in Spoken Audio、(ケンブリッジ)、pp. 14–19、1999。クエリ拡張のセクション - 簡潔で数学的な概要。
- R. Navigli、P. Velardi。オントロジーベースのクエリ拡張戦略の分析。適応型テキスト抽出およびマイニングに関するワークショップ (ATEM 2003) の議事録、第 14 回ヨーロッパ機械学習会議 (ECML 2003)、クロアチア、ツァヴタット-ドゥブロヴニク、2003 年 9 月 22 ～ 26 日、pp. 42 ～ 49 - 参照オントロジーとして WordNet に依存するクエリ拡張方法の分析。
- Y. Qiu および HP Frei。概念に基づくクエリ拡張。SIGIR -93 議事録、第 16 回 ACM 国際情報検索研究開発会議、ピッツバーグ、SIGIR フォーラム、ACM プレス、1993 年 6 月 - クエリ拡張の特定の方法に関する学術文書
- Efthimis N. Efthimiadis。クエリ拡張。Martha E. Williams (編)、『Annual Review of Information Systems and Technology (ARIST)』、v31、pp 121–187、1996 - 技術に詳しくない読者向けの入門書。