関連性フィードバック

関連性フィードバックは、一部の情報検索システムの機能です。関連性フィードバックの背後にある考え方は、特定のクエリから最初に返された結果を取得し、ユーザーフィードバックを収集し、その結果が関連性があるかどうかに関する情報を使用して新しいクエリを実行することです。明示的フィードバック、暗黙的フィードバック、およびブラインド フィードバックまたは「疑似」フィードバックの 3 種類のフィードバックを区別すると便利です。

明示的なフィードバックは、クエリに対して取得されたドキュメントの関連性を示す関連性の評価者から取得されます。このタイプのフィードバックは、提供されたフィードバックが関連性の判断として解釈されることを評価者 (またはシステムの他のユーザー) が知っている場合にのみ、明示的であると定義されます。

ユーザーは、バイナリまたは段階的関連性システムを使用して関連性を明示的に示すことができます。バイナリ関連性フィードバックは、ドキュメントが特定のクエリに関連しているかどうかを示します。段階的関連性フィードバックは、数字、文字、または説明を使用したスケールで、クエリに対するドキュメントの関連性を示します (「関連なし」、「やや関連」、「関連あり」、「非常に関連あり」など)。段階的関連性は、評価者によって作成されたドキュメントの基本的な順序付けの形をとることもできます。つまり、評価者は結果セットのドキュメントを関連性の順序 (通常は降順) で配置します。この例としては、Googleが検索 Web サイトで 実装したSearchWiki機能があります。

検索パフォーマンスを向上させるには、よく知られているRocchio アルゴリズムなどの関連性フィードバック情報を元のクエリに補間する必要があります。

明示的な関連性フィードバックに基づくランキングアルゴリズムの有用性を測定するために 2005 年頃に人気が高まったパフォーマンス メトリックは、正規化割引累積ゲインです。その他の測定基準には、 kでの精度や平均精度などがあります。

暗黙的なフィードバックは、ユーザーが閲覧のために選択した文書や選択しなかった文書、文書の閲覧に費やした時間、ページの閲覧やスクロールのアクションなどのユーザーの行動から推測されます。^[1]検索プロセス中には、暗黙的なフィードバックやそれに応じて提供する情報の種類に使用できるシグナルが多数あります。^{[2] [3]}

暗黙的な関連性フィードバックと明示的な関連性フィードバックの主な違いは次のとおりです。^[4]

1. ユーザーはIRシステムの利益のために関連性を評価しているのではなく、自分のニーズを満たすためだけに評価している。
2. ユーザーは、自分の行動（選択された文書）が関連性フィードバックとして使用されることを必ずしも知らされない。

一例として、滞在時間が挙げられます。これは、検索結果にリンクされているページをユーザーが閲覧する時間の長さを測る指標です。これは、検索結果がユーザーの検索意図をどの程度満たしているかを示す指標であり、検索結果を改善するためのフィードバック メカニズムとして使用されます。

疑似関連性フィードバック (ブラインド関連性フィードバックとも呼ばれる) は、自動ローカル分析の方法を提供します。関連性フィードバックの手動部分を自動化し、ユーザーは長時間の操作をしなくても検索パフォーマンスが向上します。この方法では、通常の検索を実行して最も関連性の高いドキュメントの初期セットを見つけ、次に上位の「k」ランクのドキュメントが関連していると想定し、最後にこの想定に基づいて以前と同じように関連性フィードバックを実行します。手順は次のとおりです。

1. 最初のクエリによって返された結果を関連する結果として取得します (ほとんどの実験では、k が 10 から 50 の間の上位 k のみ)。
2. たとえばtf-idf重みを使用して、これらのドキュメントから上位 20 ～ 30 個 (目安となる数) の用語を選択します。
3. クエリ拡張を実行し、これらの用語をクエリに追加し、返されたドキュメントをこのクエリに一致させて、最後に最も関連性の高いドキュメントを返します。

(Buckley et al.1995) で発表された Cornell SMART システムの結果などのいくつかの実験では、TREC 4 実験のコンテキストで疑似関連性フィードバックを使用することで検索システムのパフォーマンスが向上することが示されています。

この自動手法は、ほとんどの場合うまく機能します。証拠によると、グローバル分析よりもうまく機能する傾向があります。^[5]クエリ拡張により、最初のラウンドで見逃されたいくつかの関連ドキュメントが取得され、全体的なパフォーマンスが向上します。明らかに、この方法の効果は、選択された拡張用語の品質に大きく依存しています。TRECアドホックタスクでパフォーマンスが向上することがわかっています^{[引用が必要]}。ただし、自動プロセスの危険性がないわけではありません。たとえば、クエリが銅鉱山に関するもので、上位の数件のドキュメントがすべてチリの鉱山に関するものである場合、チリに関するドキュメントの方向にクエリがドリフトする可能性があります。さらに、元のクエリに追加された単語がクエリトピックに関連しない場合は、検索の品質が低下する可能性があります。これは、Webドキュメントが複数の異なるトピックをカバーすることが多いWeb検索では特に当てはまります。疑似関連性フィードバックにおける拡張語の品質を向上させるために、疑似関連性フィードバックの位置関連性フィードバックが提案されており、フィードバック文書内の語の位置に基づいて、クエリトピックに焦点を合わせた語をフィードバック文書から選択します。^[6]具体的には、位置関連性モデルは、クエリ語に近い語はクエリトピックに関連している可能性が高いという直感に基づいて、クエリ語に近い語に高い重みを割り当てます。

ブラインド フィードバックは関連性フィードバックの手動部分を自動化し、評価者が不要であるという利点があります。

関連性情報は、関連するドキュメントの内容を使用して元のクエリ内の用語の重みを調整するか、それらの内容を使用してクエリに単語を追加することによって利用されます。関連性フィードバックは、多くの場合、Rocchio アルゴリズムを使用して実装されます。

• 関連性フィードバック講義ノート - ジミー・リンの講義ノート、ダグ・オードの
• [1] -現代の情報検索からの章
• Stefan Büttcher、Charles LA Clarke、Gordon V. Cormack。情報検索：検索エンジンの実装と評価。Wayback Machineに 2020-10-05 にアーカイブ。MIT Press、マサチューセッツ州ケンブリッジ、2010 年。