Loading article…
情報検索における複合語処理とは、複合語に基づいて検索結果を照合することです。複合語は、2つ以上の単純な語を組み合わせることによって作られます。例えば、「triple」は単語ですが、「triple heart bypass」は複合語です。
複合語処理は、使いやすさを維持しながら検索結果の関連性を向上させる方法という、古くからある問題に対する新しいアプローチです。この技術を使用すると、高齢者の三重心臓バイパス手術後の生存率を検索すると、この正確なフレーズがどの文書にも含まれていなくても、このトピックに関する文書を見つけることができます。これは、複合語処理を使用する概念検索によって実行できます。これにより、主要な概念（この場合は「生存率」、「三重心臓バイパス手術」、「高齢者」）が自動的に抽出され、これらの概念を使用して最も関連性の高い文書が選択されます。
2003年8月、Concept Searching Limitedは統計的複合語処理を用いるというアイデアを発表した。[ 1 ]
CLAMOURは、産業情報や統計を収集・普及する際に、より良い分類方法を見つけることを目的とした欧州の共同プロジェクトです。CLAMOURは、統計モデリングに基づくアプローチではなく、言語的アプローチを採用しているようです。[ 2 ]
単語の確率的重み付けの手法は、少なくとも1976年のStephen E. RobertsonとKaren Spärck Jonesによる画期的な出版物にまで遡る。[ 3 ] Robertsonは、単語の独立性の仮定は正当化されず、数学的な便宜上の問題として存在すると述べている。独立性という用語に対する彼の異議は新しい考えではなく、少なくとも1964年にHH Williamsが「文書内の単語の独立性の仮定は、通常、数学的な便宜上の問題としてなされる」と述べた時まで遡る。[ 4 ]
2004年、アンナ・リン・パターソンは「情報検索システムにおけるフレーズベース検索」に関する特許を出願し[ 5 ]、その後Googleがその権利を取得した[ 6 ] 。
統計的複合語処理は、パターソンが説明したプロセスよりも適応性が高い。パターソンのプロセスは、一般的な検索に関する広範な統計的知識を用いて候補となるフレーズを特定できるワールドワイドウェブの検索を対象としている。一方、統計的複合語処理は、そのような事前知識が利用できない企業向け検索アプリケーションにより適している。
統計的な複合語処理は、CLAMOURプロジェクトが採用している言語学的アプローチよりも適応性が高い。CLAMOURプロジェクトでは、語句の構文特性（品詞、性、数など）やそれらの組み合わせを考慮する必要がある。CLAMOURは言語に大きく依存するのに対し、統計的アプローチは言語に依存しない。
複合語処理により、検索エンジンなどの情報検索アプリケーションは、非常に曖昧になりがちな単語単独ではなく、複数の単語からなる概念に基づいてマッチングを実行できるようになります。
初期の検索エンジンは、ユーザーが検索ボックスに入力した単語を含む文書を検索していました。これらはキーワード検索エンジンとして知られています。ブール検索エンジンは、ユーザーが追加の条件を指定できるようにすることで、より高度な検索を可能にします。たとえば、「Tiger NEAR Woods AND (golf OR golfing) NOT Volkswagen」は、「NEAR」、「AND」、「OR」、「NOT」演算子を使用して、これらの単語が特定の条件を満たす必要があることを指定します。フレーズ検索はより簡単に使用できますが、指定したフレーズが結果に完全に一致する必要があります。