Loading article…
ストップワードとは、自然言語データ（テキストなど）の処理前または処理後に、意味的価値が低い、または処理対象のタスクにとって重要でないとみなされるため、フィルタリング（「停止」）されるストップリスト（またはストップリスト、ネガティブ辞書）内の単語のことです。[ 1 ]すべての自然言語処理（NLP）ツールで使用される単一の普遍的なストップワードリストはなく、[ 2 ]ストップワードを識別するための合意されたルールもありません。実際、すべてのツールがそのようなリストを使用しているわけではありません。したがって、特定の目的のために、任意の単語のグループをストップワードとして選択できます。「[情報検索]システムの一般的な傾向は、時間の経過とともに、かなり大きなストップリスト（200～300語）の標準的な使用から、非常に小さなストップリスト（7～12語）を経て、ストップリストがまったくない状態へと変化してきました。」[ 3 ]
いくつかのコンコーダンスを作成する際に、前身となる概念が用いられた。例えば、最初のヘブライ語コンコーダンスであるイサク・ナタン・ベン・カロニムスの『メイル・ナティヴ』には、索引付けされていない単語の1ページのリストが含まれており、そこには現代の一般的なストップワードに似た非名詞の前置詞や接続詞が含まれていた。[ 4 ]
情報検索の先駆者の一人であるハンス・ペーター・ルーンは、キーワード・イン・コンテキスト自動インデックス作成プロセスを紹介する際に、このフレーズを造語し、この概念を使用したとされている。[ 5 ]ルーンの1959年の発表にはなかった「ストップワード」というフレーズと、それに関連する「ストップリスト」や「stoplist」という用語が、その後まもなく文献に登場した。[ 6 ]
ストップリストには言語内で最も頻繁に使用される単語のみが含まれると一般的に考えられているが、単語の頻度情報に基づかない最初の標準化されたリストを提案したのはCJ Van Rijsbergenであった。「Vanリスト」には250の英単語が含まれていた。1980年代に開発されたMartin Porterの単語語幹抽出プログラムはVanリストを基に構築されており、Porterリストは現在、さまざまなソフトウェアアプリケーションでデフォルトのストップリストとして広く使用されている。
1990年、クリストファー・フォックスは、ブラウン・コーパス から得られた経験的な単語頻度情報に基づいて、最初の一般的なストップリストを提案した。
この論文では、英語の幅広い文学作品から抽出された 1,014,000 語の Brown コーパスに基づいて、一般テキスト用のストップ リストを作成する試みについて報告します。まず、Brown コーパスで 300 回以上出現するトークンのリストを作成します。この 278 語のリストから、潜在的なインデックス タームとして重要すぎるという理由で 32 語を除外します。次に、特定の種類の文学作品で非常に頻繁に出現する可能性があるという理由で、26 語をリストに追加します。最後に、このリストの使用を意図した有限状態機械ベースのフィルタがほとんどコストをかけずにフィルタリングできるため、149 語をリストに追加します。最終的な成果物は、英語の一般文学作品で最も頻繁に出現し、意味的に中立な単語をフィルタリングするのに最大限に効率的かつ効果的であるはずの 421 語のストップ ワードのリストです。[ 7 ]
SEO用語では、ストップワードとは、多くの検索エンジンがクロールやインデックス作成の際に大量のデータを処理する際のスペースと時間を節約するために、避ける最も一般的な単語のことです。
一部の検索エンジンでは、これらはthe、is、at、which、on などの最も一般的な短い機能語です。この場合、ストップワードは、特に「The Who」、「The The」、「Take That 」などの名前に含まれるフレーズを検索する際に問題を引き起こす可能性があります。他の検索エンジンは、パフォーマンスを向上させるために、「want」などの語彙語を含む最も一般的な単語の一部をクエリから削除します。 [ 8 ]
近年、ストップワードに関するSEOのベストプラクティスは、機械学習やNLPの分野とともに進化してきました。2021年2月、Googleのウェブマスタートレンドアナリストであるジョン・ミューラーは、「ストップワードについては全く心配する必要はありません。自然に書いてください。検索エンジンは個々の単語よりもはるかに多くのものを見ています。『生きるべきか死ぬべきか』はストップワードの集まりにすぎませんが、ストップワードだけではこの文章を正しく表現することはできません。」とツイートしました。[ 9 ] [ 10 ]
{{cite book}}: CS1 maint: 複数の名前: 著者リスト (リンク)