統計的にあり得ないフレーズ

統計的にありそうもないフレーズ（SIP ）は、ある文書（または文書のコレクション）の中で、より大きなコーパスよりも頻繁に出現するフレーズまたは単語セットです。^{[1] [2] [3]} Amazon.comは、特定の書籍または章のキーワードを決定する際にこの概念を使用しています。書籍または章のキーワードはそのセクション内で不釣り合いに出現する可能性が高いためです。^{[4] [5]} Christian Rudderも、オンラインデートプロフィールとTwitterの投稿のデータを使用してこの概念を使用し、著書「Dataclysm」で特定の人種または性別に最も特徴的なフレーズを決定しました。^[6] 2つまたは3つの単語（形容詞、形容詞、名詞または副詞、副詞、動詞）の言語密度を持つSIPは、著者の態度、前提または結論を読者に伝えたり、重要なアイデアを表現したりします。

SIP のもう 1 つの用途は、盗作の検出ツールとしての使用です。(ほぼ) ユニークな単語の組み合わせをオンラインで検索すると、公開されたテキストにその単語が出現した場合、検索によってその場所が特定されます。この方法では、公開され、オンラインでデジタル化されたテキストのみをチェックします。

たとえば、学生の提出物に「庭園スタイル、デザインの不規則性を称賛する」というフレーズが含まれていた場合、Google.com を使用して検索すると、イギリスの政治家でエッセイストのウィリアム・テンプル卿に関するオリジナルの Wikipedia 記事が表示されます。

コンピュータに関する文書では、最も一般的な単語は「the」である可能性が高いですが、「the」は英語で最も一般的に使用される単語であるため、どの文書でも「the」が非常に頻繁に使用される可能性があります。ただし、「explicit Boolean algorithm」などのフレーズは、英語での平均頻度よりもはるかに高い頻度で文書に出現する可能性があります。したがって、このフレーズはどの文書にも出現する可能性は低いですが、特定の文書では出現しています。「Explicit Boolean algorithm」は統計的に起こりにくいフレーズです。

ダーウィンの『種の起源』の統計的にありそうもないフレーズとしては、温帯産、属の派生、過渡的段階、未知の祖先、化石層、家畜種、改変された子孫、疑わしい形態、近縁形態、有益な変異、非常に遠い、過渡的段階、非常に異なる種、雑種の子孫などが挙げられます。^[7]

• コロケーション– 偶然に予想されるよりも頻繁に共起する単語の列
• Googlewhack – Google によってインデックスされた、単一のウェブページ上で出現する 2 つの単語
• tf-idf – 情報検索やテキストマイニングで使用される統計
• 複雑に特定された情報- 「インテリジェントデザイン」理論を主張するために使われる概念