nグラム

nグラムは、特定の順序で並んだn 個の隣接する記号のシーケンスです。記号は、n個の隣接する文字(句読点と空白を含む)、音節、またはまれに言語データセットで見つかった単語全体、または音声録音データセットから抽出された隣接する音素、またはゲノムから抽出された隣接する塩基対です。これらは、テキスト コーパスまたは音声コーパスから収集されます。ラテン語の数字の接頭辞が使用される場合、サイズ 1 のnグラムは「ユニグラム」、サイズ 2 のものは「バイグラム」（または、あまり一般的ではないが「ディグラム」）などと呼ばれます。ラテン語の数字の代わりに英語の基数がさらに使用される場合、それらは「4 グラム」、「5 グラム」などと呼ばれます。同様に、ギリシャ語の数字の接頭辞「モノマー」、「ダイマー」、「トリマー」、「テトラマー」、「ペンタマー」など、または英語の基数「1 マー」、「2 マー」、「3 マー」などは、計算生物学では、kマーと呼ばれる既知のサイズのポリマーまたはオリゴマーに対して使用されます。項目が単語の場合、nグラムはシングルと呼ばれることもあります。^[1]

自然言語処理(NLP)のコンテキストでは、 nグラムを使用すると、従来の bag of words 設定では不可能だった語順などの情報を bag-of-wordsモデルで取得できます。

（シャノン1951）^{[2]は英語の}nグラムモデルについて議論した。例えば：

• 3グラム文字モデル（各トリグラムの確率に基づくランダム抽選）：in no ist lat whey cratict froure birs grocid pondenome of demonstures of the retagin is regiactiona of cre
• 2グラムの単語モデル（遷移確率を考慮した単語のランダムな抽出）：この点の文字は、したがって、予想外の問題について誰が言ったかの時間の文字の別の方法であるという英語の作家への正面攻撃で頭と

図 1 は、いくつかの例のシーケンスと、それに対応する 1 グラム、2 グラム、3 グラムのシーケンスを示しています。

さらに例を挙げると、Google nグラムコーパスからの単語レベルの3グラムと4グラム（および出現回数）です。^[3]

3グラム

• 陶器 収集品 収集品 (55)
• 陶磁器 収集品 高級品 (130)
• 収集された陶磁器（52）
• 陶器 収集用陶器 (50)
• 陶器 収集品 料理 (45)

4グラム

• 就任する（92）
• インキュベーターとして機能する（99）
• 独立して活動する（794）
• 索引として役立つ（223）
• 指示となる（72）
• 指標となる（120）

• マニング、クリストファー D.; シュッツェ、ヒンリッヒ;統計的自然言語処理の基礎、MIT プレス: 1999、ISBN 0-262-13360-1 
• White, Owen; Dunning, Ted; Sutton, Granger; Adams, Mark; Venter, J. Craig; Fields, Chris (1993). 「DNA 配列決定プロジェクトの品質管理アルゴリズム」. Nucleic Acids Research . 21 (16): 3829–3838. doi :10.1093/nar/21.16.3829. PMC  309901. PMID  8367301 .
• ダメラウ、フレデリック J.;マルコフモデルと言語理論、ムートン、ハーグ、1971
• Figueroa , Alejandro; Atkinson, John (2012). 「自然言語定義の質問に対する回答をランク付けするための文脈言語モデル」。計算知能。28 (4): 528–548。doi : 10.1111 /j.1467-8640.2012.00426.x。S2CID 27378409  。
• Brocardo, Marcelo Luiz; Traore, Issa; Saad, Sherif; Woungang, Isaac (2013)。「Stylometry を使用したショート メッセージの著者検証」IEEE 国際コンピュータ、情報、および通信システム会議 (CITS)。

• Google ブックス Ngram ビューア

• Ngram 抽出: 頻度に基づいて n-gram の重みを与えます。
• Google の Google ブックス n-gram ビューアと Web n-gram データベース (2006 年 9 月)
• STATOPERATOR N-grams プロジェクト Alexa Top 1M のすべてのドメインの重み付けされた n-gram ビューア
• 現代アメリカ英語の4億2500万語コーパスから最も頻繁に使用される2、3、4、5グラム100万語
• Peachnote の音楽 ngram ビューア
• 確率的言語モデル (n-Gram) 仕様 (W3C)
• Michael Collins の n-Gram 言語モデルに関するメモ
• OpenRefine: 詳細なクラスタリング