nグラム

n-グラムは、特定の順序で並んだn個の隣接する記号のシーケンスです。 ^{[ 1 ]}記号は、言語データセットで見つかったn個の隣接する文字（句読点や空白を含む）、音節、まれに単語全体、または音声録音データセットから抽出された隣接する音素、またはゲノムから抽出された隣接する塩基対である場合があります。これらは、テキストコーパスまたは音声コーパスから収集されます。

ラテン語の数詞接頭辞が使用される場合、サイズ 1 のnグラムは「ユニグラム」、サイズ 2 は「バイグラム」（またはあまり一般的ではないが「ダイグラム」）などと呼ばれます。ラテン語の代わりに英語の基数がさらに使用される場合は、「フォーグラム」、「ファイブグラム」などと呼ばれます。同様に、ギリシャ語の数詞接頭辞「モノマー」、「ダイマー」、「トリマー」、「テトラマー」、「ペンタマー」など、または英語の基数「ワンマー」、「ツーマー」、「スリーマー」などが、計算生物学において、既知のサイズのポリマーまたはオリゴマー（ kマーと呼ばれる）に使用されます。項目が単語の場合、 $nグラムは$ シングルとも呼ばれます。^{[ 2 ]}

自然言語処理（NLP）の分野では、 nグラムを用いることで、単語の順序などの情報をバッグオブワーズモデルで捉えることが可能になり、これは従来のバッグオブワーズの設定では不可能だった。

例

1951年、シャノン^{[ 3 ]}は英語のnグラムモデルについて論じた。例えば：

3グラム文字モデル（各トリグラムの確率に基づくランダム抽出）：in no ist lat whey cratict froure birs grocid pondenome of demonstures of the retagin is regiactiona of cre
2グラム単語モデル（遷移確率を考慮した単語のランダム抽出）：頭と正面攻撃で英語の作家は、この点のキャラクターは、予期せぬ問題について話した人の時間である文字の別の方法である。

図1は、いくつかの例となるシーケンスと、それに対応する1グラム、2グラム、3グラムのシーケンスを示しています。

以下にさらに例を示します。これらは、Google n -gram コーパスからの単語レベルの 3-gram と 4-gram (およびそれらが出現した回数) です。 ^{[ 4 ]}

3グラム

陶磁器収集品（55）
陶磁器収集品（130点）
収集された陶磁器（52）
陶磁器、収集品、陶器（50）
陶磁器収集品料理（45）

4グラム

（92）
インキュベーターとして機能する（99）
独立した（794）として機能
インデックスとして機能する（223）
指標として機能する（72）
指標として機能する（120）

参考文献

↑ Deller, John R. ; Hansen, John (2005). "現代音声処理のための方法、モデル、およびアルゴリズム". The Electrical Engineering Handbook . pp. 861–890 . doi : 10.1016/B978-012170960-0/50063-3 . ISBN 978-0-12-170960-0。
↑ Broder, Andrei Z.; Glassman, Steven C.; Manasse, Mark S.; Zweig, Geoffrey (1997). "ウェブの構文クラスタリング". Computer Networks and ISDN Systems . 29 (8): 1157–1166 . doi : 10.1016/s0169-7552(97)00031-7 .
↑シャノン、クロード E.「英語の冗長性」サイバネティクス; 第 7 回会議議事録、ニューヨーク: ジョサイア・メイシー・ジュニア財団、1951 年。
↑ Franz, Alex; Brants, Thorsten (2006). "All Our N -gram are Belong to You" . Google Research Blog . 2006年10月17日のオリジナルからアーカイブ済み。 2011年12月16日取得。

さらに読む

マニング、クリストファー D.シュッツェ、ハインリッヒ (1999)。統計的自然言語処理の基礎。マサチューセッツ州ケンブリッジ：MIT Press。ISBN 978-0-262-13360-9。
White, Owen; Dunning, Ted; Sutton, Granger; Adams, Mark; Venter, J. Craig; Fields, Chris (1993). "DNAシーケンスプロジェクトのための品質管理アルゴリズム" . Nucleic Acids Research . 21 (16): 3829– 3838. doi : 10.1093/nar/21.16.3829 . PMC 309901 . PMID 8367301 .
Damerau, Frederick J. (1971). Markov Models and Linguistic Theory . The Hague: Mouton. OCLC 200370 .
Figueroa, Alejandro; Atkinson, John (2012). "自然言語定義質問への回答をランク付けするための文脈言語モデル". Computational Intelligence . 28 (4): 528–548 . doi : 10.1111/j.1467-8640.2012.00426.x .
Brocardo, Marcelo Luiz; Traore, Issa; Saad, Sherif; Woungang, Isaac (2013). 「文体分析を用いたショートメッセージの著者検証」. 2013 International Conference on Computer, Information and Telecommunication Systems (CITS) . pp. 1–6 . doi : 10.1109/CITS.2013.6705711 . ISBN 978-1-4799-0168-5。

外部リンク

Nグラム抽出ツール： nグラムの出現頻度に基づいて重み付けを行います。
GoogleのGoogleブックスnグラムビューアとWeb nグラムデータベース（2006年9月）
STATOPERATOR N-gramsプロジェクトAlexaトップ100万ドメインすべての重み付きn -gramビューア
4億2500万語の現代アメリカ英語コーパスから抽出した、最も頻繁に出現する100万個の2、3、4、5グラム。
Peachnoteの音楽ngramビューア
確率的言語モデル（nグラム）仕様（W3C）
マイケル・コリンズによるn-グラム言語モデルに関するノート
OpenRefine：クラスタリングの詳細

[1] Deller, John R. ; Hansen, John (2005). "現代音声処理のための方法、モデル、およびアルゴリズム". The Electrical Engineering Handbook . pp. 861–890 . doi : 10.1016/B978-012170960-0/50063-3 . ISBN 978-0-12-170960-0。

[2] Broder, Andrei Z.; Glassman, Steven C.; Manasse, Mark S.; Zweig, Geoffrey (1997). "ウェブの構文クラスタリング". Computer Networks and ISDN Systems . 29 (8): 1157–1166 . doi : 10.1016/s0169-7552(97)00031-7 .

[3] シャノン、クロード E.「英語の冗長性」サイバネティクス; 第 7 回会議議事録、ニューヨーク: ジョサイア・メイシー・ジュニア財団、1951 年。

[4] Franz, Alex; Brants, Thorsten (2006). "All Our N -gram are Belong to You" . Google Research Blog . 2006年10月17日のオリジナルからアーカイブ済み。 2011年12月16日取得。

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

例

関連項目

参考文献

さらに読む

外部リンク