Loading article…
バイグラムまたはディグラムは、トークンの文字列（通常は文字、音節、または単語）からの 2 つの隣接する要素のシーケンスです。バイグラムは、n =2 の場合のnグラムです。
文字列内のすべてのバイグラムの頻度分布は、計算言語学、暗号化、音声認識など、多くのアプリケーションでテキストの単純な統計分析によく使用されます。
ギャップのあるバイグラムまたはスキッピング バイグラムは、ギャップを許可する単語のペアです（おそらく、単語の接続を回避したり、依存関係のシミュレーションを許可したりします（依存関係文法の場合など）。
アプリケーション
バイグラムは他のnグラムとともに、音声認識のための最も成功した言語モデルで使用されています。[1]
バイグラム頻度攻撃は、暗号文を解読するために暗号で使用できます。頻度分析を参照してください。
バイグラム頻度は、統計的な言語識別に対する 1 つのアプローチです。
ロゴロジーやレクリエーション言語学の活動には、バイグラムが含まれるものがあります。これには、あらゆるバイグラムで始まる英単語を探す試みや、[2]ロゴゴーグのようなバイグラムの繰り返し文字列を含む単語が含まれます。[3]
英語におけるバイグラムの頻度
大規模な英語コーパスにおける最も一般的な文字バイグラムの頻度は次のとおりです。[4]
3.56% の 1.17% から 0.83% 彼 3.07% ed 1.17% レ 0.83% 2.43%は1.13%で0.83% 2.05% 1.12% 0.79% 1.99% アル 1.09% 私 0.79% 再 1.85% ar 1.07% de 0.76% 1.76% 上 1.05% 高 0.76% 1.49%から1.05% ri 0.73% en 1.45% nt 1.04% ro 0.73% nd 1.35% ng 0.95% ic 0.70% ti 1.34% se 0.93% ne 0.69% es 1.34% ha 0.93% ea 0.69% または1.28% 0.87% ra 0.69% te 1.20% ou 0.87% ce 0.65%
参照
参考文献
- ^ Collins, Michael John (1996-06-24). 「バイグラム語彙依存関係に基づく新しい統計パーサー」。第34回計算言語学協会年次会議議事録 - 。計算言語学協会。pp. 184–191。arXiv : cmp-lg/9605012 。doi : 10.3115 / 981863.981888。S2CID 12615602 。 2018年10月9日閲覧。
- ^ Cohen, Philip M. (1975). 「Initial Bigrams」. Word Ways . 8 (2) . 2016年9月11日閲覧。
- ^ Corbin, Kyle (1989). 「Double, Triple, and Quadruple Bigrams」. Word Ways . 22 (3) . 2016年9月11日閲覧。
- ^ 「英語の文字頻度カウント：Mayzner再考またはETAOIN SRHLDCU」。norvig.com 。 2019年10月28日閲覧。