ジップの法則

ジップの法則（ジップのほうそく、ドイツ語: [t͡sɪpf]）は、測定値のリストを降順で並べた場合、 n 番目のエントリの値はnに ほぼ 反比例することが多いという経験法則です。

ジップの法則の最もよく知られた例は、自然言語のテキストまたはコーパス内の単語の頻度表に当てはまります。通常、最も一般的な単語は、次によく使用される単語の約 2 倍の頻度で出現し、3 番目によく使用される単語の約 3 倍の頻度で出現します。たとえば、アメリカ英語のテキストのブラウン コーパスでは、「 the 」という単語が最も頻繁に出現する単語であり、それ自体ですべての単語の出現の約 7% (100 万回強のうち 69,971 回) を占めています。ジップの法則に忠実に、2 番目に出現する単語「of」は、単語の 3.5% 強 (36,411 回) を占め、次に「and」が続きます (28,852 回)。^{[2]これは、}ジップマンデルブロの法則と呼ばれる次の形式でよく使用されます。ここで、 および は適合パラメータであり、および^[1]$${\displaystyle \ {\mathsf {単語\頻度}}\ \propto \ {\frac {1}{\ {\mathsf {単語\順位}}\ }}~.}$$$${\displaystyle \ {\mathsf {頻度}}\ \propto \ {\frac {1}{\ \left(\ {\mathsf {順位}}+b\ \right)^{a}\ }}\ }$$${\displaystyle \a\}$${\displaystyle \b\}$${\displaystyle \ a\approx 1\ ,}$${\displaystyle \ b\approx 2.7~.}$

この法則はアメリカの言語学者 ジョージ・キングスリー・ジップ[ ^{3] [4] [5]}にちなんで名付けられ、現在でも定量的言語学の重要な概念となっています。この法則は、物理科学や社会科学で研究される他の多くの種類のデータにも当てはまることが分かっています。

数理統計学では、この概念はジップ分布として形式化されています。ジップ分布は、順位-頻度分布が逆べき乗則の関係にある、関連する離散確率分布の族です。これらは、ベンフォードの法則やパレート分布に関連しています。

時間依存の経験的データのセットの中には、ジップの法則から多少逸脱するものもある。このような経験的分布は、準ジップ分布であると言われる。

1913年、ドイツの物理学者フェリックス・アウアーバッハは、都市の人口規模と、その変数の降順で並べた順位との間に反比例関係があることを観察した。^[6]

ジップの法則はジップ以前にも発見されており、^[a]最初はフランスの速記者ジャン＝バティスト・エストゥープによって1916年に、^{[8] [7]}またG.デューイによって1923年に、^[9] E.コンドンによって1928年に発見された。 ^[10]

自然言語テキストにおける単語の出現頻度に関する同様の関係は、1932年にジョージ・ジップによって観察されたが^[4]、彼はそれを自分が考案したと主張したことはない。実際、ジップは数学が好きではなかった。1932年の著書^[11]で、著者は言語学における数学の関与について軽蔑の念を表明している（同書、21ページ）。

...ここで、次のデータをより正確に定式化しようとしている数学者のために言っておきたいのは、非常に強い正の値が、非常に強い負の値になる能力は、私の意見では、次の形で式に悪魔をもたらすということである。 ${\displaystyle \ {\sqrt {-i\;}}~.}$

ジップが使用した唯一の数式はa . b ² =   定数のようで、これはアルフレッド・J・ロトカの1926年の出版物から「借用」されたものである。 ^[12]

同じ関係は、他の多くの状況や、頻度以外の変数でも発生することがわかっています。^[1]たとえば、企業を規模の大きい順にランク付けすると、その規模はランクに反比例することがわかります。^{[13]同じ関係は、個人所得（}パレートの法則と呼ばれます^[14]）、同じテレビチャンネルを見ている人の数、^[15] 音楽の音符、 ^[16]細胞のトランスクリプトーム、^{[17] [18]}などにも見られます。

1992年にバイオインフォマティクス研究者のウェンティアン・リーは、ランダムに生成されたテキストでもジップの法則が現れることを示す短い論文^[19]を発表しました。この論文には、ジップの法則のべき乗法則が単語を順位順に並べることの副産物であるという証拠が含まれていました。

ジップの法則

確率質量関数 対数スケールのN = 10 の Zipf PMF 。水平軸はインデックスkです。(関数はk の整数値でのみ定義されます 。接続線は視覚的なガイドにすぎず、連続性を示すものではありません。)
累積分布関数 N = 10の Zipf CDF 。水平軸はインデックスkです 。(関数はkの整数値でのみ定義されます 。接続線は連続性を示しません。)
パラメータ	${\displaystyle s\geq 0\,}$(実数) (整数) ${\displaystyle N\in \{1,2,3\ldots \}}$
サポート	${\displaystyle k\in \{1,2,\ldots ,N\}}$
ＰＭＦ	${\displaystyle {\frac {1/k^{s}}{H_{N,s}}}}$ここでH N,sはN番目の一般化調和数である。
ドイツ連邦共和国	${\displaystyle {\frac {H_{k,s}}{H_{N,s}}}}$
平均	${\displaystyle {\frac {H_{N,s-1}}{H_{N,s}}}}$
モード	${\displaystyle 1\,}$
分散	${\displaystyle {\frac {H_{N,s-2}}{H_{N,s}}}-{\frac {H_{N,s-1}^{2}}{H_{N,s}^{2}}}}$
エントロピ	${\displaystyle {\frac {s}{H_{N,s}}}\sum \limits _{k=1}^{N}{\frac {\ln(k)}{k^{s}}}+\ln(H_{N,s})}$
MGF の	${\displaystyle {\frac {1}{H_{N,s}}}\sum \limits _{n=1}^{N}{\frac {e^{nt}}{n^{s}}}}$
CF	${\displaystyle {\frac {1}{H_{N,s}}}\sum \limits _{n=1}^{N}{\frac {e^{int}}{n^{s}}}}$

正式には、 N個の要素上のジップ分布は、ランクk （1から数える）の要素に確率 を割り当てる。

${\displaystyle \ f(k;N)~=~{\begin{cases}{\frac {1}{\ H_{N}}}\ {\frac {1}{\ k\ }}\ 、&\ {\mbox{ if }}\ 1\leq k\leq N~、\\{}\\~~0~~、&\ {\mbox{ if }}\ k<1\ {\mbox{ または }}\ N<k~.\end{cases}}}$

ここでH _{N は}正規化定数です。N番目の高調波数です。

${\displaystyle H_{N}\equiv \sum _{k=1}^{N}{\frac {\ 1\ }{k}}~.}$

この分布は、指数が1ではなくsである逆べき乗則に一般化されることがある。^[20] すなわち、

${\displaystyle f(k;N,s)={\frac {1}{H_{N,s}}}\,{\frac {1}{k^{s}}}}$

ここでH _{N , sは}一般化調和数である

${\displaystyle H_{N,s}=\sum _{k=1}^{N}{\frac {1}{k^{s}}}~.}$

一般化ジップ分布は、指数sが1を超える場合にのみ、無限個の項目（ N = ∞）に拡張できます。その場合、正規化定数H _{N , sは}リーマンのゼータ関数になります。

${\displaystyle \zeta (s)=\sum _{k=1}^{\infty }{\frac {1}{k^{s}}}<\infty ~.}$

無限項目の場合はゼータ分布によって特徴付けられ、ロトカの法則と呼ばれます。指数sが1以下の場合、正規化定数H _{N、s は}N が無限大に近づくにつれて発散します。

経験的には、データセットがジップの法則に当てはまるかどうかをテストするには、コルモゴロフ・スミルノフ検定を使用して経験分布と仮説のべき乗分布の適合度を確認し、次にべき乗分布の（対数）尤度比を指数分布や対数正規分布などの代替分布と比較します。^[21]

ジップの法則は、アイテム頻度データを、順位の対数と頻度の対数を軸とした両対数グラフにプロットすることで視覚化できます。データは指数sのジップの法則に一致しており、プロットは傾きが−sの線形（より正確にはアフィン）関数に近似します。指数s = 1の場合、順位に対する頻度の逆数（平均単語間隔）または順位に対する頻度の逆数をプロットし、その結果を原点を通る傾き 1 の線と比較することもできます。^[3]

ジップの法則はほとんどの自然言語、さらにはエスペラント語^[22]やトキポナ語^[23]などの非自然言語にも当てはまりますが、その理由はまだよくわかっていません。^[24]ジップの法則の生成プロセスに関する最近のレビューには、ミッツェンマッハーの「べき乗法則と対数正規分布の生成モデルの簡潔な歴史」^[25]やシムキンの「ウィリスの再発明」^{[26]などがあります。}

しかし、ランダムに生成されたテキストの統計分析によって部分的に説明できるかもしれない。ウェンティアン・リーは、すべての文字（プラススペース文字）の均一な分布から各文字がランダムに選択された文書では、異なる長さの「単語」がジップの法則のマクロトレンドに従うことを示した（より確率の高い単語は最も短く、等しい確率を持つ）。^[19] 1959年、ヴィトルド・ベレヴィッチは、（正規分布だけでなく）大規模な統計分布のいずれかをランクで表現し、テイラー級数に展開すると、級数の1次切断によってジップの法則が得られることを観察した。さらに、テイラー級数の2次切断によってマンデルブロの法則が得られる。^{[27] [28]}

最小努力の原理は、もう一つの可能​​な説明である。ジップ自身は、特定の言語を使用する話者も聞き手も、理解に達するために必要以上に努力したくないと考えており、努力がほぼ均等に分配されるプロセスが、観察されるジップ分布につながると提唱した。^{[5] [29]}

最小限の説明では、単語はサルがランダムにタイピングすることで生成されると仮定します。言語が、各文字キーまたは空白を固定かつゼロ以外の確率で入力する1匹のサルによってランダムに生成される場合、サルが生成する単語（空白で区切られた文字列）はジップの法則に従います。^[30]

ジップ分布のもう一つの原因として、優先的付着過程が考えられます。この過程においては、あるアイテムの価値x はxに比例した割合で増加する傾向があります(直観的には、「金持ちはさらに金持ちになる」または「成功は成功を生む」)。このような成長過程の結果、ユール・サイモン分布が生まれます。この分布は、言語における単語の頻度と順位の関係^[31]や、人口と都市の順位の関係^[32]にジップの法則よりもよく当てはまることが示されています。この分布はもともとユールによって種の人口と順位の関係を説明するために導き出され、サイモンによって都市に適用されました。

同様の説明は、アトラスモデルに基づいています。アトラスモデルは、交換可能な正の値の拡散プロセスのシステムであり、ドリフトと分散パラメータはプロセスのランクのみに依存します。数学的には、特定の自然な規則性条件を満たすアトラスモデルに対してジップの法則が成り立つことが示されている。^{[33] [34]}

ジップの法則を一般化したものが、ブノワ・マンデルブロによって提唱されたジップ・マンデルブロの法則であり、その周波数は次のようになります。

${\displaystyle f(k;N,q,s)={\frac {1}{\ C\ }}\ {\frac {1}{\ \left(k+q\right)^{s}}}~.}$^{[説明が必要]}

定数C はsで評価されたHurwitz ゼータ関数です。

ジップ分布は変数の交換によってパレート分布から得られる。 ^[20]

ジップ分布は離散一様分布が連続一様分布に類似しているのと同様に、連続パレート分布に類似しているため、離散パレート分布^[35]と呼ばれることもあります。

ユール・サイモン分布の裾の頻度はおよそ

${\displaystyle f(k;\rho )\approx {\frac {\ [{\mathsf {定数}}]\ }{k^{(\rho +1)}}}}$

ρ > 0の任意の選択に対して。

放物線フラクタル分布では、頻度の対数はランクの対数の2次多項式です。これにより、単純なべき乗関係に対する適合性が大幅に向上します。^[36]フラクタル次元と同様に、ジップ次元を計算することができ、これはテキストの分析に役立つパラメータです。^[37]

ベンフォードの法則はジップの法則の特別な有界ケースであると主張されており、 ^[36]これら2つの法則の関係は、統計物理学と臨界現象からのスケール不変関数関係に由来することで説明されます。^{[38]ベンフォードの法則の確率の比は一定ではありません。} s = 1でジップの法則を満たすデータの先頭の桁は、ベンフォードの法則を満たします。

アウアーバッハの1913年の観察に続いて、都市規模に関するジップの法則についてかなりの検討が行われてきました。 ^[39]しかし、より最近の実証的^{[40] [41]}および理論的^[42]研究は、都市に対するジップの法則の関連性に疑問を投げかけています。

人間の言語で書かれた多くのテキストでは、単語の出現頻度は指数が1に近いZipf 分布にほぼ従います 。つまり、最も一般的な単語は、 n番目に一般的な単語の約n倍出現します。

自然言語テキストの実際の順位頻度プロットは、特に範囲の両端で、理想的な Zipf 分布からある程度逸脱します。逸脱は、言語、テキストのトピック、著者、テキストが他の言語から翻訳されたかどうか、および使用されるスペル規則によって異なります。^[要出典]サンプリング誤差のため、ある程度の逸脱は避けられません。

ランクがNに近づく低頻度の端では、各単語が整数回しか出現できないため、プロットは階段状になります。

• 複数の言語におけるジップの法則のプロット
• 
  ドイツ語（1669）、ロシア語（1972）、フランス語（1865）、イタリア語（1840）、中世英語（1460）のテキスト
• 
  セルバンテスの『ドン・キホーテ』パート I (スペイン語、1605 年) とアシスの『ドン・カスムロ』 (ポルトガル語、1899 年)
• 
  ゲエズ語（14世紀）、アラビア語（約650年）、ヘブライ語（500-800年）、すべて母音付き
• 
  ラサ チベット語、中国語、ベトナム語、すべて音節が分離されている
• 
  聖書本文：ラテン語ウルガタ訳聖書とロシア教会聖書からのモーセ五書、ビザンチンギリシャ語多数派訳からの四福音書
• 
  セルバンテスの『ドン・キホーテ』第 1 部 (1605) と第 2 部 (1615)
• 
  ヘブライ語で書かれた旧約聖書（トーラー）の最初の5巻（母音付き）
• 
  ラテン語ウルガタ訳の旧約聖書の最初の5巻（モーセ五書）
• 
  ラテン語ウルガタ訳の新約聖書（福音書）の最初の4冊

。

いくつかのロマンス語では、最も頻繁に使用される12語程度の単語の頻度が理想的なジップ分布から大幅に外れています。これは、それらの単語に文法的な性別と数を表す冠詞が含まれるためです。^[要出典]

中国語、ラサ・チベット語、ベトナム語など、多くの東アジア言語では、各「単語」は 1 つの音節で構成されます。英語の単語は、多くの場合、2 つの音節の複合語に翻訳されます。これらの「単語」の順位頻度表は、範囲の両端で理想的なジップの法則から大幅に外れています。^{[引用が必要]}

英語でも、大量のテキストを調べると、理想的なジップの法則からの逸脱がより明らかになります。30,000の英語テキストのコーパスを分析したところ、その中のテキストのうちジップの法則によく適合するものは約15％に過ぎませんでした。ジップの法則の定義を少し変更すると、この割合は50％近くまで増加する可能性があります。^[45]

このような場合、観察された頻度と順位の関係は、異なる単語のサブセットまたはサブタイプごとに別々のジップ・マンデルブロの法則分布によって、より正確にモデル化できます。これは、英語版ウィキペディアの最初の1000万語の頻度と順位のプロットの場合です。特に、英語の機能語の閉じたクラスの頻度は、1未満のsでより適切に説明されますが、文書サイズとコーパスサイズによるオープンエンドの語彙の増加では、一般化調和級数の収束のために1より大きいsが必要です。^[3]

テキストが暗号化され、平文中の各単語が常に同じ暗号化された単語にマッピングされる場合（シーザー暗号のような単純な置換暗号や単純なコードブック暗号の場合など）、頻度ランク分布は影響を受けません。一方、同じ単語が2つ以上の異なる単語にマッピングされる場合（ヴィジュネル暗号の場合など）、ジップ分布は通常、高頻度の端に平坦な部分を持ちます。^[要出典]

ジップの法則は、比較可能なコーパスからテキストの並行断片を抽出するために使用されてきた。^[46] ローレンス・ドイルらは、地球外知的生命体の探索において、ジップの法則をエイリアンの言語の検出に応用することを提案した。^{[47] [48]}

頻度順位の単語分布は著者の特徴を示すことが多く、時間の経過とともにほとんど変化しません。この特徴は、著者の帰属を判定するためのテキスト分析に使用されています。^{[49] [50]}

15世紀のヴォイニッチ手稿の単語のような記号群はジップの法則を満たしていることが判明しており、この文章は偽物ではなく、難解な言語や暗号で書かれている可能性が高いことを示唆している。^{[51] [52]}

• 1%ルール（インターネット文化）  - 仮想コミュニティに参加する人よりも潜伏している人の方が多いという仮説Pages displaying short descriptions of redirect targets
• ベンフォードの法則 – 多くの現実のデータセットでは、先頭の数字が小さくなる傾向があるという観察
• ブラッドフォードの法則 – 科学雑誌における引用のパターン
• 簡潔性の法則 – 言語学の法則
• 人口の重力 – 社会的影響
• 頻度リスト – コーパス言語学における言語の単語の単純なリストPages displaying short descriptions of redirect targets
• ジブラの法則 – 経済原理
• Hapax legomenon  – 特定のテキストまたは記録に一度だけ現れる単語
• ヒープの法則 – 文書内の異なる単語のヒューリスティック
• キング効果 – 統計学において、最もランクの高いデータポイントが外れ値となる現象
• ロングテール – いくつかの統計分布の特徴
• ローレンツ曲線 – 所得や富の分布をグラフで表したもの
• ロトカの法則 – ジップの法則を応用したもので、特定の分野における著者の出版頻度を記述する。
• メンツェラートの法則 – 言語法則
• パレート分布 – 確率分布
• パレートの法則 – 原因と結果の比率に関する統計的法則。別名「80-20 ルール」
• プライスの法則 – 物理学者、科学史家 (1922–1983)Pages displaying short descriptions of redirect targets
• 最小努力の原則 - エージェントは最も簡単なことを好むという考え
• ランク別サイズ分布 – ランク別のサイズ分布Pages displaying wikidata descriptions as a fallback
• スティグラーの名付けの法則 – 科学的発見は発見者の名前にちなんで命名されないという観察
• 文字の頻度
• 英語で最も一般的な単語

• Gelbukh, Alexander; Sidorov, Grigori (2001)。「Zipf 法則と Heaps 法則の係数は言語に依存する」。計算言語学とインテリジェントテキスト処理。コンピュータサイエンスの講義ノート。2004 年版。332 ～ 335 ページ。doi :10.1007 / 3-540-44686-9_33。ISBN 978-3-540-41687-6。
• Kali, Raja (2003 年 9 月 15 日)。「巨大な構成要素としての都市: Zipf の法則に対するランダム グラフ アプローチ」。応用経済レター。10 (11): 717–720。doi :10.1080/1350485032000139006。
• Shyklo, Alexandra Elizabeth (2017)。ランキングプロセスの組合せ論から導き出された新しいランクシェア分布による Zipf の謎の簡単な説明 (レポート)。SSRN 2918642  。
• Moskowitz, Clara ; Ford, Ni-ka; Christiansen, Jen (2024年1月)。「細胞の数とサイズ」。Scientific American。330 ( 1): 94。doi :10.1038/scientificamerican0124-94。PMID 39017389  。

ウィキメディア・コモンズには、ジップの法則に関連するメディアがあります。

• ストロガッツ、スティーブン(2009 年 5 月 29 日)。「ゲストコラム: 数学と都市」。ニューヨークタイムズ。2015 年 9 月 27 日時点のオリジナルよりアーカイブ。2009年5 月 29 日閲覧。—都市人口に適用されるジップの法則に関する記事
• 角を曲がった先を見る（人工社会はジップの法則を明らかにする）
• ジップの法則に関する PlanetMath の記事
• Nature における「フラクタル放物線」型分布 (フランス語、英語の要約付き) 2004-10-24 にWayback Machineでアーカイブ
• 所得分配の分析
• Zipf フランス語単語リスト 2007-06-23 にWayback Machineでアーカイブ
• Gutenberg プロジェクトからの英語、フランス語、スペイン語、イタリア語、スウェーデン語、アイスランド語、ラテン語、ポルトガル語、フィンランド語の Zipf リストと、テキスト内の単語をランク付けするオンライン計算機。2011 年 4 月 8 日にWayback Machineにアーカイブされました。
• 引用とジップ・マンデルブロの法則
• ジップの法則の例とモデル化 (1985)
• 複雑系: ジップの法則を解き明かす (2011)
• ベンフォードの法則、ジップの法則、および Terence Tao によるパレート分布。
• 「ジップの法則」、数学百科事典、EMS Press、2001 [1994]