確率論において、中心極限定理(CLT)は、適切な条件下では、標本平均の正規化された分布が標準正規分布に収束することを述べている。これは、元の変数自体が正規分布に従っていない場合でも成り立つ。CLTにはいくつかのバージョンがあり、それぞれ異なる条件の文脈で適用される。
この定理は確率論における重要な概念であり、正規分布に有効な確率的・統計的手法が、他の種類の分布に関わる多くの問題にも適用できることを示唆している。
この定理は、確率論の正式な発展の過程で多くの変更を受けてきました。定理の以前のバージョンは1811年に遡りますが、現代の形で正確に述べられたのは1920年代になってからです。[ 1 ]
統計学では、中心極限定理は次のように表すことができます。サイズが統計的サンプルであることを示す期待値(平均)を持つ母集団から有限の正の分散、そしてを標本平均(それ自体が確率変数である)とすると、極限は分布のは平均の正規分布ですおよび分散[ 2 ]
言い換えれば、多数の観測値が得られ、各観測値は他の観測値の値に依存しない方法でランダムに生成され、観測値の平均(算術平均)が計算されるとします。この手順を何度も繰り返して観測された平均値の集合が得られる場合、中心極限定理によれば、標本サイズが十分に大きければ、これらの平均値の確率分布は正規分布に非常に近いものになります。
中心極限定理にはいくつかの変形が存在する。一般的な形式では、確率変数は独立同分布(iid)でなければならない。この条件は緩和可能であり、ある条件を満たせば、分布が同一でない場合や観測値が独立でない場合でも、平均値が正規分布に収束する。
正規分布は二項分布の近似として使用できるというこの定理の最も初期のバージョンは、ド・モアブル・ラプラスの定理である。

させては、期待値が与えられる分布を持つ独立同分布の確率変数の列である。そして有限の分散は次のように与えられる。サンプル平均に興味があると仮定します
大数の法則により、標本平均はほぼ確実に(したがって確率的にも)期待値に収束する。として
古典的な中心極限定理は、決定論的な数値の周りの確率的変動の大きさと分布形式を記述する。この収束の間。より正確には、次のように述べられています。正規化された平均の分布が大きくなるにつれてつまり、サンプル平均の差そしてその限界係数でスケーリング平均が正規分布に近づくおよび分散十分に大きい場合の分布平均値が正規分布に任意に近づくおよび分散
この定理の有用性は、個々の分布の形状に関係なく、正規分布に近づく正式には、この定理は次のように述べることができる。
の場合分布の収束とは、累積分布関数が点ごとに cdf に収束する分布: すべての実数に対して
どこ標準正規分布の累積分布関数は、収束は一様であるそういう意味で
この中心極限定理の変形では、確率変数確率変数は独立である必要があるが、必ずしも同一分布である必要はない。この定理はまた、確率変数がある程度の秩序のある瞬間があるまた、これらのモーメントの成長率は、以下に示すリアプノフ条件によって制限される。
リアプノフ中心極限定理[ 6 ] —仮定するは、それぞれ有限の期待値を持つ独立な確率変数の列である。および分散。定義する
もし一部の人にとってリャプノフ条件
が満たされると、合計分布は標準正規確率変数に収束する。無限大に及ぶ:
実際には、リャプノフ条件をチェックするのが最も簡単な場合が多い。。
確率変数の列がリアプノフ条件を満たすならば、リンデベルグ条件も満たす。しかし、その逆は成り立たない。
上記と同じ設定および表記法で、リアプノフ条件を以下のより弱い条件( 1920年のリンデベルクによるもの)に置き換えることができる。
すべての、
どこは指示関数です。すると、標準化された合計の分布は次のようになります。
標準正規分布に収束する。
整数を合計するのではなくランダム変数の合計はランダムな数値になる可能性がある確率変数の条件付き例えば、次の定理はロビンス(1948)の系4である。これは、漸近的に正規分布に従う(ロビンスは同じ結果につながる他の条件も開発した)。
特性関数を用いた証明は、各個人がはランダムベクトルです平均ベクトル共分散行列(ベクトルの成分の中で)これらのランダムベクトルは独立で同一の分布に従います。多次元中心極限定理によれば、スケーリングすると、和は多変量正規分布に収束します。[ 9 ]これらのベクトルの和は成分ごとに計算されます。
のためにさせて
は独立したランダムベクトルである。ランダムベクトルの合計はは
そして彼らの平均は
したがって、
多変数中心極限定理は次のように述べている。
ここで、共分散行列はに等しい
多変数中心極限定理は、クラメール・ウォルドの定理を用いて証明できる。[ 9 ]
収束速度は、以下のベリー・エッセーン型の結果によって与えられる。
定理[ 10 ] —とする自立する平均値がゼロの、値をとるランダムベクトル。そして仮定するは可逆である。になる同じ平均と共分散行列を持つ次元ガウス分布すると、すべての凸集合に対して、
どこは普遍定数であり、、そしてはユークリッドノルムを表す。。
その要因が必要である。[ 11 ]
一般化中心極限定理(GCLT)は、1920年から1937年にかけて、複数の数学者(セルゲイ・ベルンシュタイン、ヤール・ヴァルデマール・リンデベルク、ポール・レヴィ、ウィリアム・フェラー、アンドレイ・コルモゴロフなど)の努力によって達成されました。 [ 12 ] GCLTの完全な証明が最初に発表されたのは1937年で、ポール・レヴィがフランス語で発表しました。[ 13 ] GCLTの完全な証明の英語版は、ボリス・ウラジミロヴィチ・グネデンコとコルモゴロフの1954年の著書の翻訳で入手できます。[ 14 ]
GCLTの声明は以下のとおりです。[ 15 ]
GCLTの記述—非退化確率変数Zが0 < α ≤ 2に対してα安定であるのは、独立同分布の確率変数列X 1 , X 2 , X 3 , ... と定数a n > 0 , b n ∈ ℝが存在し 、 ここで、「→」は、確率変数の和の列が分布に収束することを意味します。つまり、対応する分布は、Fのすべての連続点でF n ( y ) → F ( y )を満たします。
言い換えれば、独立で同一の分布を持つ確率変数の和が分布においてあるZに収束する場合、Z は安定分布でなければならない。
独立同分布の確率変数の列の有用な一般化として、離散時間における混合確率過程があります。「混合」とは、おおよそ、時間的に離れた確率変数がほぼ独立であることを意味します。エルゴード理論と確率論では、いくつかの種類の混合が用いられています。特に、強い混合(α混合とも呼ばれる)については、以下を参照してください。どこは、いわゆる強い混合係数です。
強い混合条件下での中心極限定理の簡略化された定式化は次のとおりです。[ 16 ]
定理—仮に静止していて-混合そしてそれはそして.表記するすると限界
存在し、もしそれから分布は収束し、。
実際には、
数列が完全に収束する点。
仮定漸近正規性が成り立たないため、省略することはできません。どこは別の定常数列である。
この定理にはより強いバージョンがある。[ 17 ]仮定に置き換えられます、そして仮定に置き換えられます
そのような存在結論を保証する。混合条件下における極限定理の百科事典的な扱いについては、(Bradley 2007 )を参照のこと。
中心極限定理は特性関数を用いた証明がある。[ 20 ]これは(弱)大数の法則の証明と似ている。
仮定するは独立同分布の確率変数であり、それぞれ平均は有限分散合計平均および分散確率変数を考えてみましょう。
最後のステップでは新しいランダム変数を定義するそれぞれ平均ゼロ、分散1 ()特性関数は
最後のステップは、は同一の分布に従う。テイラーの定理によれば、
どこは、ある関数の「小文字のo表記」です。より速くゼロになる指数関数の極限により()の特性関数等しい
極限ではすべての高次項が消滅する右辺は標準正規分布の特性関数に等しい。これは、レヴィの連続性定理により、近づくとしてしたがって、サンプル平均
は、
正規分布に収束するそこから中心極限定理が導かれる。
中心極限定理は漸近分布しか与えません。有限個の観測値に対する近似として、正規分布のピーク付近でのみ妥当な近似値となり、裾野まで分布を拡張するには非常に多くの観測値が必要となります。
中心極限定理の収束は一様です。なぜなら、極限累積分布関数は連続だからです。が存在し、有限である場合、収束速度は少なくともオーダーである。(ベリー・エッセーン定理を参照)。スタインの方法[ 21 ]は、中心極限定理を証明するだけでなく、選択された計量の収束率の上限を与えるためにも使用できます。[ 22 ]
正規分布への収束は単調であり、エントロピーは正規分布のそれまで単調に増加する。 [ 23 ]
中心極限定理は、特に独立同分布の離散確率変数の和に適用されます。離散確率変数の和は依然として離散確率変数であるため、累積確率分布関数が連続変数(すなわち正規分布)に対応する累積確率分布関数に収束する離散確率変数の列に直面することになります。これは、 n個の独立同分布離散変数の和の実現値のヒストグラムを作成すると、ヒストグラムを構成する長方形の上辺の中心を結ぶ区分的線形曲線がn が無限大に近づくにつれてガウス曲線に収束することを意味します。この関係はド・モアブル・ラプラスの定理として知られています。二項分布の記事では、離散変数が 2 つの値しか取らない単純なケースにおける中心極限定理のこのような適用について詳しく説明しています。
研究によると、中心極限定理にはいくつかの一般的だが深刻な誤解があり、その中には広く使われている教科書にも見られるものがある。[ 24 ] [ 25 ] [ 26 ]これらには以下が含まれる。
大数の法則と中心極限定理は、「nが無限大に近づくとき、S nはどのような極限挙動を示すのか?」という一般的な問題に対する部分的な解決策である。数学解析において、漸近級数はこのような問題に取り組むために用いられる最も一般的なツールの1つである。
漸近展開があると仮定します:
両方の部分をφ 1 ( n )で割って極限を取ると、展開の最高次項の係数であるa 1が得られ、これはf ( n )の主要項が変化する割合を表します。
非公式には、「f ( n )は近似的に1φ1 ( n )のように増加する」と言うことができる。f ( n )とその近似値の差を取り、展開の次の項で割ると、 f ( n )についてより洗練された記述が得られる。
ここで、関数とその近似値の差は、おおよそa 2 φ 2 ( n )に比例して増加すると言える。適切な正規化関数で関数を割り、その結果の極限挙動を調べることで、元の関数自体の極限挙動について多くのことがわかるという考え方である。
非公式には、古典的確率論において、独立同分布の確率変数X 1 , ..., X nの和S nを研究する際に、これと似たようなことが起こります。 各X i が有限の平均μを持つ場合、大数の法則により、 S n / n → μとなります。[ 28 ] さらに、各X i が有限の分散σ 2を持つ場合、中心極限定理により、
ここで、ξはN (0, σ² )の分布に従う。これにより、非公式展開における最初の2つの定数の値が得られる。
X i が有限の平均または分散を持たない場合、シフトおよび再スケーリングされた合計の収束は、異なる中心化係数およびスケーリング係数でも発生する可能性があります。
または非公式に
このようにして生じる分布Ξは安定分布と呼ばれます。[ 29 ] 明らかに正規分布は安定分布ですが、コーシー分布のように平均や分散が定義されていない他の安定分布もあります。スケーリング係数b nは、任意のc ≥ 1/2に対してn cに比例する場合もあれば、 nの緩やかに変化する関数で乗算される場合もあります。[ 30 ] [ 31 ]
反復対数の法則は、大数の法則と中心極限定理の「中間」で何が起こるかを規定するものです。具体的には、大数の法則のnと中心極限定理の√ nの中間の大きさを持つ正規化関数√ n log log n が、自明でない極限挙動を示すことを述べています。
2 つ以上の独立変数の和の密度は、それらの密度の畳み込みです(これらの密度が存在する場合)。したがって、中心極限定理は、畳み込みの下での密度関数の性質に関する記述として解釈できます。すなわち、密度関数の数が際限なく増加するにつれて、多数の密度関数の畳み込みは正規密度に近づきます。これらの定理は、上記で示した中心極限定理の形式よりも強い仮定を必要とします。この種の定理は、しばしば局所極限定理と呼ばれます。独立で同一分布の確率変数の和に関する特定の局所極限定理については、 Petrov [ 32 ]を参照してください。
畳み込みの特性関数は、関係する密度関数の特性関数の積であるため、中心極限定理は別の形で言い換えられる。すなわち、上記の条件の下では、密度関数の数が際限なく増加するにつれて、多数の密度関数の特性関数の積は正規密度の特性関数に近づく。具体的には、特性関数の引数に適切なスケーリング係数を適用する必要がある。
特性関数は本質的にフーリエ変換であるため、フーリエ変換についても同様のことが言える。
S n をn個の確率変数の和とする。多くの中心極限定理は、n → ∞ のときS n / √ Var( S n )が分布収束してN (0,1) (平均 0、分散 1 の正規分布)になるような条件を与えている。場合によっては、定数σ 2と関数f(n)を見つけることで、n → ∞のときS n /(σ √ n⋅f ( n ) )が分布収束してN (0,1)になる可能性がある。
補題[ 33 ] —仮定するは、実数値かつ厳密に定常な確率変数の列であり、すべての人々のために、、そして構築する
積の対数は、単純に因数の対数の和です。したがって、正の値のみをとる確率変数の積の対数が正規分布に近づく場合、その積自体も対数正規分布に近づきます。多くの物理量(特に質量や長さなど、スケールの問題であり負の値をとることができないもの)は、異なる確率因子の積であるため、対数正規分布に従います。この中心極限定理の乗法版は、ジブラの法則と呼ばれることもあります。
確率変数の和に関する中心極限定理は有限分散の条件を必要とするが、積に関する対応する定理は密度関数が二乗可積分であるという対応する条件を必要とする。[ 34 ]
漸近正規性、すなわち適切なシフトとスケーリングを行った後に正規分布に収束する現象は、上で述べた古典的な枠組み、つまり独立な確率変数(またはベクトル)の和よりもはるかに一般的な現象です。新しい枠組みは時折発見されますが、現時点では統一的な枠組みは存在しません。
定理—次の条件を満たす数列ε n ↓ 0が存在する。n ≥ 1とし、確率変数X 1 , ..., X n が対数凹型の同時密度fを持ち、すべての x 1 , ..., x n に対してf ( x 1 , ..., x n ) = f ( | x 1 | , ..., | x n | )が成り立ち、すべてのk = 1, ... , nに対してE ( X 2 k ) = 1 が成り立つとする。このとき、次の分布は
これら2つのεn-近接分布は密度関数(実際には対数凹型密度関数)を持つため、それらの間の全分散距離は、密度関数の差の絶対値の積分となる。全変動の収束は、弱収束よりも強い。
対数凹型密度関数の重要な例として、与えられた凸体の内部では一定で、外部ではゼロになる関数が挙げられます。これは凸体上の均一分布に対応しており、「凸体の中心極限定理」という用語の由来となっています。
別の例として、f ( x 1 , ..., x n ) = const · exp(−( | x 1 | α + ⋯ + | x n | α ) β )があります。ここで、 α > 1かつαβ > 1です。β = 1 の場合、 f ( x 1 , ... , x n )はconst · exp (− | x 1 | α ) ... exp(− | x n | α ) に因数分解され、X 1 , ..., X nは独立であることを意味します。しかし、一般に、これらは従属です。
条件f ( x 1 , ..., x n ) = f ( | x 1 | , ..., | x n | )は、 X 1 , ..., X nの平均がゼロで無相関であることを保証しますが、独立である必要はなく、ペアワイズ独立である必要もありません。ちなみに、ペアワイズ独立は、古典的な中心極限定理における独立性の代わりにはなりません。[ 36 ]
これはベリー・エッセーン型の解です。
定理— X 1、 ...、X n が前の定理の仮定を満たすとすると、[ 37 ]
すべてのa < bに対して、ここでCは普遍定数 (絶対定数)である。さらに、c 2 1 + ⋯ + c 2 n = 1となるすべてのc 1 , ..., c n ∈ Rに対して、
X 1 + ⋯ + X n / √ n の分布は必ずしも近似的に正規分布である必要はありません(実際には一様分布でも構いません)。[ 38 ]しかし、 c 1 X 1 + ⋯ + c n X nの分布は、(全変動距離において)ほとんどのベクトル(c 1、...、c n)は球面c 2 1 + ⋯ + c 2 n = 1 上の均一分布に従います。
定理— A 1、 ...、A n を平面R 2上の独立なランダム点とし、それぞれが 2 次元標準正規分布に従うとする。K nをこれらの点の凸包とし、X n をK nの面積とする。すると[ 41 ]
分布は収束し、nが無限大に近づくとき。
これは2次元より大きいすべての次元においても同様である。
多面体K nはガウスランダム多面体と 呼ばれます。
同様の結果は、(ガウス多面体の)頂点の数、辺の数、そして実際にはすべての次元の面の数にも当てはまります。[ 42 ]
行列Mの線形関数は、その要素 (与えられた係数付き) の線形結合、M ↦ tr( AM )であり、ここでAは係数の行列です。トレース (線形代数)#内積を参照してください。
ランダム直交行列は、その分布が直交群O( n , R )上の正規化されたハール測度である場合、一様に分布していると言われます。回転行列#一様ランダム回転行列を参照してください。
中心極限定理は結晶格子(有限グラフ上の無限重アーベル被覆グラフ)上の単純ランダムウォークに対して確立することができ、結晶構造の設計に使用されます。 [ 45 ] [ 46 ]
中心極限定理の簡単な例として、多数の同一の偏りのないサイコロを振る場合が挙げられます。振られた目の合計(または平均)の分布は、正規分布によってよく近似されます。現実世界の量は、多くの場合、観測されない多数のランダムな事象のバランスのとれた合計であるため、中心極限定理は、正規確率分布が広く普及している理由を部分的に説明するものでもあります。また、制御された実験において、大標本統計量を正規分布に近似することの正当性も示しています。
回帰分析、特に最小二乗法では、従属変数が1つ以上の独立変数に何らかの関数に従って依存し、加法的な誤差項が存在すると規定されます。回帰に関する様々な統計的推論では、誤差項が正規分布に従うと仮定されます。この仮定は、誤差項が実際には多くの独立した誤差項の和であると仮定することで正当化できます。個々の誤差項が正規分布に従わない場合でも、中心極限定理により、それらの和は正規分布で十分に近似できます。
統計学においてその重要性を考えると、中心極限定理における収束性を示す論文やコンピュータパッケージが数多く存在する。[ 47 ]
オランダの数学者ヘンク・ティムスは次のように書いています。[ 48 ]
中心極限定理には興味深い歴史がある。この定理の最初のバージョンは、フランス生まれの数学者アブラハム・ド・モアブルによって提唱された。彼は1733年に発表した注目すべき論文の中で、公平なコインを何度も投げたときに表が出る回数の分布を正規分布で近似した。この発見は当時としては画期的なものであったが、有名なフランスの数学者ピエール=シモン・ラプラスが1812年に出版した記念碑的な著作『確率の解析理論』でこの発見を再び世に知らしめるまで、ほとんど忘れ去られていた。ラプラスは二項分布を正規分布で近似することで、ド・モアブルの発見を拡張した。しかし、ド・モアブルの場合と同様に、ラプラスの発見も当時ほとんど注目されなかった。中心極限定理の重要性が認識されたのは19世紀末になってからのことであり、1901年にロシアの数学者アレクサンドル・リャプノフがそれを一般的に定義し、数学的にどのように機能するかを正確に証明した。今日では、中心極限定理は確率論における非公式の王者とみなされている。
フランシス・ゴルトン卿は中心極限定理を次のように説明した。[ 49 ]
「誤差の頻度の法則」によって表現される宇宙秩序の驚くべき形態ほど、想像力を掻き立てるものは他にほとんどないだろう。もしギリシャ人がこの法則を知っていたら、きっと擬人化して神格化したに違いない。それは、最も激しい混乱の中にあっても、静謐かつ完全に自己を消し去り、君臨している。群衆が巨大であればあるほど、見かけ上の無秩序が大きければ大きいほど、その支配力はより完璧になる。それは、非合理性の至高の法則である。混沌とした要素の大きなサンプルを手に取り、その大きさの順に並べると、思いもよらなかった、実に美しい規則性がずっと潜在していたことが明らかになるのだ。
実際の「中心極限定理」(ドイツ語: "zentraler Grenzwertsatz")という用語は、 1920 年にGeorge Pólyaが論文のタイトルで初めて使用しました。[ 50 ] [ 51 ] Pólya は、確率論におけるその重要性から、この定理を「中心」と呼んでいます。Le Cam によると、フランスの確率論学派は「中心」という言葉を「分布の裾とは対照的に、分布の中心の挙動を記述する」という意味で解釈しています。[ 51 ] 1920 年にPólya が発表した論文「確率計算の中心極限定理とモーメントの問題について」[ 50 ]の要旨は、次のように翻訳されます。
繰り返し実験、非常に多くの非常に小さな基本誤差の組み合わせによって生じる測定誤差、拡散過程などでガウス確率密度1 = e − x 2が現れる現象は、周知のように、確率論において中心的な役割を果たす極限定理によって説明できる。この極限定理の真の発見者はラプラスであり、その厳密な証明はチェビシェフによって最初に与えられた可能性が高く、私が知る限り、その最も明確な定式化はリアプノフの論文に見られる。
定理の歴史に関する詳細な説明はハルドによって提供されており、ラプラスの基礎的な研究、コーシー、ベッセル、ポアソンの貢献が詳述されている。 [ 52 ]ハンス・フィッシャーは、ラプラスからコーシーへの発展を扱ったものと、1920年代のフォン・ミーゼス、ポリア、リンデベルク、レヴィ、クラメールの貢献を扱ったものの2つの歴史的記述を提供している。 [ 53 ]ル・カムは1935年頃の時期について述べている。 [ 51 ]バーンスタイン[ 54 ]は、パフヌティ・チェビシェフとその弟子アンドレイ・マルコフとアレクサンドル・リャプノフの研究に焦点を当てた歴史的議論を提示しており、それが一般的な設定でのCLTの最初の証明につながった。
中心極限定理の歴史に関する興味深い注釈として、1922年のリンデベルクの中心極限定理に類似した結果の証明が、アラン・チューリングの1934年のケンブリッジ大学キングス・カレッジのフェローシップ論文の主題であったことが挙げられる。チューリングは論文を提出した後になって初めて、それが既に証明されていたことを知った。そのため、チューリングの論文は出版されなかった。[ 55 ]