大偏差理論

確率論 において、大偏差理論は確率分布の系列の末端の漸近挙動に関係する。理論のいくつかの基本的なアイデアはラプラスに由来するが、その形式化は保険数学、すなわちクラメールとルンドバーグによる破産理論から始まった。大偏差理論の統一的な形式化は1966年にバラダンの論文で開発された。^{[1]大偏差理論は}測度の集中に関するヒューリスティックなアイデアを形式化し、確率測度の収束の概念を広く一般化する。

大まかに言えば、大偏差理論は、ある種の極端な事象または末端事象の確率尺度の指数関数的な減少に関係しています。

大きな逸脱は、ありそうもない方法の中でも最もありそうもない方法で行われます。

— フランク・デン・ホランダー、「大きな逸脱」、p. 10

公平なコインを独立に投げる一連の動作を考えてみましょう。表か裏のどちらかが考えられます。i番目の試行の可能な結果を​​ と表します。ここで、表を1、裏を0とします。次に、試行 後の平均値を と表します。${\displaystyle X_{i}}$${\displaystyle M_{N}}$${\displaystyle N}$

${\displaystyle M_{N}={\frac {1}{N}}\sum _{i=1}^{N}X_{i}}$。

は0 と 1 の間にあります。大数の法則から、 N が大きくなるにつれて、 の分布は(1 回のコイン投げの期待値) に収束することがわかります。${\displaystyle M_{N}}$${\displaystyle M_{N}}$${\displaystyle 0.5=\operatorname {E} [X]}$

さらに、中心極限定理より、 は大きい に対して近似的に正規分布していることがわかります。中心極限定理 は、大数の法則よりも詳細な の挙動に関する情報を提供できます。たとえば、の固定値に対して、の裾確率（がある値よりも大きくなる確率）を近似的に求めることができます。ただし、が から遠く離れておりが十分に大きくない場合は、中心極限定理による近似は正確でない可能性があります。また、 としての裾確率の収束に関する情報も提供しません。ただし、大偏差理論はこのような問題に対する解答を提供します。 ${\displaystyle M_{N}}$${\displaystyle N}$${\displaystyle M_{N}}$${\displaystyle M_{N}}$${\displaystyle M_{N}}$${\displaystyle x}$${\displaystyle N}$${\displaystyle x}$${\displaystyle \operatorname {E} [X_{i}]}$${\displaystyle N}$${\displaystyle N\to \infty }$

この記述をより正確にしましょう。与えられた値に対して、裾の確率を計算します。定義します。 ${\displaystyle 0.5<x<1}$${\displaystyle P(M_{N}>x)}$

${\displaystyle I(x)=x\ln {x}+(1-x)\ln(1-x)+\ln {2}}$。

関数は凸型の非負関数で、 ではゼロで、 に近づくにつれて増加することに注意してください。これはのときのベルヌーイエントロピーの負です。コイントスに適切であることは、ベルヌーイ試行に適用される漸近的等分割特性からわかります。次に、チェルノフの不等式により、 であることが示されます。^[2]この境界は、 を、すべての正の に対して厳密な不等式をもたらすより大きな数に置き換えることができないという意味で、かなり厳しいものです。^[3]（ただし、指数境界は のオーダーの指数以下の係数によって依然として減少できます。これは、ベルヌーイ分布に現れる二項係数にスターリング近似を適用することからわかります。）したがって、次の結果が得られます。 ${\displaystyle I(x)}$${\displaystyle x={\tfrac {1}{2}}}$${\displaystyle x}$${\displaystyle 1}$${\displaystyle p={\tfrac {1}{2}}}$${\displaystyle P(M_{N}>x)<\exp(-NI(x))}$${\displaystyle I(x)}$${\displaystyle N}$${\displaystyle 1/{\sqrt {N}}}$

${\displaystyle P(M_{N}>x)\approx \exp(-NI(x))}$。

確率はxに依存する割合で指数関​​数的に減少します。この式は、 iid 変数のサンプル平均の裾の確率を近似し、サンプル数が増加するにつれて収束することを示します。 ${\displaystyle P(M_{N}>x)}$${\displaystyle N\to \infty }$

上記のコイン投げの例では、各投げが独立した試行であり、表または裏が出る確率は常に同じであると明示的に想定しました。

が独立かつ同一分布（iid）するランダム変数であり、共通分布が特定の成長条件を満たすとします。このとき、次の極限が存在します。 ${\displaystyle X,X_{1},X_{2},\ldots }$

${\displaystyle \lim _{N\to \infty }{\frac {1}{N}}\ln P(M_{N}>x)=-I(x)}$。

ここ

${\displaystyle M_{N}={\frac {1}{N}}\sum _{i=1}^{N}X_{i}}$、

以前と同じように。

この関数は「速度関数」または「クラメール関数」、あるいは「エントロピー関数」と呼ばれることもあります。 ${\displaystyle I(\cdot )}$

上記の限界は、大きい に対して、${\displaystyle N}$

${\displaystyle P(M_{N}>x)\approx \exp[-NI(x)]}$、

これは大偏差理論の基本的な結果である。^{[4] [5]}

の確率分布がわかれば、速度関数の明示的な表現が得られる。これはルジャンドル・フェンシェル変換によって与えられる。^[6]${\displaystyle X}$

${\displaystyle I(x)=\sup _{\theta >0}[\theta x-\lambda (\theta )]}$、

どこ

${\displaystyle \lambda (\theta )=\ln \operatorname {E} [\exp(\theta X)]}$

はキュムラント生成関数（CGF）と呼ばれ、数学的期待値を表します。 ${\displaystyle \operatorname {E} }$

が正規分布に従う場合、速度関数は正規分布の平均を頂点とする放物線になります。 ${\displaystyle X}$

が既約かつ非周期的なマルコフ連鎖である場合、上で述べた基本的な大偏差の結果の変形が成り立つ可能性がある。^[要出典]${\displaystyle \{X_{i}\}}$

前の例では、イベントの確率、つまりコンパクトセット上の法則の集中を制御しました。また、あるシーケンスのイベントの確率を制御することもできます。以下は、中程度の偏差の原理の例です。^{[7] [8]}${\displaystyle [M_{N}>x]}$${\displaystyle M_{N}}$ ${\displaystyle [-x,x]}$${\displaystyle [M_{N}>xa_{N}]}$${\displaystyle a_{N}\to 0}$

特に、極限の場合は中心極限定理です。 ${\displaystyle a_{N}={\sqrt {N}}}$

ポーランド空間 が与えられ、が 上のボレル確率測度の列であるとし、が となる正の実数の列であるとし、最後に が上の下側半連続関数であるとする。列が速度と率を伴う大偏差原理を満たすとは、各ボレル可測集合に対して、かつその場合に限る。${\displaystyle {\mathcal {X}}}$${\displaystyle \{\mathbb {P} _{N}\}}$${\displaystyle {\mathcal {X}}}$${\displaystyle \{a_{N}\}}$${\displaystyle \lim _{N}a_{N}=\infty }$${\displaystyle I:{\mathcal {X}}\to [0,\infty ]}$${\displaystyle {\mathcal {X}}.}$${\displaystyle \{\mathbb {P} _{N}\}}$ ${\displaystyle \{a_{n}\}}$ ${\displaystyle I}$ ${\displaystyle E\subset {\mathcal {X}}}$

${\displaystyle -\inf _{x\in E^{\circ }}I(x)\leq \varliminf _{N}a_{N}^{-1}\log(\mathbb {P} _{N}(E))\leq \varlimsup _{N}a_{N}^{-1}\log(\mathbb {P} _{N}(E))\leq -\inf _{x\in {\overline {E}}}I(x)}$、

ここで、 と はそれぞれ の閉包と内部を表します。^[要出典]${\displaystyle {\overline {E}}}$${\displaystyle E^{\circ }}$${\displaystyle E}$

大偏差に関する最初の厳密な結果は、スウェーデンの数学者ハラルド・クラマーによるもので、彼はそれを保険事業のモデル化に応用しました。^[9]保険会社の観点から見ると、収益は毎月一定の割合（月額保険料）ですが、請求はランダムに発生します。会社が一定期間（できれば数か月間）にわたって成功するには、総収益が総請求額を上回る必要があります。したがって、保険料を見積もるには、次の質問をする必要があります。「数か月間の総請求額が 未満になるように、保険料として何を選択すればよいでしょうか？」これは明らかに、大偏差理論が尋ねる質問と同じです。クラマーは、率関数がべき級数として表現されるiidランダム変数に対してこの質問の解を与えました。 ${\displaystyle q}$${\displaystyle N}$${\displaystyle C=\Sigma X_{i}}$${\displaystyle Nq}$

重要な進歩を遂げた数学者の非常に不完全なリストには、ペトロフ^[10] 、サノフ^{[11] 、} SRSバラダン（理論への貢献によりアーベル賞を受賞した）、D.ルエル、OEランフォード、マーク・フライドリン、アレクサンダー・D・ウェンツェル、アミール・デンボ、オフェル・ゼイトゥーニ^[12]が含まれます。

大偏差の原理は、確率モデルから情報を収集するために効果的に適用できます。したがって、大偏差の理論は情報理論とリスク管理に応用されています。物理学では、大偏差理論の最もよく知られた応用は、熱力学と統計力学（エントロピーと速度関数の関係に関連して）です。

レート関数は、統計力学におけるエントロピーと関連しています。これは、次のように経験的に理解できます。統計力学では、特定のマクロ状態のエントロピーは、このマクロ状態に対応するミクロ状態の数と関連しています。コイン投げの例では、平均値が特定のマクロ状態を示します。また、特定の値を生み出す表と裏の特定のシーケンスが、特定のミクロ状態を構成します。大まかに言えば、マクロ状態を生み出すミクロ状態の数が多いほど、エントロピーが高くなります。また、エントロピーが高い状態ほど、実際の実験で実現される可能性が高くなります。平均値が 1/2 (表と裏の数が同じ) のマクロ状態は、それを生み出すミクロ状態の数が最も多く、エントロピーが最も高い状態です。実際、ほとんどの実際の状況では、このマクロ状態を多数の試行で得ることができます。一方、「レート関数」は、特定のマクロ状態が出現する確率を測定します。レート関数が小さいほど、マクロ状態が出現する確率が高くなります。コイントスでは、平均値が 1/2 に等しい場合の「レート関数」の値はゼロです。このように、「レート関数」は「エントロピー」の負数として見ることができます。 ${\displaystyle M_{N}}$${\displaystyle M_{N}}$

大偏差理論における「速度関数」とカルバック・ライブラー情報量の間には関係があり、その関係はサノフの定理によって確立されている（サノフ^[11]およびノヴァク^[13]第14.5章を参照）。

特殊なケースでは、大きな偏差はグロモフ・ハウスドルフ限界の概念と密接に関係している。^[14]

• 大偏差原理
• クラメールの大偏差定理
• チェルノフの不等式
• サノフの定理
• 収縮原理（大偏差理論） 、大偏差原理がどのように「前進」するかについての結果
• フリードリン・ウェンツェル定理、伊藤拡散の大偏差原理
• ルジャンドル変換、アンサンブル同値はこの変換に基づいています。
• ラプラス原理、 R ^dにおける大偏差原理
• ラプラス法
• シルダーの定理、ブラウン運動の大偏差原理
• ヴァラダンの補題
• 極値理論
• ガウス分布のランダム関数の大きな偏差

• 特別招待論文: SRS Varadhan 著「Large Deviations」The Annals of Probability 2008、Vol. 36、No. 2、397–419 doi :10.1214/07-AOP348
• 大偏差の基礎入門: 理論、応用、シミュレーション、Hugo Touchette、arXiv:1106.4146。
• エントロピー、大偏差、統計力学、 RS Ellis 著、Springer Publication。ISBN 3-540-29059-1 
• アラン・ワイスとアダム・シュワルツ著『パフォーマンス分析のための大偏差』チャップマン＆ホールISBN 0-412-06311-5 
• Amir Dembo と Ofer Zeitouni 著「Large Deviations Techniques and Applications」Springer ISBN 0-387-98406-2 
• フィラス・ラスール＝アガとティモ・セッペライネンによるギブス測度入門を含む大偏差コース。Grad. Stud. Math.、162。アメリカ数学会ISBN 978-0-8218-7578-0 
• MI Freidlinと AD Wentzell著「Random Perturbations of Dynamical Systems」 。Springer ISBN 0-387-98362-7 
• 「乗法ノイズを伴う2次元ナビエ・ストークス方程式の大きな偏差」、SS SritharanとP. Sundar、確率過程とその応用、第116巻（2006年）1636-1659。[2]
• 「乱流の確率的シェルモデルの大きな偏差」、U. Manna、SS Sritharan、P. Sundar、NoDEA非線形微分方程式応用16（2009）、第4号、493-521。[3]