モーメント生成関数

確率論および統計学において、実数値確率変数のモーメント母関数は、確率変数の確率分布を別の形で指定する母関数です。したがって、確率密度関数や累積分布関数を直接扱う場合と比較して、解析結果を得るための別の方法の基礎となります。確率変数の重み付き和によって定義される分布のモーメント母関数については、特に単純な結果が得られます。しかし、すべての確率変数にモーメント母関数が存在するわけではありません。

その名前が示すように、モーメント母関数は分布のモーメントを計算するために使用できます。0に関するn次モーメントは、モーメント母関数のn次導関数を 0 で評価したものです。

単変量の実数値分布に加えて、モーメント母関数はベクトル値または行列値の確率変数に対しても定義でき、さらに一般的な場合にも拡張できる。

実数値分布のモーメント母関数は、特性関数とは異なり、必ずしも存在するとは限りません。分布のモーメント母関数の挙動と、モーメントの存在などの分布の特性との間には関係があります。

させて${\displaystyle X}$CDFを持つ確率変数である${\displaystyle F_{X}}$モーメント母関数（mgf）${\displaystyle X}$（または${\displaystyle F_{X}}$)、で表す${\displaystyle M_{X}(t)}$、 は

$${\displaystyle M_{X}(t)=\operatorname {E} \left[e^{tX}\right]}$$

この期待が存在する場合${\displaystyle t}$0 のある開放近傍に、${\displaystyle h>0}$すべての${\displaystyle t}$満足 ${\displaystyle -h<t<h}$、 ${\displaystyle \operatorname {E} \left[e^{tX}\right]}$存在する。期待値が0の開近傍に存在しない場合、モーメント母関数は存在しないと言う。^{[ 1 ]}

言い換えれば、Xのモーメント母関数は確率変数の期待値である。${\displaystyle e^{tX}}$より一般的には、$\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{n})^{\mathrm {T} }}$、${\displaystyle n}$次元ランダムベクトル、および$\displaystyle \mathbf {t} }$は固定ベクトルであり、$\displaystyle \mathbf {t} \cdot \mathbf {X} =\mathbf {t} ^{\mathrm {T} }\mathbf {X} }$の代わりに ${\displaystyle tX}$:$${\displaystyle M_{\mathbf {X} }(\mathbf {t} ):=\operatorname {E} \left[e^{\mathbf {t} ^{\mathrm {T} }\mathbf {X} }\right].}$$

${\displaystyle M_{X}(0)}$は常に存在し、1 に等しい 。しかし、モーメント母関数の重要な問題点は、積分が絶対的に収束するとは限らないため、モーメントやモーメント母関数が存在しない可能性があることである。対照的に、特性関数またはフーリエ変換は常に存在し（有限測度の空間上の有界関数の積分であるため）、場合によっては代わりに使用できる。

モーメント母関数は、分布のモーメントを求めるために使用できることからそのように名付けられています。^{[ 2 ]} の級数展開${\displaystyle e^{tX}}$は

$${\displaystyle e^{tX}=1+tX+{\frac {t^{2}X^{2}}{2!}}+{\frac {t^{3}X^{3}}{3!}}+\cdots +{\frac {t^{n}X^{n}}{n!}}+\cdots .}$$

したがって、 $${\displaystyle {\begin{aligned}M_{X}(t)&=\operatorname {E} [e^{tX}]\\[1ex]&=1+t\operatorname {E} [X]+{\frac {t^{2}\operatorname {E} [X^{2}]}{2!}}+{\frac {t^{3}\operatorname {E} [X^{3}]}{3!}}+\cdots +{\frac {t^{n}\operatorname {E} [X^{n}]}{n!}}+\cdots \\[1ex]&=1+tm_{1}+{\frac {t^{2}m_{2}}{2!}}+{\frac {t^{3}m_{3}}{3!}}+\cdots +{\frac {t^{n}m_{n}}{n!}}+\cdots ,\end{aligned}}}$$

どこ${\displaystyle m_{n}}$は${\displaystyle n}$次モーメント。微分${\displaystyle M_{X}(t)}$${\displaystyle i}$に関して${\displaystyle t}$設定${\displaystyle t=0}$我々は、${\displaystyle i}$起源についての瞬間、${\displaystyle m_{i}}$。

もし${\displaystyle X}$は連続確率変数であり、そのモーメント生成関数との間には次のような関係がある。${\displaystyle M_{X}(t)}$そしてその確率密度関数の両側ラプラス変換${\displaystyle f_{X}(x)}$保持する:

$${\displaystyle M_{X}(t)={\mathcal {L}}\{f_{X}\}(-t),}$$

PDFの両側ラプラス変換は次のように与えられる。

$${\displaystyle {\mathcal {L}}\{f_{X}\}(s)=\int _{-\infty }^{\infty }e^{-sx}f_{X}(x)\,dx,}$$

そしてモーメント生成関数の定義は（無意識の統計学者の法則により）次のように 拡張される。$${\displaystyle M_{X}(t)=\operatorname {E} \left[e^{tX}\right]=\int _{-\infty }^{\infty }e^{tx}f_{X}(x)\,dx.}$$

これは特性関数と一致しています${\displaystyle X}$ウィックの回転${\displaystyle M_{X}(t)}$モーメント生成関数が存在する場合、それは連続確率変数の特性関数となる。${\displaystyle X}$これは、その確率密度関数のフーリエ変換である。${\displaystyle f_{X}(x)}$一般的に関数が${\displaystyle f(x)}$は指数オーダーであり、フーリエ変換は${\displaystyle f}$これは、収束領域における両側ラプラス変換のウィック回転です。詳細については、フーリエ変換とラプラス変換の関係を参照してください。

比較のために、モーメント生成関数と特性関数の例をいくつか示します。特性関数はモーメント生成関数のウィック回転であることがわかります。${\displaystyle M_{X}(t)}$後者が存在する場合。

モーメント母関数は確率変数の関数の期待値であり、次のように表すことができます。

• 離散確率質量関数の場合、${\displaystyle M_{X}(t)=\sum _{i=0}^{\infty }e^{tx_{i}}\,p_{i}}$
• 連続確率密度関数の場合、${\displaystyle M_{X}(t)=\int _{-\infty }^{\infty }e^{tx}f(x)\,dx}$
• 一般的には：${\displaystyle M_{X}(t)=\int _{-\infty }^{\infty }e^{tx}\,dF(x)}$リーマン・スティルチェス積分を用いて、ここで${\displaystyle F}$は累積分布関数です。これは単に のラプラス・スティルチェス変換です。${\displaystyle F}$ただし、引数の符号が反転している。

の場合、${\displaystyle X}$連続的な確率密度関数を持つ${\displaystyle f(x)}$、 ${\displaystyle M_{X}(-t)}$は、の両側ラプラス変換である。${\displaystyle f(x)}$。

$${\displaystyle {\begin{aligned}M_{X}(t)&=\int _{-\infty }^{\infty }e^{tx}f(x)\,dx\\[1ex]&=\int _{-\infty }^{\infty }\left(1+tx+{\frac {t^{2}x^{2}}{2!}}+\cdots +{\frac {t^{n}x^{n}}{n!}}+\cdots \right)f(x)\,dx\\[1ex]&=1+tm_{1}+{\frac {t^{2}m_{2}}{2!}}+\cdots +{\frac {t^{n}m_{n}}{n!}}+\cdots ,\end{aligned}}}$$

どこ${\displaystyle m_{n}}$は${\displaystyle n}$その瞬間。

モーメント母関数は正であり、対数凸であり、M (0) = 1である。

モーメント母関数の重要な特性は、分布を一意に決定することです。言い換えれば、${\displaystyle X}$そして${\displaystyle Y}$は 2 つの確率変数であり、 tのすべての値に対して、 

$${\displaystyle M_{X}(t)=M_{Y}(t),}$$ それから $${\displaystyle F_{X}(x)=F_{Y}(x)}$$

すべてのxの値に対して(または同等に、XとYは同じ分布を持つ)。この記述は、「2 つの分布が同じモーメントを持つ場合、それらはすべての点で同一である」という記述と同等ではありません。これは、場合によってはモーメントは存在するが、モーメント生成関数は存在しないためです。極限

$${\displaystyle \lim _{n\to \infty }\sum _{i=0}^{n}{\frac {t^{i}m_{i}}{i!}}}$$

存在しない場合もある。対数正規分布は、これが起こる例である。そのモーメントは${\displaystyle \operatorname {E} [X^{n}]=e^{n\mu +n^{2}\sigma ^{2}/2}}$すべて有限だが、そのモーメント生成関数は${\displaystyle \operatorname {E} \left[e^{tX}\right]}$は、積分が発散するため、0 の近傍では定義されず、任意の正のtに対して定義されません。同じモーメントを持つ他の分布が存在します。 ^{[ 4 ]}

ジェンセンの不等式は、モーメント母関数の単純な下限値を与える。 $${\displaystyle M_{X}(t)\geq e^{\mu t},}$$ どこ${\displaystyle \mu }$はXの平均です。

モーメント母関数は、マルコフの不等式と組み合わせて、実数確率変数Xの上側裾を制限するために使用できます。この記述は、チェルノフ限界とも呼ばれます。${\displaystyle x\mapsto e^{xt}}$単調増加${\displaystyle t>0}$、 我々は持っています $${\displaystyle \Pr(X\geq a)=\Pr(e^{tX}\geq e^{ta})\leq e^{-at}\operatorname {E} \left[e^{tX}\right]=e^{-at}M_{X}(t)}$$ いかなる場合でも${\displaystyle t>0}$および任意のa、${\displaystyle M_{X}(t)}$存在する。例えば、Xが標準正規分布で、${\displaystyle a>0}$選択できます${\displaystyle t=a}$そして、${\displaystyle M_{X}(t)=e^{t^{2}/2}}$これにより${\displaystyle \Pr(X\geq a)\leq e^{-a^{2}/2}}$これは、正確な値から1+ a倍の範囲内にある。

ホフディングの補題やベネットの不等式など、さまざまな補題は、平均値がゼロで有界な確率変数の場合のモーメント母関数の上限と下限を与える。

いつ${\displaystyle X}$が非負である場合、モーメント生成関数はモーメントの単純で有用な上限値を与える。 $${\displaystyle \operatorname {E} [X^{m}]\leq \left({\frac {m}{te}}\right)^{m}M_{X}(t),}$$ いかなる場合でも${\displaystyle X,m\geq 0}$そして${\displaystyle t>0}$。

これは不等式から導かれる${\displaystyle 1+x\leq e^{x}}$代入できる${\displaystyle x'=tx/m-1}$暗示する${\displaystyle tx/m\leq e^{tx/m-1}}$いかなる場合でも${\displaystyle x,t,m\in \mathbb {R} }$. さて、もし${\displaystyle t>0}$そして${\displaystyle x,m\geq 0}$これは次のように並べ替えることができます${\displaystyle x^{m}\leq (m/(te))^{m}e^{tx}}$両辺の期待値を取ると、次の境界が得られます。${\displaystyle \operatorname {E} [X^{m}]}$に関しては${\displaystyle \operatorname {E} [e^{tX}]}$。

例として、${\displaystyle X\sim {\text{Chi-Squared}}}$と${\displaystyle k}$自由度。次に例から${\displaystyle M_{X}(t)=(1-2t)^{-k/2}}$摘み取り${\displaystyle t=m/(2m+k)}$そして境界に代入すると： $${\displaystyle \operatorname {E} [X^{m}]\leq {\left(1+2m/k\right)}^{k/2}e^{-m}{\left(k+2m\right)}^{m}.}$$この場合、正しい境界は 次のようになります。${\displaystyle \operatorname {E} [X^{m}]\leq 2^{m}\Gamma (m+k/2)/\Gamma (k/2)}$境界を比較するために、大きな値に対する漸近挙動を考察することができる。${\displaystyle k}$ここで、モーメント生成関数の境界は次のようになります。${\displaystyle k^{m}(1+m^{2}/k+O(1/k^{2}))}$実際の境界は${\displaystyle k^{m}(1+(m^{2}-m)/k+O(1/k^{2}))}$したがって、この場合、モーメント母関数による境界は非常に強力である。

モーメント母関数に関連する、確率論でよく用いられる他の変換もいくつか存在する。

特性関数

特性関数${\displaystyle \varphi _{X}(t)}$モーメント生成関数と関連している${\displaystyle \varphi _{X}(t)=M_{iX}(t)=M_{X}(it):}$特性関数は、 iXのモーメント母関数、または虚軸上で評価したXのモーメント母関数です。この関数は、確率密度関数のフーリエ変換とみなすこともできます。したがって、逆フーリエ変換によって確率密度関数を導出することができます。

キュムラント生成関数

キュムラント生成関数は、モーメント生成関数の対数として定義されます。一方、キュムラント生成関数を特性関数の対数として定義する人もいれば、後者を第2キュムラント生成関数と呼ぶ人もいます。

確率生成関数

確率生成関数は次のように定義される。${\displaystyle G(z)=\operatorname {E} \left[z^{X}\right].}$これは直ちに次のことを意味する。${\displaystyle G(e^{t})=\operatorname {E} \left[e^{tX}\right]=M_{X}(t).}$

• 特性関数（確率論）
• 階乗母関数
• レート関数
• ハンバーガーモーメント問題