シュタインの補題

スタインの補題は、チャールズ・スタインにちなんで名付けられた確率論の定理であり、統計的推論（特にジェームズ・スタイン推定法と経験的ベイズ法）への応用とポートフォリオ選択理論への応用によって主に興味深いものとなっている。^{[1]この定理は、2つのランダム変数が}共に正規分布している場合に、 1つのランダム変数と別のランダム変数の関数の値の共分散の式を与える。

なお、「スタインの補題」という名前は、統計的仮説検定の分野における別の結果を指すためにもよく使用されている^{[2] 。この結果は、}仮説検定における誤差指数とカルバック・ライブラー・ダイバージェンスを結び付けている。この結果はチェルノフ・スタインの補題^[3]としても知られており、この記事で議論されている補題とは関係がない。

X は期待値μ と分散σ ²を持つ正規分布する ランダム変数であるとする。さらに、g は2 つの期待値 E( g ( X ) ( X − μ)) と E( g ′( X )) の両方が存在する微分可能関数であるとする。(ランダム変数の期待値の存在は、その絶対値の期待値が有限であることと同等である。)

${\displaystyle E{\bigl (}g(X)(X-\mu ){\bigr )}=\sigma ^{2}E{\bigl (}g'(X){\bigr )}.}$

一般的に、XとYが正規分布していると仮定します。

${\displaystyle \operatorname {Cov} (g(X),Y)=\operatorname {Cov} (X,Y)E(g'(X)).}$

一般的な多変量ガウスランダムベクトルの場合、 ${\displaystyle (X_{1},...,X_{n})\sim N(\mu ,\Sigma )}$

${\displaystyle E{\bigl (}g(X)(X-\mu ){\bigr )}=\Sigma \cdot E{\bigl (}\nabla g(X){\bigr )}.}$

同様に、${\displaystyle \mu =0}$$${\displaystyle E[\partial _{i}g(X)]=E[g(X)(\Sigma ^{-1}X)_{i}],\quad E[\partial _{i}\partial _{j}g(X)]=E[g(X)((\Sigma ^{-1}X)_{i}(\Sigma ^{-1}X)_{j}-\Sigma _{ij}^{-1})]}$$

スタインの補題は、確率的に勾配を推定するために使用できます。ここで、は標準正規分布からのIIDサンプルです。この形式は、スタイン変分勾配降下法^[4]とスタイン変分ポリシー勾配^[5]に応用されています。$${\displaystyle \nabla E_{\epsilon \sim {\mathcal {N}}(0,I)}{\bigl (}g(x+\Sigma ^{1/2}\epsilon ){\bigr )}=\Sigma ^{-1/2}E_{\epsilon \sim {\mathcal {N}}(0,I)}{\bigl (}g(x+\Sigma ^{1/2}\epsilon )\epsilon {\bigr )}\approx \Sigma ^{-1/2}{\frac {1}{N}}\sum _{i=1}^{N}g(x+\Sigma ^{1/2}\epsilon _{i})\epsilon _{i}}$$${\displaystyle \epsilon _{1},\dots ,\epsilon _{N}}$${\displaystyle {\mathcal {N}}(0,I)}$

期待値0、分散1の単変量正規分布の 単変量確率密度関数は

${\displaystyle \varphi (x)={1 \over {\sqrt {2\pi }}}e^{-x^{2}/2}}$

部分積分から次式が得られる。 ${\displaystyle \int x\exp(-x^{2}/2)\,dx=-\exp(-x^{2}/2)}$

${\displaystyle E[g(X)X]={\frac {1}{\sqrt {2\pi }}}\int g(x)x\exp(-x^{2}/2)\,dx={\frac {1}{\sqrt {2\pi }}}\int g'(x)\exp(-x^{2}/2)\,dx=E[g'(X)]}$。

一般的な変動の場合は、置換によって次のようになります。 ${\displaystyle \sigma ^{2}}$

イッサーリスの定理は、平均ゼロの多変量正規乱数ベクトルであるとして同様に述べられます。 $${\displaystyle \operatorname {E} (X_{1}f(X_{1},\ldots ,X_{n}))=\sum _{i=1}^{n}\operatorname {Cov} (X_{1},X_{i})\operatorname {E} (\partial _{X_{i}}f(X_{1},\ldots ,X_{n})).}$$${\displaystyle (X_{1},\dots X_{n})}$

Xが指数族に属すると仮定する。つまり、Xの密度は

${\displaystyle f_{\eta }(x)=\exp(\eta 'T(x)-\Psi (\eta ))h(x).}$

この密度がサポートを持ち、がであるとして 、が である可能性があると仮定します。ここで は、 または が有限である 任意の微分可能関数です。すると、${\displaystyle (a,b)}$${\displaystyle a,b}$${\displaystyle -\infty ,\infty }$${\displaystyle x\rightarrow a{\text{ または }}b}$${\displaystyle \exp(\eta 'T(x))h(x)g(x)\rightarrow 0}$${\displaystyle g}$${\displaystyle E|g'(X)|<\infty }$${\displaystyle \exp(\eta 'T(x))h(x)\rightarrow 0}$${\displaystyle a,b}$

${\displaystyle E\left[\left({\frac {h'(X)}{h(X)}}+\sum \eta _{i}T_{i}'(X)\right)\cdot g(X)\right]=-E[g'(X)].}$

導出は特殊な場合、つまり部分積分と同じです。

がサポートされていること だけがわかっている場合、 であるが である可能性があります。これを確認するには、と を単純に置き、は無限大に向かって無限にスパイクしますが、それでも積分可能です。このような例の 1 つは から適用でき、は滑らかになります。 ${\displaystyle X}$${\displaystyle \mathbb {R} }$${\displaystyle E|g(X)|<\infty {\text{ and }}E|g'(X)|<\infty }$${\displaystyle \lim _{x\rightarrow \infty }f_{\eta }(x)g(x)\not =0}$${\displaystyle g(x)=1}$${\displaystyle f_{\eta }(x)}$${\displaystyle f(x)={\begin{cases}1&x\in [n,n+2^{-n})\\0&{\text{otherwise}}\end{cases}}}$${\displaystyle f}$

楕円曲線分布への拡張も存在する。^{[6] [7] [8]}

• スタインの方法
• 確率変数関数のモーメントのテイラー展開
• シュタインの矛盾