ジェンセンの不平等

実凸関数の場合${\displaystyle \varphi }$数字${\displaystyle x_{1},x_{2},\ldots ,x_{n}}$その領域内で、正の重み${\displaystyle a_{i}}$ジェンセンの不等式は次のように表すことができます。

そして、不等式が逆転するのは、${\displaystyle \varphi }$凹面であるため、

平等は、以下の場合に限り成立する。${\displaystyle x_{1}=x_{2}=\cdots =x_{n}}$または${\displaystyle \varphi }$を含む領域上で線形である${\displaystyle x_{1},x_{2},\cdots ,x_{n}}$。

特定のケースとして、重みが${\displaystyle a_{i}}$すべてが等しい場合、（1）と（2）は次のようになります。

例えば、関数log( x )は凹関数なので、${\displaystyle \varphi (x)=\log(x)}$前述の式（4 ）は、おなじみの算術平均／幾何平均の不等式（対数）を確立する。

$$\displaystyle \log \!\left({\frac {\sum _{i=1}^{n}x_{i}}{n}}\right)\geq {\frac {\sum _{i=1}^{n}\log \!\left(x_{i}\right)}{n}}}$$$${\displaystyle \exp \!\left(\log \!\left({\frac {\sum _{i=1}^{n}x_{i}}{n}}\right)\right)\geq \exp \!\left({\frac {\sum _{i=1}^{n}\log \!\left(x_{i}\right)}{n}}\right)}$$$${\displaystyle {\frac {x_{1}+x_{2}+\cdots +x_{n}}{n}}\geq {\sqrt[{n}]{x_{1}\cdot x_{2}\cdots x_{n}}}}$$

一般的な応用例では、x は別の変数 (または変数のセット) tの関数として表されます。つまり、${\displaystyle x_{i}=g(t_{i})}$これらすべては、一般的な連続ケースに直接適用されます。重みa _iは、確率分布などの非負の積分可能な関数f ( x )に置き換えられ、総和は積分に置き換えられます。

させて${\displaystyle (\Omega ,A,\mu )}$を確率空間とする。${\displaystyle f:\Omega \to \mathbb {R} }$になる${\displaystyle \mu }$-積分可能な関数と${\displaystyle \varphi$ :\mathbb {R} \to \mathbb {R} } は凸である。すると： ^{[ 5 ]}$${\displaystyle \varphi \left(\int _{\Omega }f\,\mathrm {d} \mu \right)\leq \int _{\Omega }\varphi \circ f\,\mathrm {d} \mu }$$

実際の分析では、推定値が必要になる場合があります。

${\displaystyle \varphi \left(\int _{a}^{b}f(x)\,dx\right)}$

どこ${\displaystyle a,b\in \mathbb {R} }$、 そして${\displaystyle f\colon [a,b]\to \mathbb {R} }$は非負のルベーグ積分可能な関数です。この場合、のルベーグ測度は${\displaystyle [a,b]}$1 である必要はありません。ただし、置換積分により、区間を再スケーリングして、その尺度が 1 になるようにすることができます。次に、イェンセンの不等式を適用して^{[ 6 ]を得ることができます。}

${\displaystyle \varphi \left({\frac {1}{b-a}}\int _{a}^{b}f(x)\,dx\right)\leq {\frac {1}{b-a}}\int _{a}^{b}\varphi (f(x))\,dx.}$

同じ結果は、記号を少し変えるだけで、確率論の枠組みでも同様に表現できる。${\displaystyle (\Omega ,{\mathfrak {F}},\operatorname {P} )}$は確率空間であり、Xは積分可能な実数値確率変数であり、${\displaystyle \varphi }$凸関数。すると^{[ 7 ]}$${\displaystyle \varphi {\big (}\operatorname {E} [X]{\big )}\leq \operatorname {E} [\varphi (X)].}$$

この確率設定では、尺度μは確率として意図されています${\displaystyle \operatorname {P} }$μに関する積分を期待値として表す${\displaystyle \operatorname {E} }$、そして関数${\displaystyle f}$確率変数Xとして。

等号が成り立つのは、${\displaystyle \varphi }$ある凸集合上の線形関数である。${\displaystyle A}$そのため${\displaystyle P(X\in A)=1}$（これは、以下の測度論的証明を検証することで明らかになる。）

より一般的に、T を実位相ベクトル空間とし、X をT値の可積分確率変数とする。この一般的な設定では、可積分とは、要素が存在することを意味する。${\displaystyle \operatorname {E} [X]}$Tにおいて、 Tの双対空間の任意の要素zに対して、次のことが成り立つ。${\displaystyle \operatorname {E} |\langle z,X\rangle |<\infty }$、 そして${\displaystyle \langle z,\operatorname {E} [X]\rangle =\operatorname {E} [\langle z,X\rangle ]}$すると、任意の可測凸関数φと任意の部分σ代数に対して、${\displaystyle {\mathfrak {G}}}$の${\displaystyle {\mathfrak {F}}}$:

${\displaystyle \varphi \left(\operatorname {E} \left[X\mid {\mathfrak {G}}\right]\right)\leq \operatorname {E} \left[\varphi (X)\mid {\mathfrak {G}}\right].}$

ここ${\displaystyle \operatorname {E} [\cdot \mid {\mathfrak {G}}]}$σ代数に条件付けられた期待値を表す${\displaystyle {\mathfrak {G}}}$。位相ベクトル空間Tが実軸である場合、この一般的な記述は前の記述に帰着し、${\displaystyle {\mathfrak {G}}}$は自明なσ代数{∅, Ω}である（ここで∅は空集合、Ωは標本空間である）。^{[ 8 ]}

X を平均を持つ一次元確率変数とする${\displaystyle \mu }$および分散${\displaystyle \sigma ^{2}\geq 0}$。 させて${\displaystyle \varphi (x)}$2回微分可能な関数とし、関数を定義する。

${\displaystyle h(x)\triangleq {\frac {\varphi \left(x\right)-\varphi \left(\mu \right)}{\left(x-\mu \right)^{2}}}-{\frac {\varphi '\left(\mu \right)}{x-\mu }}.}$

そして^{[ 9 ]}

${\displaystyle \sigma ^{2}\inf {\frac {\varphi ''(x)}{2}}\leq \sigma ^{2}\inf h(x)\leq E\left[\varphi \left(X\right)\right]-\varphi \left(E[X]\right)\leq \sigma ^{2}\sup h(x)\leq \sigma ^{2}\sup {\frac {\varphi ''(x)}{2}}.}$

特に、${\displaystyle \varphi (x)}$凸である場合、${\displaystyle \varphi ''(x)\geq 0}$、そして、 の場合、ジェンセンの不等式の標準形が直ちに導かれる。${\displaystyle \varphi (x)}$さらに、2回微分可能であると仮定する。

イェンセンの不等式はいくつかの方法で証明できますが、上記の異なる記述に対応する3つの異なる証明が提示されます。しかし、これらの数学的導出に着手する前に、Xが実数である確率的ケースに基づく直感的な図解による議論を分析する価値があります（図を参照）。X値の仮想的な分布を仮定すると、すぐに位置を特定できます。${\displaystyle \operatorname {E} [X]}$そしてそのイメージ${\displaystyle \varphi (\operatorname {E} [X])}$グラフにおいて、凸写像Y = φ ( x )がいくつかのx値に対して、対応するY値の分布がXの値が増加するにつれてますます「上に引き伸ばされる」ことに注目すると、任意の X 0 に対して、 Yの分布はX > X ₀に対応する区間で広く、X < X ₀の区間で狭くなることが容易にわかります。特に、これは次の場合にも当てはまります_。${\displaystyle X_{0}=\operatorname {E} [X]}$したがって、この図では、Yの期待値は常に、の位置に対して上方にシフトします。${\displaystyle \varphi (\operatorname {E} [X])}$Xの分布が凸関数の減少部分、または減少部分と増加部分の両方をカバーする場合にも同様の推論が成り立ちます。これにより不等式が「証明」されます。

${\displaystyle \varphi (\operatorname {E} [X])\leq \operatorname {E} [\varphi (X)]=\operatorname {E} [Y],}$

φ ( X )が厳密に凸でない場合、例えば直線の場合、またはXが退化分布に従う場合（つまり定数の場合）には等号が成り立つ。

以下の証明は、この直感的な概念を形式的に表したものである。

λ ₁とλ _2がλ ₁ + λ ₂ = 1を満たす任意の非負の実数である場合、 φの凸性は以下を意味する。

${\displaystyle \forall x_{1},x_{2}:\qquad \varphi \left(\lambda _{1}x_{1}+\lambda _{2}x_{2}\right)\leq \lambda _{1}\,\varphi (x_{1})+\lambda _{2}\,\varphi (x_{2}).}$

これは一般化できる。λ 1 _、 ...、λ _nが非負の実数で、λ ₁ + ... + λ _n = 1である場合、

${\displaystyle \varphi (\lambda _{1}x_{1}+\lambda _{2}x_{2}+\cdots +\lambda _{n}x_{n})\leq \lambda _{1}\,\varphi (x_{1})+\lambda _{2}\,\varphi (x_{2})+\cdots +\lambda _{n}\,\varphi (x_{n}),}$

任意のx ₁、 ...、x _nに対して。

イェンセンの不等式の有限形は帰納法で証明できます。凸性の仮定により、n  =  2 の場合、この命題は真です。あるnに対してこの命題が真であると仮定すると、

${\displaystyle \varphi \left(\sum _{i=1}^{n}\lambda _{i}x_{i}\right)\leq \sum _{i=1}^{n}\lambda _{i}\varphi \left(x_{i}\right)}$

λ ₁ , ..., λ _nに対して、 λ ₁ + ... + λ _n = 1となる。

n + 1 の場合について証明する必要がある。λ _iの少なくとも 1 つは厳密により小さい。${\displaystyle 1}$λ _{n +1}とすると、凸性不等式により次のようになる。

${\displaystyle {\begin{aligned}\varphi \left(\sum _{i=1}^{n+1}\lambda _{i}x_{i}\right)&=\varphi \left((1-\lambda _{n+1})\sum _{i=1}^{n}{\frac {\lambda _{i}}{1-\lambda _{n+1}}}x_{i}+\lambda _{n+1}x_{n+1}\right)\\&\leq (1-\lambda _{n+1})\varphi \left(\sum _{i=1}^{n}{\frac {\lambda _{i}}{1-\lambda _{n+1}}}x_{i}\right)+\lambda _{n+1}\,\varphi (x_{n+1}).\end{aligned}}}$

λ ₁ + ... + λ _n + λ _{n +1} = 1なので、

${\displaystyle \sum _{i=1}^{n}{\frac {\lambda _{i}}{1-\lambda _{n+1}}}=1}$、

帰納的仮説を適用すると、

${\displaystyle \varphi \left(\sum _{i=1}^{n}{\frac {\lambda _{i}}{1-\lambda _{n+1}}}x_{i}\right)\leq \sum _{i=1}^{n}{\frac {\lambda _{i}}{1-\lambda _{n+1}}}\varphi (x_{i})}$

したがって

${\displaystyle {\begin{aligned}\varphi \left(\sum _{i=1}^{n+1}\lambda _{i}x_{i}\right)&\leq (1-\lambda _{n+1})\sum _{i=1}^{n}{\frac {\lambda _{i}}{1-\lambda _{n+1}}}\varphi (x_{i})+\lambda _{n+1}\,\varphi (x_{n+1})=\sum _{i=1}^{n+1}\lambda _{i}\varphi (x_{i})\end{aligned}}}$

我々は、 n + 1の場合に不等式が成り立つことを推論し、帰納法により、 2 より大きいすべての整数nに対しても結果が成り立つことを導きます。

この有限形式から一般不等式を得るには、稠密性論証を用いる必要がある。有限形式は次のように書き換えることができる。

${\displaystyle \varphi \left(\int x\,d\mu _{n}(x)\right)\leq \int \varphi (x)\,d\mu _{n}(x),}$

ここで、μ _nはディラックのデルタの任意の凸結合によって与えられる尺度である。

${\displaystyle \mu _{n}=\sum _{i=1}^{n}\lambda _{i}\delta _{x_{i}}.}$

凸関数は連続であり、ディラックのデルタ関数の凸結合は確率測度の集合において弱稠密であるため（これは容易に検証できる）、一般的な命題は単に極限操作によって得られる。

させて${\displaystyle g}$実数値である${\displaystyle \mu }$確率空間上の積分可能な関数${\displaystyle \Omega }$、そして${\displaystyle \varphi }$実数上の凸関数である。${\displaystyle \varphi }$凸関数であり、各実数において${\displaystyle x}$我々は空でない劣導関数の集合を持っており、それは のグラフに接する線と考えることができる。${\displaystyle \varphi }$で${\displaystyle x}$しかし、グラフの下にあるものは${\displaystyle \varphi }$すべての点（グラフの支持線）において。

さて、定義すると

${\displaystyle x_{0}:=\int _{\Omega }g\,d\mu ,}$

凸関数には劣導関数が存在するため、${\displaystyle a}$そして${\displaystyle b}$そのため

${\displaystyle ax+b\leq \varphi (x),}$

すべての現実のために${\displaystyle x}$そして

${\displaystyle ax_{0}+b=\varphi (x_{0}).}$

しかし、それと、

${\displaystyle \varphi \circ g(\omega )\geq ag(\omega )+b}$

ほぼすべての${\displaystyle \omega \in \Omega }$確率測度があるので、積分は単調で、${\displaystyle \mu (\Omega )=1}$となることによって

${\displaystyle \int _{\Omega }\varphi \circ g\,d\mu \geq \int _{\Omega }(ag+b)\,d\mu =a\int _{\Omega }g\,d\mu +b\int _{\Omega }d\mu =ax_{0}+b=\varphi (x_{0})=\varphi \left(\int _{\Omega }g\,d\mu \right),}$

ご希望に応じて。

X を実位相ベクトル空間Tの値をとる積分可能な確率変数とする。${\displaystyle \varphi :T\to \mathbb {R} }$は凸である、任意の${\displaystyle x,y\in T}$数量

${\displaystyle {\frac {\varphi (x+\theta \,y)-\varphi (x)}{\theta }},}$

θが⁰⁺に近づくにつれて減少する。特に、の劣微分は${\displaystyle \varphi }$xにおけるy方向の評価は、次のように明確に定義されます。

${\displaystyle (D\varphi )(x)\cdot y:=\lim _{\theta \downarrow 0}{\frac {\varphi (x+\theta \,y)-\varphi (x)}{\theta }}=\inf _{\theta \neq 0}{\frac {\varphi (x+\theta \,y)-\varphi (x)}{\theta }}.}$

劣微分がy に関して線形であることは容易にわかる（これは誤りであり、この主張にはハーン・バナッハの定理の証明が必要である）。また、前の式の右辺で取られた下限はθ = 1の場合の同じ項の値よりも小さいので、次の式が得られる。

${\displaystyle \varphi (x)\leq \varphi (x+y)-(D\varphi )(x)\cdot y.}$

特に、任意の部分σ代数に対して${\displaystyle {\mathfrak {G}}}$最後の不等式を評価するには、${\displaystyle x=\operatorname {E} [X\mid {\mathfrak {G}}],\,y=X-\operatorname {E} [X\mid {\mathfrak {G}}]}$取得する

${\displaystyle \varphi (\operatorname {E} [X\mid {\mathfrak {G}}])\leq \varphi (X)-(D\varphi )(\operatorname {E} [X\mid {\mathfrak {G}}])\cdot (X-\operatorname {E} [X\mid {\mathfrak {G}}]).}$

さて、期待値を条件付きで考えると${\displaystyle {\mathfrak {G}}}$前の式の両辺に以下の式を適用すると、次の結果が得られます。

${\displaystyle \operatorname {E} \left[\left[(D\varphi )(\operatorname {E} [X\mid {\mathfrak {G}}])\cdot (X-\operatorname {E} [X\mid {\mathfrak {G}}])\right]\mid {\mathfrak {G}}\right]=(D\varphi )(\operatorname {E} [X\mid {\mathfrak {G}}])\cdot \operatorname {E} [\left(X-\operatorname {E} [X\mid {\mathfrak {G}}]\right)\mid {\mathfrak {G}}]=0,}$

y変数に関する劣微分が線形であること、および条件付き期待値の次のよく知られた性質により、

${\displaystyle \operatorname {E} \left[\left(\operatorname {E} [X\mid {\mathfrak {G}}]\right)\mid {\mathfrak {G}}\right]=\operatorname {E} [X\mid {\mathfrak {G}}].}$

Ωは実数直線の可測部分集合であり、f ( x ) は非負関数であると仮定する。

${\displaystyle \int _{-\infty }^{\infty }f(x)\,dx=1.}$

確率論的な言葉で言えば、fは確率密度関数である。

すると、イェンセンの不等式は凸積分に関する次の式となる。

gが任意の実数値可測関数であり、${\textstyle \varphi }$gの範囲で凸である場合、

${\displaystyle \varphi \left(\int _{-\infty }^{\infty }g(x)f(x)\,dx\right)\leq \int _{-\infty }^{\infty }\varphi (g(x))f(x)\,dx.}$

g ( x ) = xの場合、この不等式の形式は、よく使われる特殊なケースに簡略化されます。

${\displaystyle \varphi \left(\int _{-\infty }^{\infty }x\,f(x)\,dx\right)\leq \int _{-\infty }^{\infty }\varphi (x)\,f(x)\,dx.}$

これは変分ベイズ法に適用される。

g ( x ) = x²nで、Xが確率変数である場合、 gは凸関数である^。

${\displaystyle {\frac {d^{2}g}{dx^{2}}}(x)=2n(2n-1)x^{2n-2}\geq 0\quad \forall \ x\in \mathbb {R} }$

など

${\displaystyle g(\operatorname {E} [X])=(\operatorname {E} [X])^{2n}\leq \operatorname {E} [X^{2n}].}$

特に、Xの偶数次モーメント2nが有限であれば、X は有限の平均を持つ。この議論を拡張すると、X はあらゆる次数において有限のモーメントを持つことが示される。${\displaystyle l\in \mathbb {N} }$nを割る。

Ω = { x ₁ , ... x _n }とし、 μ をΩ上の計数測度とすると、一般形は和に関する記述に帰着する。

${\displaystyle \varphi \left(\sum _{i=1}^{n}g(x_{i})\lambda _{i}\right)\leq \sum _{i=1}^{n}\varphi (g(x_{i}))\lambda _{i},}$

ただし、λ _i ≥ 0であり、

${\displaystyle \lambda _{1}+\cdots +\lambda _{n}=1.}$

無限に離散的な形式も存在する。

ジェンセンの不等式は、凸関数が指数関数である場合に統計物理学において特に重要であり、次の式が成り立つ。

${\displaystyle e^{\operatorname {E} [X]}\leq \operatorname {E} \left[e^{X}\right],}$

ここで、期待値は確率変数Xの何らかの確率分布に関するものです。

p ( x )がXの真の確率密度であり、q ( x )が別の密度である場合、確率変数Y ( X ) = q ( X )/ p ( X )と凸関数φ ( y ) = −log( y )に対してイェンセンの不等式を適用すると、次のようになる。

${\displaystyle \operatorname {E} [\varphi (Y)]\geq \varphi (\operatorname {E} [Y])}$

したがって：

${\displaystyle -D(p(x)\|q(x))=\int p(x)\log \left({\frac {q(x)}{p(x)}}\right)\,dx\leq \log \left(\int p(x){\frac {q(x)}{p(x)}}\,dx\right)=\log \left(\int q(x)\,dx\right)=0}$

ギブスの不等式と呼ばれる結果。

これは、符号が他の分布qではなく真の確率pに基づいて割り当てられる場合に平均メッセージ長が最小化されることを示している。非負の量は、qとpのカルバック・ライブラー情報量と呼ばれ、${\displaystyle D(p(x)\|q(x))=\int p(x)\log \left({\frac {p(x)}{q(x)}}\right)dx}$。

−log( x )はx > 0に対して厳密に凸関数であるため、 p ( x )がq ( x )とほぼ至るところで等しい場合に等号が成り立つことがわかる。

Lが凸関数であり、${\displaystyle {\mathfrak {G}}}$サブシグマ代数では、イェンセンの不等式の条件付きバージョンから、次の式が得られます。

${\displaystyle L(\operatorname {E} [\delta (X)\mid {\mathfrak {G}}])\leq \operatorname {E} [L(\delta (X))\mid {\mathfrak {G}}]\quad \Longrightarrow \quad \operatorname {E} [L(\operatorname {E} [\delta (X)\mid {\mathfrak {G}}])]\leq \operatorname {E} [L(\delta (X))].}$

したがって、δ( X )が観測可能なベクトルXが与えられたときの未観測パラメータθの推定値であり、T ( X )がθの十分統計量である場合、期待損失Lが小さいという意味で改善された推定値は、計算によって得られます。

${\displaystyle \delta _{1}(X)=\operatorname {E} _{\theta }[\delta (X')\mid T(X')=T(X)],}$

観測されたT ( X )と同じ値と互換性のある観測Xのすべての可能なベクトルについて取られた、θに関するδの期待値。さらに、Tは十分統計量であるため、${\displaystyle \delta _{1}(X)}$θに依存しないため、統計量となる。

この結果はラオ・ブラックウェル定理として知られている。

リスク回避とスカ​​ラー結果に対する限界効用逓減の関係は、イェンセンの不等式を用いて形式的に表現できる。リスク回避とは、ある特定の結果を好むことであると表現できる。${\displaystyle u(E[x])}$潜在的に大きな不確実な結果を伴う公平な賭け${\displaystyle u(x)}$:

${\displaystyle u(E[x])>E[u(x)]}$。

しかしこれは単に凹関数に対するイェンセンの不等式である${\displaystyle u(x)}$:限界効用逓減を示す効用関数。 ^{[ 11 ]}