正規化定数

確率論では、積分が有限である任意の非負関数を確率密度関数に縮約するために、正規化定数または正規化因子が使用されます。

例えば、ガウス関数を正規化することで確率密度関数が得られ、標準正規分布となります。ベイズの定理では、すべての可能な仮説の合計が1になるように正規化定数が使用されます。正規化定数の他の用途としては、ルジャンドル多項式の値を1にすることや、直交関数の直交性などが挙げられます。

同様の概念は、確率以外の分野、例えば多項式などでも用いられている。

確率論において、正規化定数とは、あらゆる非負関数に掛け合わせることで、そのグラフの下の面積が 1 になるようにする定数のことである。例えば、確率密度関数や確率質量関数にするために使用される。^{[ 1 ] [ 2 ]}

単純なガウス関数から始めると$${\displaystyle p(x)=e^{-x^{2}/2},\quad x\in (-\infty ,\infty )}$$ 対応するガウス積分は次のようになる。$${\displaystyle \int _{-\infty }^{\infty }p(x)\,dx=\int _{-\infty }^{\infty }e^{-x^{2}/2}\,dx={\sqrt {2\pi \,}},}$$

ここで、後者の逆数を前者の正規化定数として用いると、関数を定義することになる。${\displaystyle \varphi (x)}$として $${\displaystyle \varphi (x)={\frac {1}{\sqrt {2\pi \,}}}p(x)={\frac {1}{\sqrt {2\pi \,}}}e^{-x^{2}/2}}$$ そのため、その積分は単位となる。 $${\displaystyle \int _{-\infty }^{\infty }\varphi (x)\,dx=\int _{-\infty }^{\infty }{\frac {1}{\sqrt {2\pi \,}}}e^{-x^{2}/2}\,dx=1}$$ すると関数${\displaystyle \varphi (x)}$これは確率密度関数です。^{[ 3 ]}これは標準正規分布 の密度です。（この場合、「標準」とは期待値が0で分散が1であることを意味します。）

そして絶え間なく${\textstyle {\frac {1}{\sqrt {2\pi }}}}$は関数の正規化定数です${\displaystyle p(x)}$。

同様に、 $${\displaystyle \sum _{n=0}^{\infty }{\frac {\lambda ^{n}}{n!}}=e^{\lambda },}$$ そして結果として $${\displaystyle f(n)={\frac {\lambda ^{n}e^{-\lambda }}{n!}}}$$ は、すべての非負整数の集合上の確率質量関数です。^{[ 4 ]}これは、期待値λのポアソン分布 の確率質量関数です。

確率密度関数が様々なパラメータの関数である場合、その正規化定数も同様に様々なパラメータの関数となることに注意してください。ボルツマン分布のパラメータ化された正規化定数は、統計力学において中心的な役割を果たします。この文脈において、正規化定数は分配関数と呼ばれます。

ベイズの定理によれば、事後確率測度は事前確率測度と尤度関数の積に比例します。 に比例するということは、空間全体に測度1を割り当てる、つまり確率測度を得るためには、正規化定数を乗算または除算する必要があることを意味します。単純な離散ケースでは、次のようになります。 $${\displaystyle P(H_{0}\mid D)={\frac {P(D\mid H_{0})P(H_{0})}{P(D)}}}$$ ここで、P(H ₀ ) は仮説が真である事前確率です。P(D|H ₀ ) は仮説が真であるという条件付きデータの確率ですが、データが既知である場合、データが与えられたときの仮説 (またはそのパラメータ) の尤度です。P(H ₀  |  D) はデータが与えられたときの仮説が真である事後確率です。P(D) はデータを生成する確率であるべきですが、それだけでは計算が難しいため、この関係を比例関係として記述する別の方法があります。 $${\displaystyle P(H_{0}\mid D)\propto P(D\mid H_{0})P(H_{0}){\text{はH_{0}の関数である。}$$ 以来${\textstyle P(H\mid D)}$は確率であり、考えられるすべての（相互排他的な）仮説の合計は 1 になるはずであり、次の結論に至る。 $${\displaystyle P(H_{0}\mid D)={\frac {P(D\mid H_{0})P(H_{0})}{\displaystyle \sum _{i}P(D\mid H_{i})P(H_{i})}}.}$$ この場合、値の 逆数$${\displaystyle P(D)=\sum _{i}P(D\mid H_{i})P(H_{i})\;}$$は正規化定数 である。^{[ 5 ]} 和を積分に置き換えることで、可算個の仮説から非可算個の仮説に拡張することができる。

具体的には、実用的な目的で正規化定数を推定する方法は数多くあります。ブリッジサンプリング法、ナイーブモンテカルロ推定法、一般化調和平均推定法、重点サンプリング法などがあります。^{[ 6 ]}

ルジャンドル多項式は、区間[−1, 1]上の均一測度に関して直交性を持ち、かつ1における値が1となるように正規化されているという特徴を持つ。多項式の値が1となるように乗じる定数は、正規化定数と呼ばれる。

正規直交関数は次のように正規化される。$${\displaystyle \langle f_{i},\,f_{j}\rangle =\,\delta _{i,j}}$$ある内積⟨f , g⟩に関して。

定数1/ √2は、双曲三角形の隣辺と対辺の長さから双曲関数cosh と sinhを確立するために使用されます。

• 正規化（統計）