対数確率

確率論とコンピュータサイエンスにおいて、対数確率は単に確率の対数である。^[1]対数確率の使用は、標準的な単位間隔ではなく、対数スケールで確率を表すことを意味する。 ${\displaystyle (-\infty,0]}$${\displaystyle [0,1]}$

独立 事象の確率は乗算され、対数は乗算を加算に変換するため、独立事象の対数確率は加算されます。したがって、対数確率は計算に実用的であり、情報理論の観点から直感的に解釈できます。つまり、対数確率の負の期待値は、事象の情報エントロピーです。同様に、尤度は対数スケールに変換されることが多く、対応する対数尤度は、事象が統計モデルをサポートする度合いとして解釈できます。対数確率は、確率を伴う計算の実装で広く使用されており、自然言語処理などの情報理論のいくつかのアプリケーションでは、それ自体が概念として研究されています。

このように確率を表すことには、いくつかの実用的な利点があります。

1. 速度。乗算は加算よりもコストがかかるため、多数の確率の積を対数形式で表すと、多くの場合、より高速になります。(対数形式への変換はコストがかかりますが、発生するのは 1 回だけです。) 乗算は、複数の独立したイベントが発生する確率を計算することから生じます。つまり、対象となるすべての独立したイベントが発生する確率は、これらすべてのイベントの確率の積です。
2. 精度。対数確率を使用すると、コンピュータが実数を近似する方法により、確率が非常に小さい場合に数値安定性が向上します。^[1]
3. シンプルさ。多くの確率分布は指数形式です。これらの分布の対数を取ると指数関数が除去され、指数が展開されます。たとえば、正規分布の確率密度関数の対数確率は ではなく です。対数確率により、いくつかの数学的操作が簡単に実行できます。${\displaystyle -((x-m_{x})/\sigma _{m})^{2}+C}$${\displaystyle C_{2}\exp \left(-((x-m_{x})/\sigma _{m})^{2}\right)}$
4. 最適化。最も一般的な確率分布、特に指数分布族は対数的に凹面であるため^{[2] [3]}、目的関数の凹面性は確率などの関数の最大化において重要な役割を果たすため、最適化プログラムは対数確率でより適切に機能します。

対数関数はゼロに対して定義されていないため、対数確率は非ゼロの確率のみを表すことができます。区間内の数値の対数は負であるため、負の対数確率が使用されることがよくあります。その場合、次の式の対数確率は反転されます。 ${\displaystyle (0,1)}$

対数の底は任意に選択できます。

このセクションでは、対数空間における確率を次のように略して命名します。 ${\displaystyle x'}$${\displaystyle y'}$

${\displaystyle x'=\log(x)\in \mathbb {R} }$

${\displaystyle y'=\log(y)\in \mathbb {R} }$

確率の積は対数空間での加算に対応します。 ${\displaystyle x\cdot y}$

${\displaystyle \log(x\cdot y)=\log(x)+\log(y)=x'+y'.}$

確率の合計を対数空間で計算するのは少し複雑で、1 つの指数と 1 つの対数の計算が必要になります。 ${\displaystyle x+y}$

ただし、多くのアプリケーションでは、確率の乗算 (すべての独立したイベントが発生する確率を与える) は、確率の加算 (相互に排他的なイベントの少なくとも 1 つが発生する確率を与える) よりも頻繁に使用されます。さらに、状況によっては、近似値として最も高い確率を使用するだけで、加算を計算するコストを回避できます。確率は負ではないため、下限が得られます。この近似値は逆に使用され、max 関数の連続近似値を取得します。

${\displaystyle {\begin{aligned}&\log(x+y)\\={}&\log(x+x\cdot y/x)\\={}&\log(x+x\cdot \exp(\log(y/x)))\\={}&\log(x\cdot (1+\exp(\log(y)-\log(x))))\\={}&\log(x)+\log(1+\exp(\log(y)-\log(x)))\\={}&x'+\log \left(1+\exp \left(y'-x'\right)\right)\end{aligned}}}$

加算式の非対称性を利用すると、上記の式は よりも正確になります。は、2 つのオペランドのうち大きい方（負の値が最も小さい方）である必要があります。これにより、オペランドの 1 つが浮動小数点の負の無限大（確率が 0 に対応する）の場合にも、正しい動作が生成されます。 ${\displaystyle \log \left(e^{x'}+e^{y'}\right)}$${\displaystyle {x'}}$

${\displaystyle -\infty +\log \left(1+\exp \left(y'-(-\infty )\right)\right)=-\infty +\infty }$この量は不確定であり、NaNになります。

${\displaystyle x'+\log \left(1+\exp \left(-\infty -x'\right)\right)=x'+0}$これが望ましい答えです。

上記の式のみでは、両方の引数が の場合に不確定な結果が誤って生成されます。 を返すには、 を個別にチェックする必要があります。 ${\displaystyle -\infty}$${\displaystyle -\infty}$

数値的な理由から、 ( log1p )を直接計算する関数を使用する必要があります。 ${\displaystyle \log(1+x)}$

• 情報コンテンツ
• 対数尤度