対数和乗

LogSumExp ( LSE )関数（ RealSoftMax ^[1]または多変数ソフトプラスとも呼ばれる）は、滑らかな最大値、つまり最大値関数の滑らかな近似であり、主に機械学習アルゴリズムで使用されます。^{[2]これは、引数の}指数の合計の対数として定義されます。

$${\displaystyle \mathrm {LSE} (x_{1},\dots ,x_{n})=\log \left(\exp(x_{1})+\cdots +\exp(x_{n})\right).}$$

LogSumExp 関数の定義域は、実座標空間 であり、その余域は、実直線です。これは、次の境界を持つ 最大値への近似値です。 最初の不等式は、 でない限り厳密です。2 番目の不等式は、すべての引数が等しくない限り厳密です。(証明: とします。このとき、 です。この不等式に対数を適用すると、結果 が得られます。) ${\displaystyle \mathbb {R} ^{n}}$${\displaystyle \mathbb {R} }$${\displaystyle \max _{i}x_{i}}$$${\displaystyle \max {\{x_{1},\dots ,x_{n}\}}\leq \mathrm {LSE} (x_{1},\dots ,x_{n})\leq \max {\{x_{1},\dots ,x_{n}\}}+\log(n).}$$${\displaystyle n=1}$${\displaystyle m=\max _{i}x_{i}}$${\displaystyle \exp(m)\leq \sum _{i=1}^{n}\exp(x_{i})\leq n\exp(m)}$

さらに、関数をスケールして境界を狭くすることができます。関数 を考えます。すると、 (証明:上記の不等式の いくつかについて、それぞれをに置き換えて 、 および を生成し、 最終的に で割ると結果が得られます。) ${\displaystyle {\frac {1}{t}}\mathrm {LSE} (tx_{1},\dots ,tx_{n})}$$${\displaystyle \max {\{x_{1},\dots ,x_{n}\}}<{\frac {1}{t}}\mathrm {LSE} (tx_{1},\dots ,tx_{n})\leq \max {\{x_{1},\dots ,x_{n}\}}+{\frac {\log(n)}{t}}.}$$${\displaystyle x_{i}}$${\displaystyle tx_{i}}$${\displaystyle t>0}$$${\displaystyle \max {\{tx_{1},\dots ,tx_{n}\}}<\mathrm {LSE} (tx_{1},\dots ,tx_{n})\leq \max {\{tx_{1},\dots ,tx_{n}\}}+\log(n).}$$${\displaystyle t>0}$ $${\displaystyle t\max {\{x_{1},\dots ,x_{n}\}}<\mathrm {LSE} (tx_{1},\dots ,tx_{n})\leq t\max {\{x_{1},\dots ,x_{n}\}}+\log(n).}$$${\displaystyle t}$

また、代わりに負の数を掛けると、当然関数との比較が見つかります。 ${\displaystyle \min }$$${\displaystyle \min {\{x_{1},\dots ,x_{n}\}}-{\frac {\log(n)}{t}}\leq {\frac {1}{-t}}\mathrm {LSE} (-tx)<\min {\{x_{1},\dots ,x_{n}\}}.}$$

LogSumExp関数は凸関数であり、その定義域のどこでも厳密に増加する。 ^{[3]対角線と平行線上では}アフィン関数（線形プラス定数）であるため、厳密には凸関数ではない。^[4]

${\displaystyle \mathrm {LSE} (x_{1}+c,\dots ,x_{n}+c)=\mathrm {LSE} (x_{1},\dots ,x_{n})+c.}$

この方向以外では、厳密に凸です（ヘッセ行列の階数は⁠ ⁠${\displaystyle n-1}$です）。そのため、たとえば、対角線に直交する超平面に制限すると、厳密に凸な関数になります。以下の を参照してください。 ${\displaystyle \mathrm {LSE} _{0}^{+}}$

偏導関数を書くと次のようになります。 これは、LogSumExp の勾配がソフトマックス関数であることを意味します。 ${\displaystyle \mathbf {x} =(x_{1},\dots ,x_{n}),}$$${\displaystyle {\frac {\partial }{\partial x_{i}}}{\mathrm {LSE} (\mathbf {x} )}={\frac {\exp x_{i}}{\sum _{j}\exp {x_{j}}}},}$$

LogSumExp の凸共役は負のエントロピーです。

LSE関数は、対数確率のように、通常の算術計算を対数スケールで実行するときによく使用されます。^[5]

線形スケールの乗算演算が対数スケールでは単純な加算になるのと同様に、線形スケールの加算演算は対数スケールでは LSE になります。

$${\displaystyle \mathrm {LSE} (\log(x_{1}),...,\log(x_{n}))=\log(x_{1}+\dots +x_{n})}$$ 対数領域計算を使用する一般的な目的は、非常に小さい数または非常に大きい数を、精度が制限された浮動小数点数を使用して直接（つまり線形領域で）表現する場合に、精度を高め、アンダーフローやオーバーフローの問題を回避することです。^[6]

残念ながら、この場合に LSE を直接使用すると、オーバーフロー/アンダーフローの問題が再び発生する可能性があります。したがって、代わりに次の同等のものを使用する必要があります (特に、上記の「最大」近似の精度が十分でない場合)。

$${\displaystyle \mathrm {LSE} (x_{1},\dots ,x_{n})=x^{*}+\log \left(\exp(x_{1}-x^{*})+\cdots +\exp(x_{n}-x^{*})\right)}$$ どこ${\displaystyle x^{*}=\max {\{x_{1},\dots ,x_{n}\}}}$

IT++などの多くの数学ライブラリは、LSE のデフォルト ルーチンを提供し、この式を内部的に使用します。

LSEは凸関数だが厳密に凸関数ではない。ゼロに設定された引数を追加することで、 厳密に凸なlog-sum-exp型関数^{[7]を定義することができる。}

$${\displaystyle \mathrm {LSE} _{0}^{+}(x_{1},...,x_{n})=\mathrm {LSE} (0,x_{1},...,x_{n})}$$ この関数は、適切な Bregman ジェネレーターです (厳密に凸かつ微分可能)。これは、たとえば、機械学習では多項式/二項式族のキュムラントとして使用されます。

熱帯解析では、これは対数半環の合計です。

• 対数平均
• ログセミリング
• 滑らかな最大値
• ソフトマックス関数