クロスエントロピー

情報理論において、同じ基礎となる一連のイベントに対する2 つの確率分布との間のクロスエントロピーは、一連のイベントに使用されるコーディング方式が、真の分布 ではなく推定された確率分布 に対して最適化されている場合に、一連のイベントを識別するために必要な平均ビット数を測定します。 ${\displaystyle p}$${\displaystyle q}$${\displaystyle q}$${\displaystyle p}$

与えられた集合上の 分布に対する分布のクロスエントロピーは次のように定義されます。${\displaystyle q}$${\displaystyle p}$

$${\displaystyle H(p,q)=-\operatorname {E} _{p}[\log q],}$$

ここで、 は分布 に関する期待値演算子です。 ${\displaystyle E_{p}[\cdot ]}$${\displaystyle p}$

定義は、カルバック・ライブラー距離 、から への発散（に関する の相対エントロピーとしても知られる）を使用して定式化されることがあります。 ${\displaystyle D_{\mathrm {KL} }(p\Parallel q)}$${\displaystyle p}$${\displaystyle q}$${\displaystyle p}$${\displaystyle q}$

$${\displaystyle H(p,q)=H(p)+D_{\mathrm {KL} }(p\Parallel q),}$$

のエントロピーはどこにあるか。 ${\displaystyle H(p)}$${\displaystyle p}$

離散確率分布と、同じサポートを持つ場合、これは次のことを意味する。 ${\displaystyle p}$${\displaystyle q}$ ${\displaystyle {\mathcal {X}}}$

連続分布の場合も同様です。 および が何らかの基準測度（通常はボレルσ代数上のルベーグ測度）に関して絶対連続であると仮定する必要があります。およびをおよびに関する確率密度関数とします。すると、 ${\displaystyle p}$${\displaystyle q}$ ${\displaystyle r}$${\displaystyle r}$ ${\displaystyle P}$${\displaystyle Q}$${\displaystyle p}$${\displaystyle q}$${\displaystyle r}$

$${\displaystyle -\int _{\mathcal {X}}P(x)\,\log Q(x)\,\mathrm {d} x=\演算子名 {E} _{p}[-\log Q] 、}$$

そしてそれゆえ

注意: この表記法は、との結合エントロピーという異なる概念にも使用されます。 ${\displaystyle H(p,q)}$${\displaystyle p}$${\displaystyle q}$

情報理論において、クラフト・マクミラン定理は、メッセージを符号化して一連の可能性の中から1つの値を識別する直接復号可能な符号化方式は、 （ はの符号のビット単位の長さ）上の暗黙の確率分布を表すものとみなせることを証明しています。したがって、クロスエントロピーは、データが実際には分布 に従っているのに誤った分布を仮定した場合の、データあたりの期待メッセージ長として解釈できます。これが、期待値が真の確率分布上で取られ、 でない理由です。実際、真の分布の下での期待メッセージ長は、 ${\displaystyle x_{i}}$${\displaystyle \{x_{1},\ldots ,x_{n}\}}$${\displaystyle q(x_{i})=\left({\frac {1}{2}}\right)^{\ell _{i}}}$${\displaystyle \{x_{1},\ldots ,x_{n}\}}$${\displaystyle \ell_{i}}$${\displaystyle x_{i}}$${\displaystyle q}$${\displaystyle p}$${\displaystyle p}$${\displaystyle q.}$${\displaystyle p}$

$${\displaystyle \operatorname {E} _{p}[\ell ]=-\operatorname {E} _{p}\left[{\frac {\ln {q(x)}}{\ln(2)}}\right]}$$ $${\displaystyle =-\operatorname {E} _{p}\left[\log _{2}{q(x)}\right]=-\sum _{x_{i}}p(x_{i})\,\log _{2}q(x_{i})}$$ $${\displaystyle =-\sum _{x}p(x)\,\log _{2}q(x)=H(p,q).}$$

クロスエントロピーを測定する必要があるものの、 の分布が不明な状況は数多くあります。 一例として、言語モデリングが挙げられます。言語モデリングでは、トレーニング セットに基づいてモデルが作成され、テスト セットでクロスエントロピーが測定され、モデルがテスト データを予測する際の精度が評価されます。 この例では、は任意のコーパス内の単語の真の分布であり、はモデルによって予測された単語の分布です。 真の分布が不明であるため、クロスエントロピーを直接計算することはできません。 このような場合、クロスエントロピーの推定値は次の式を使用して計算されます。 ${\displaystyle p}$${\displaystyle T}$${\displaystyle p}$${\displaystyle q}$

$${\displaystyle H(T,q)=-\sum _{i=1}^{N}{\frac {1}{N}}\log _{2}q(x_{i})}$$

ここで、はテスト セットのサイズ、 はトレーニング セットから推定されるイベントの確率です。言い換えると、はテキストの i 番目の単語が であるモデルの確率推定値です。合計はテストの単語全体で平均化されます。これは、テスト セットが からのサンプルとして扱われる、真のクロスエントロピーのモンテ カルロ推定値です。^{[引用が必要]}${\displaystyle N}$${\displaystyle q(x)}$${\displaystyle x}$${\displaystyle q(x_{i})}$${\displaystyle x_{i}}$${\displaystyle N}$${\displaystyle p(x)}$

クロスエントロピーは、対数尤度関数を装って対数を導入するときに分類問題で発生します。

このセクションでは、さまざまな離散結果の確率の推定という主題を扱います。このために、最適化の努力に従って、パラメータ化された分布の族を で表します。条件付きで独立したサンプリングから得られたトレーニング セットからの値の特定の有限シーケンスについて考えます。モデルの考慮される任意のパラメータに割り当てられる尤度は、すべての確率 の積で与えられます。繰り返し発生する可能性があり、その場合、積の因数は等しくなります。 (あるインデックス に対して)に等しい値の発生回数が で表されている場合、その値の頻度は に等しくなります。後者を で表します。これは、シナリオの基礎となる確率分布の経験的近似として理解できます。さらに、 を で表します。これは、対数の計算規則により等しいと見なすことができ、 の積は二重カウントなしで値にわたっています。したがって 、 または です。 対数は単調増加関数であるため、極値化には影響しません。したがって、尤度の最大化はクロスエントロピーの最小化に相当することに注意してください。 ${\displaystyle q_{\theta }}$${\displaystyle \theta }$${\displaystyle N}$${\displaystyle x_{i}}$${\displaystyle \theta }$${\displaystyle q_{\theta }(X=x_{i})}$${\displaystyle x_{i}}$${\displaystyle i}$${\displaystyle \#x_{i}}$${\displaystyle \#x_{i}/N}$${\displaystyle p(X=x_{i})}$${\displaystyle PP:={\mathrm {e} }^{H(p,q_{\theta })}}$${\textstyle \prod _{x_{i}}q_{\theta }(X=x_{i})^{-p(X=x_{i})}}$$${\displaystyle {\mathcal {L}}(\theta ;{\mathbf {x} })=\prod _{i}q_{\theta }(X=x_{i})=\prod _{x_{i}}q_{\theta }(X=x_{i})^{\#x_{i}}=PP^{-N}={\mathrm {e} }^{-N\cdot H(p,q_{\theta })}}$$$${\displaystyle \log {\mathcal {L}}(\theta ;{\mathbf {x} })=-N\cdot H(p,q_{\theta }).}$$

クロスエントロピー最小化は、最適化や稀な事象の確率推定でよく使用されます。分布を固定された参照分布と比較する場合、クロスエントロピーとKL ダイバージェンスは、加法定数を除いて同一です (は固定されているため)。ギブスの不等式によれば、 のとき、両方とも最小値を取ります。これはKL ダイバージェンスの場合であり、クロスエントロピーの場合は です。工学文献では、KL ダイバージェンスを最小化する原理 (カルバックの「最小識別情報の原理」) は、最小クロスエントロピーの原理(MCE) またはMinxentと呼ばれることがよくあります。 ${\displaystyle q}$${\displaystyle p}$${\displaystyle p}$${\displaystyle p=q}$${\displaystyle 0}$${\displaystyle \mathrm {H} (p)}$

しかし、 Kullback–Leibler 情報量 の記事で説明されているように、分布 は固定された事前参照分布である場合があり、分布は何らかの制約の下で に可能な限り近くなるように最適化されます。この場合、2 つの最小化は同等ではありません。このため、文献ではあいまいさが生じており、一部の著者は、交差エントロピーをではなく と言い直すことで矛盾を解決しようとしています。実際、交差エントロピーは相対エントロピーの別名です。Cover と Thomas ^[1] および Good ^[2]を参照してください。一方、 は文献と一致しておらず、誤解を招く可能性があります。 ${\displaystyle q}$${\displaystyle p}$${\displaystyle q}$${\displaystyle D_{\mathrm {KL} }(p\parallel q)}$${\displaystyle H(p,q)}$${\displaystyle H(p,q)}$

クロスエントロピーは、機械学習と最適化における損失関数を定義するために使用できます。Mao、Mohri、Zhong（2023）は、機械学習におけるクロスエントロピー損失関数のファミリーの特性について、理論的な学習保証や敵対的学習への拡張など、広範な分析を行っています。^[3]真の確率は真のラベルであり、与えられた分布は現在のモデルの予測値です。これは、ログ損失（または対数損失^[4]またはロジスティック損失）とも呼ばれます。 ^[5]「ログ損失」と「クロスエントロピー損失」という用語は同じ意味で使用されます。^[6]${\displaystyle p_{i}}$${\displaystyle q_{i}}$

より具体的には、観測を 2 つの可能なクラス (多くの場合、単に ととラベル付けされます) に分類するために使用できる2 値回帰モデルについて考えます。入力特徴のベクトル が与えられた場合、特定の観測に対するモデルの出力は確率として解釈でき、これが観測を分類するための基礎となります。ロジスティック回帰では、確率はロジスティック関数を使用してモデル化されます。ここで、は入力ベクトル の何らかの関数であり、通常は単なる線形関数です。出力の確率は で与えられます 。 ここで、重みのベクトルは、勾配降下法などの適切なアルゴリズムによって最適化されます。同様に、出力を見つける補完的な確率は、次のように単純に与えられます 。${\displaystyle 0}$${\displaystyle 1}$${\displaystyle x}$ ${\displaystyle g(z)=1/(1+e^{-z})}$${\displaystyle z}$${\displaystyle x}$${\displaystyle y=1}$$${\displaystyle q_{y=1}={\hat {y}}\equiv g(\mathbf {w} \cdot \mathbf {x} )={\frac {1}{1+e^{-\mathbf {w} \cdot \mathbf {x} }}},}$$${\displaystyle \mathbf {w} }$${\displaystyle y=0}$$${\displaystyle q_{y=0}=1-{\hat {y}}.}$$

および という表記法を設定したら、クロスエントロピーを使用してとの間の相違度の尺度を取得できます。 ${\displaystyle p\in \{y,1-y\}}$${\displaystyle q\in \{{\hat {y}},1-{\hat {y}}\}}$${\displaystyle p}$${\displaystyle q}$$${\displaystyle H(p,q)\ =\ -\sum _{i}p_{i}\log q_{i}\ =\ -y\log {\hat {y}}-(1-y)\log(1-{\hat {y}}).}$$

ロジスティック回帰は、通常、トレーニングの対象となるすべての観測値の対数損失を最適化します。これは、サンプル内の平均クロスエントロピーを最適化することと同じです。エラーに異なるペナルティを課す他の損失関数もトレーニングに使用でき、最終的なテスト精度が異なるモデルになります。^[7]たとえば、各サンプルが でインデックス付けされたサンプルがあるとします。損失関数の 平均は次のように表されます。${\displaystyle N}$${\displaystyle n=1,\dots ,N}$

$${\displaystyle J(\mathbf {w} )\ =\ {\frac {1}{N}}\sum _{n=1}^{N}H(p_{n},q_{n})\ =\ -{\frac {1}{N}}\sum _{n=1}^{N}\ {\bigg [}y_{n}\log {\hat {y}}_{n}+(1-y_{n})\log(1-{\hat {y}}_{n}){\bigg ]}\,,}$$

ここで、ロジスティック関数は前と同じです。 ${\displaystyle {\hat {y}}_{n}\equiv g(\mathbf {w} \cdot \mathbf {x} _{n})=1/(1+e^{-\mathbf {w} \cdot \mathbf {x} _{n}})}$${\displaystyle g(z)}$

ロジスティック損失はクロスエントロピー損失と呼ばれることもあります。ログ損失としても知られています。^{[重複？ ]}（この場合、バイナリラベルは{−1,+1}で表されることが多いです。^[8]）

注意：ロジスティック回帰のクロスエントロピー損失の勾配は、線形回帰の二乗誤差損失の勾配と同じです。つまり、次のように定義します。

$${\displaystyle X^{\mathsf {T}}={\begin{pmatrix}1&x_{11}&\dots &x_{1p}\\1&x_{21}&\cdots &x_{2p}\\\vdots &\vdots &&\vdots \\1&x_{n1}&\cdots &x_{np}\\\end{pmatrix}}\in \mathbb {R} ^{n\times (p+1)},}$$ $${\displaystyle {\hat {y_{i}}}={\hat {f}}(x_{i1},\dots ,x_{ip})={\frac {1}{1+\exp(-\beta _{0}-\beta _{1}x_{i1}-\dots -\beta _{p}x_{ip})}},}$$ $${\displaystyle L({\boldsymbol {\beta }})=-\sum _{i=1}^{N}\left[y_{i}\log {\hat {y}}_{i}+(1-y_{i})\log(1-{\hat {y}}_{i})\right].}$$

結果はこうなります

$${\displaystyle {\frac {\partial }{\partial {\boldsymbol {\beta }}}}L({\boldsymbol {\beta }})=X^{T}({\hat {Y}}-Y).}$$

証明は次の通りである。任意の に対して、 ${\displaystyle {\hat {y}}_{i}}$

$${\displaystyle {\frac {\partial }{\partial \beta _{0}}}\ln {\frac {1}{1+e^{-\beta _{0}+k_{0}}}}={\frac {e^{-\beta _{0}+k_{0}}}{1+e^{-\beta _{0}+k_{0}}}},}$$ $${\displaystyle {\frac {\partial }{\partial \beta _{0}}}\ln \left(1-{\frac {1}{1+e^{-\beta _{0}+k_{0}}}}\right)={\frac {-1}{1+e^{-\beta _{0}+k_{0}}}},}$$ $${\displaystyle {\begin{aligned}{\frac {\partial }{\partial \beta _{0}}}L({\boldsymbol {\beta }})&=-\sum _{i=1}^{N}\left[{\frac {y_{i}\cdot e^{-\beta _{0}+k_{0}}}{1+e^{-\beta _{0}+k_{0}}}}-(1-y_{i}){\frac {1}{1+e^{-\beta _{0}+k_{0}}}}\right]\\&=-\sum _{i=1}^{N}\left[y_{i}-{\hat {y}}_{i}\right]=\sum _{i=1}^{N}({\hat {y}}_{i}-y_{i}),\end{aligned}}}$$ $${\displaystyle {\frac {\partial }{\partial \beta _{1}}}\ln {\frac {1}{1+e^{-\beta _{1}x_{i1}+k_{1}}}}={\frac {x_{i1}e^{k_{1}}}{e^{\beta _{1}x_{i1}}+e^{k_{1}}}},}$$ $${\displaystyle {\frac {\partial }{\partial \beta _{1}}}\ln \left[1-{\frac {1}{1+e^{-\beta _{1}x_{i1}+k_{1}}}}\right]={\frac {-x_{i1}e^{\beta _{1}x_{i1}}}{e^{\beta _{1}x_{i1}}+e^{k_{1}}}},}$$ $${\displaystyle {\frac {\partial }{\partial \beta _{1}}}L({\boldsymbol {\beta }})=-\sum _{i=1}^{N}x_{i1}(y_{i}-{\hat {y}}_{i})=\sum _{i=1}^{N}x_{i1}({\hat {y}}_{i}-y_{i}).}$$

同様の方法で、最終的には望ましい結果が得られます。

多様性のあるモデルのアンサンブルをトレーニングすると、それらを組み合わせることで予測精度が向上するため、有益な場合があります。^{[9] [10]}出力を平均化することで分類器 の単純なアンサンブルが組み立てられると仮定すると、修正されたクロスエントロピーは 次のように与えられます。ここで、は分類器のコスト関数、は分類器の出力確率、は推定される真の確率、はアンサンブル内で確立したい「多様性」を定義する 0 から 1 の間のパラメーターです。各分類器がアンサンブルに関係なく最善を尽くすことを望み、分類器を可能な限り多様化したい場合です。 ${\displaystyle K}$$${\displaystyle e^{k}=H(p,q^{k})-{\frac {\lambda }{K}}\sum _{j\neq k}H(q^{j},q^{k})}$$${\displaystyle e^{k}}$${\displaystyle k^{th}}$${\displaystyle q^{k}}$${\displaystyle k^{th}}$${\displaystyle p}$${\displaystyle \lambda }$${\displaystyle \lambda =0}$${\displaystyle \lambda =1}$

• クロスエントロピー法
• ロジスティック回帰
• 条件付きエントロピー
• カルバック・ライブラー距離
• 最大尤度推定
• 相互情報
• 困惑

• de Boer, Kroese, DP, Mannor, S. および Rubinstein, RY (2005). クロスエントロピー法のチュートリアルAnnals of Operations Research 134 (1), 19–67.