説明された変動

ケント（1983）^{[ 1 ]}に倣い、フレーザーの情報（フレーザー 1965）^{[ 2 ]を使用する。}

${\displaystyle F(\theta )=\int {\textrm {d}}r\,g(r)\,\ln f(r;\theta )}$

どこ${\displaystyle g(r)}$確率変数の確率密度${\displaystyle R\,}$、 そして${\displaystyle f(r;\theta )\,}$と$\displaystyle \theta \in \Theta _{i}}$（${\displaystyle i=0,1\,}$は、2 つのパラメトリック モデルファミリーです。モデルファミリー 0 は、パラメータ空間が制限された、より単純なモデルです。$\displaystyle \Theta _{0}\subset \Theta _{1}}$。

パラメータは最尤推定によって決定されます。

${\displaystyle \theta _{i}=\operatorname {argmax} _{\theta \in \Theta _{i}}F(\theta ).}$

モデル1のモデル0に対する情報利得は次のように表される。

${\displaystyle \Gamma (\theta _{1}:\theta _{0})=2[F(\theta _{1})-F(\theta _{0})]\,}$

便宜上、係数 2 が含まれています。Γ は常に非負であり、g ( r ) を説明する上で、ファミリー 1 の最良モデルがファミリー 0 の最良モデルよりも優れている度合いを測定します。

2次元の確率変数を仮定する${\displaystyle R=(X,Y)}$ここで、Xは説明変数、 Yは従属変数とみなされる。ファミリー1のモデルは、 Xの観点からYを「説明」する。

${\displaystyle f(y\mid x;\theta )}$、

一方、ファミリー0では、XとYは独立であると仮定される。Yのランダム性は次のように定義される。${\displaystyle D(Y)=\exp[-2F(\theta _{0})]}$、そして、 Xが与えられたときのYのランダム性は、${\displaystyle D(Y\mid X)=\exp[-2F(\theta _{1})]}$。 それから、

${\displaystyle \rho _{C}^{2}=1-D(Y\mid X)/D(Y)}$

これは、 Xによって「説明される」データ分散の割合として解釈できます。

説明されない分散の割合は、線形回帰の文脈では確立された概念である。決定係数の一般的な定義は、説明される分散という基本的な概念に基づいている。

Xをランダムベクトルとし、Yを中心とする正規分布でモデル化されるランダム変数とする。${\displaystyle \mu =\Psi ^{\textrm {T}}X}$この場合、上記で導出された説明された変動の割合は$\displaystyle \rho _{C}^{2}}$相関係数の二乗に等しい${\displaystyle R^{2}}$。

モデルの強い仮定に注意してください。Y分布の中心はXの線形関数でなければならず、任意のxに対してY分布は正規分布でなければなりません。その他の状況では、一般的に解釈することは正当化されません。${\displaystyle R^{2}}$説明された分散の割合として。

説明分散は主成分分析において日常的に用いられる。しかし、フレーザー・ケント情報利得との関係はまだ解明されていない。