乖離（統計）

情報幾何学において、発散とは一種の統計的距離であり、統計多様体上の確率分布間の分離を確立する二値関数である。

最も単純なダイバージェンスは二乗ユークリッド距離（SED）であり、ダイバージェンスはSEDの一般化と見なすことができます。もう1つの最も重要なダイバージェンスは相対エントロピー（カルバック・ライブラーダイバージェンスとも呼ばれる）であり、これは情報理論の中心をなすものです。その他にも、 fダイバージェンスやブレグマンダイバージェンスなど、数多くの具体的なダイバージェンスやダイバージェンスのクラスが存在します（§ 例を参照）。

微分可能な多様体^{[ a ]}が与えられた場合${\displaystyle M}$寸法${\displaystyle n}$、​​${\displaystyle M}$は${\displaystyle C^{2}}$-関数${\displaystyle D:M\times M\to [0,\infty )}$満足: ^{[ 1 ] [ 2 ]}

1. ${\displaystyle D(p,q)\geq 0}$すべての人々のために${\displaystyle p,q\in M}$（非否定性）
2. ${\displaystyle D(p,q)=0}$かつその場合に限り${\displaystyle p=q}$（陽性）、
3. あらゆる点で${\displaystyle p\in M}$、${\displaystyle D(p,p+dp)}$は微小変位に対する正定値二次形式である。${\displaystyle dp}$から${\displaystyle p}$。

統計学への応用では、多様体は${\displaystyle M}$は、通常、確率分布のパラメトリック族のパラメータ空間です。

条件3とは、${\displaystyle D}$接空間上の内積を定義する${\displaystyle T_{p}M}$すべての${\displaystyle p\in M}$。 以来${\displaystyle D}$は${\displaystyle C^{2}}$の上${\displaystyle M}$これはリーマン計量を定義する。${\displaystyle g}$の上${\displaystyle M}$。

地元では${\displaystyle p\in M}$座標を使用してローカル座標チャートを作成することができます。${\displaystyle x}$すると、発散は$${\displaystyle D(x(p),x(p)+dx)=\textstyle {\frac {1}{2}}dx^{T}g_{p}(x)dx+O(|dx|^{3})}$$どこ${\displaystyle g_{p}(x)}$サイズが の行列です${\displaystyle n\times n}$これは点におけるリーマン計量である。${\displaystyle p}$座標で表す${\displaystyle x}$。

条件3の次元解析によると、発散の次元は距離の二乗である。^{[ 3 ]}

二重発散${\displaystyle D^{*}}$は次のように定義される。

${\displaystyle D^{*}(p,q)=D(q,p).}$

対比したいとき${\displaystyle D}$に対して${\displaystyle D^{*}}$我々は、${\displaystyle D}$原始的な分岐として。

いかなる乖離も考慮すると${\displaystyle D}$、その対称化されたバージョンは、それを双対発散と平均することによって得られます: ^{[ 3 ]}

${\displaystyle D_{S}(p,q)=\textstyle {\frac {1}{2}}{\big (}D(p,q)+D(q,p){\big )}.}$

発散の表記法は分野によって大きく異なるが、いくつかの慣例は存在する。

発散は一般的に大文字の「D」で表記されます。${\displaystyle D(x,y)}$メートル法の距離と区別するため、メートル法の距離は小文字の「d」で表記されます。複数の発散が使用される場合は、通常、下付き文字で区別されます。${\displaystyle D_{\text{KL}}}$カルバック・ライブラー情報量（KL情報量）の場合。

パラメータ間の区切り文字は、特に非対称性を強調するために、異なるものが用いられることが多い。情報理論では、二重線がよく使われる。${\displaystyle D(p\parallel q)}$これは条件付き確率の表記法に似ているが、それとは異なる。${\displaystyle P(A|B)}$、そして、相対エントロピーのように、発散を相対的な測定値として解釈することを強調します。この表記はKL発散でよく使われます。代わりにコロン^{[ b ]}を使用することもできます。${\displaystyle D(p:q)}$これは、2つの分布を裏付ける相対的な情報を強調するものです。

パラメータの表記法も様々です。大文字${\displaystyle P,Q}$パラメータを確率分布として解釈し、小文字${\displaystyle p,q}$または${\displaystyle x,y}$それらを空間内の点として幾何学的に解釈し、${\displaystyle \mu _{1},\mu _{2}}$または${\displaystyle m_{1},m_{2}}$それらを尺度として解釈する。

S を統計的多様体、つまり有限次元座標系θでパラメータ化できる多様体に限定すれば、発散の多くの性質を導き出すことができます。つまり、分布p ∈ Sに対してp = p ( θ )と書くことができます。

座標がθ _pとθ _{qである点}p、q ∈ Sのペアに対して、 D ( p、q )の偏微分を次のように表す。

${\displaystyle {\begin{aligned}D((\partial _{i})_{p},q)\ \ &{\stackrel {\mathrm {def} }{=}}\ \ {\tfrac {\partial }{\partial \theta _{p}^{i}}}D(p,q),\\D((\partial _{i}\partial _{j})_{p},(\partial _{k})_{q})\ \ &{\stackrel {\mathrm {def} }{=}}\ \ {\tfrac {\partial }{\partial \theta _{p}^{i}}}{\tfrac {\partial }{\partial \theta _{p}^{j}}}{\tfrac {\partial }{\partial \theta _{q}^{k}}}D(p,q),\ \ \mathrm {etc.} \end{aligned}}}$

ここで、これらの関数を対角p = qに制限し、^{[ 4 ]と表記します。}

${\displaystyle {\begin{aligned}D[\partial _{i},\cdot ]\ &:\ p\mapsto D((\partial _{i})_{p},p),\\D[\partial _{i},\partial _{j}]\ &:\ p\mapsto D((\partial _{i})_{p},(\partial _{j})_{p}),\ \ \mathrm {etc.} \end{aligned}}}$

定義により、関数D ( p , q ) はp = qで最小化されるため、

${\displaystyle {\begin{aligned}&D[\partial _{i},\cdot ]=D[\cdot ,\partial _{i}]=0,\\&D[\partial _{i}\partial _{j},\cdot ]=D[\cdot ,\partial _{i}\partial _{j}]=-D[\partial _{i},\partial _{j}]\ \equiv \ g_{ij}^{(D)},\end{aligned}}}$

ここで、行列g ^{( D )は}半正定値であり、多様体S上に一意のリーマン計量を定義します。

発散D (·, ·) は、係数を持つ一意のねじれのないアフィン接続∇ ^{( D )も定義します。}

${\displaystyle \Gamma _{ij,k}^{(D)}=-D[\partial _{i}\partial _{j},\partial _{k}],}$

そして、この接続∇*の双対は、双対発散D *によって生成される。

したがって、発散D (·, ·) は統計多様体上に一意の双対構造 ( g ^{( D )}、 ∇ ^{( D )}、 ∇ ^{( D *)} ) を生成する。逆もまた真である。統計多様体上のすべてのねじれのない双対構造は、大域的に定義された発散関数 (ただし、一意である必要はない) から誘導される。^{[ 5 ]}

例えば、D がある関数 ƒ(·) のf-発散^{[ 6 ]}である場合、それは計量g ^{( D _f )} = c·gと接続∇ ^{( D _f )} = ∇ ^{( α )}を生成します。ここで、gは標準的なフィッシャー情報計量、∇ ^{( α )}は α-接続、c = ƒ′′(1)、α = 3 + 2ƒ′′′(1)/ƒ′′(1)です。

最も重要な2つのダイバージェンスは、情報理論と統計学の中心となる相対エントロピー（カルバック・ライブラーダイバージェンス、KLダイバージェンス）と、二乗ユークリッド距離（SED）です。これらの2つのダイバージェンスを最小化することが、特にロジスティック回帰や線形回帰において、最大エントロピー原理と最小二乗法を用いて線形逆問題を解決する主な方法です。^{[ 7 ]}

最も重要な2つの発散クラスはf発散とブレグマン発散ですが、文献には他のタイプの発散関数も見られます。有限アルファベット上の確率に対する発散で、 f発散とブレグマン発散の両方である唯一のものは、カルバック・ライブラー発散です。^{[ 8 ]} 2乗ユークリッド発散はブレグマン発散です（関数 ⁠ に対応します）。${\displaystyle x^{2}}$⁠ ) ただし、 f発散ではない。

「発散」という用語の使用法、つまりそれが指す関数と、さまざまな統計的距離の呼び方は、時間の経過とともに大きく変化してきましたが、2000 年頃までに、特に教科書Amari & Nagaoka (2000)で、情報幾何学における現在の用法に落ち着きました。^{[ 1 ]}

統計的距離を表す「発散」という用語は、1910 年頃から 1940 年頃までさまざまな文脈で非公式に使用されていました。正式な使用は、少なくともBhattacharyya (1943)の「確率分布によって定義される 2 つの統計的母集団間の発散の尺度について」という論文でBhattacharyya 距離が定義され、Bhattacharyya (1946) の「2 つの多項母集団間の発散の尺度について」という論文でBhattacharyya 角が定義されるまで遡ります。この用語は、 Kullback & Leibler (1951)でKullback–Leibler 発散に使用されたこと、および教科書Kullback (1959)で使用されたことで普及しました。「発散」という用語は、Ali & Silvey (1966)によって統計的距離に一般的に使用されました。統計的距離の以前の使用に関する多数の参照は、 Adhikari & Joshi (1956)およびKullback (1959 、pp. 6–7、§1.3 乖離)に記載されています。 

Kullback & Leibler (1951) は、実際には「発散」という言葉を対称化された発散を指すために使用しました(この関数は、 1948 年にHarold Jeffreysによって既に定義され使用されていました^{[ 9 ]} )。非対称関数を「観察ごとの識別のための平均情報」^{[ 10 ]}と呼んでいますが、 Kullback (1959)は非対称関数を「指向性発散」と呼んでいます。^{[ 11 ]} Ali & Silvey (1966)は、このような関数を一般的に「発散係数」と呼び、既存の多くの関数がf発散として表現できることを示し、Jeffreys の関数を「Jeffreys の発散尺度」(今日では「Jeffreys 発散)」、Kullback–Leibler の非対称関数 (各方向) を「Kullback と Leibler の識別情報尺度」(今日では「Kullback–Leibler 発散) と呼んだ。^{[ 12 ]}

情報幾何学における発散の定義（本稿の主題）は、当初は「準距離」Amari（1982 、p. 369）や「コントラスト関数」Eguchi（1985）など、別の用語で呼ばれていたが、「発散」はAmari（1985）でα発散に対して使用され、一般クラスの標準となっている。^{[ 1 ] [ 2 ]} 

「発散」という用語は距離（計量）とは対照的である。なぜなら、対称化された発散は三角不等式を満たさないからである。^{[ 13 ]}例えば、「ブレグマン距離」という用語は今でも見られるが、「ブレグマン発散」が現在では好まれている。

表記上、Kullback & Leibler (1951) は非対称関数を次のように表した。${\displaystyle I(1:2)}$、一方、Ali & Silvey (1966)は、関数を小文字の 'd' で次のように表記します。${\displaystyle d\left(P_{1},P_{2}\right)}$。

• 統計的距離