確率と統計で使用される指標
確率 と 統計学 において 、 ヘリンガー距離（ バタチャリヤ距離 と密接に関連しているが、異なる）は、2つの 確率分布 の類似性を定量化するために使用されます。これは f ダイバージェンス の一種です。ヘリンガー距離は、 1909年に エルンスト・ヘリンガー によって導入された ヘリンガー積分 に基づいて定義されます。 [1] [2]
これはジェフリーズ距離と呼ばれることもあります。 [3] [4]
意味
測度論 測度論 の観点からヘリンガー距離を定義するには 、 補助測度 に関して 絶対連続な 測度 空間上の 2つの 確率測度を と で表すものとする 。このような測度は常に存在する。例えば である 。 と の間のヘリンガー距離の2乗は 、次の 量として定義される。
ポ
{\displaystyle P}
質問
{\displaystyle Q}
バツ
{\displaystyle {\mathcal {X}}}
λ
{\displaystyle \lambda}
λ = （ ポ + 質問 ）
{\displaystyle \lambda =(P+Q)}
ポ
{\displaystyle P}
質問
{\displaystyle Q}
H
2
（ ポ 、 質問 ） =
1 2
∫
バツ
（
p （ x ）
−
q （ x ）
）
2
λ （ d x ） 。
{\displaystyle H^{2}(P,Q)={\frac {1}{2}}\displaystyle \int _{\mathcal {X}}\left({\sqrt {p(x)}}-{\sqrt {q(x)}}\right)^{2}\lambda (dx).}
ここで、 および 、すなわち 、およびは、 それぞれ に関する P および Q の ラドン・ニコディム 微分である 。この定義は に依存しない 、すなわち、 をに関して P と Q が絶対連続となる異なる確率測度に置き換えて も、P と Q 間のヘリンガー距離は変化しない 。 コンパクト 性 のため、上記の式は次のように書かれることが多い。
ポ （ d x ） = p （ x ） λ （ d x ）
{\displaystyle P(dx)=p(x)\lambda (dx)}
質問 （ d x ） = q （ x ） λ （ d x ）
{\displaystyle Q(dx)=q(x)\lambda (dx)}
p
{\displaystyle p}
q
{\displaystyle q}
λ
{\displaystyle \lambda}
λ
{\displaystyle \lambda}
λ
{\displaystyle \lambda}
H
2
（ ポ 、 質問 ） =
1 2
∫
バツ
（
ポ （ d x ）
−
質問 （ d x ）
）
2
。
{\displaystyle H^{2}(P,Q)={\frac {1}{2}}\int _{\mathcal {X}}\left({\sqrt {P(dx)}}-{\sqrt {Q(dx)}}\right)^{2}.}
ルベーグ測度を用いた確率論 ヘリンガー距離を初等確率論の観点から定義するには、λを ルベーグ測度 とすると、 dP / dλ と dQ / d λは単純に 確率密度関数 となる。密度をそれぞれ f と g と表記すると、ヘリンガー距離の2乗は標準的な微積分積分として表すことができる。
H
2
（ ふ 、 グ ） =
1 2
∫
（
ふ （ x ）
−
グ （ x ）
）
2
d x = 1 − ∫
ふ （ x ） グ （ x ）
d x 、
{\displaystyle H^{2}(f,g)={\frac {1}{2}}\int \left({\sqrt {f(x)}}-{\sqrt {g(x)}}\right)^{2}\,dx=1-\int {\sqrt {f(x)g(x)}}\,dx,}
ここで、2 番目の形式は、平方を展開し、その領域上の確率密度の積分が 1 に等しいという事実を使用することによって得られます。
ヘリンガー距離 H ( P , Q ) は次の性質を満たす（ コーシー・シュワルツの不等式 から導出可能）
0 ≤ H （ ポ 、 質問 ） ≤ 1.
{\displaystyle 0\leq H(P,Q)\leq 1.}
離散分布 2つの離散確率分布 とに対して 、それらのヘリンガー距離は次のように定義される。
ポ = （
p
1
、 … 、
p
け
）
{\displaystyle P=(p_{1},\ldots,p_{k})}
質問 = （
q
1
、 … 、
q
け
）
{\displaystyle Q=(q_{1},\ldots,q_{k})}
H （ ポ 、 質問 ） =
1
2
∑
私 = 1
け
（
p
私
−
q
私
）
2
、
{\displaystyle H(P,Q)={\frac {1}{\sqrt {2}}}\;{\sqrt {\sum _{i=1}^{k}({\sqrt {p_{i}}}-{\sqrt {q_{i}}})^{2}}},}
これは平方根ベクトルの差の
ユークリッドノルム に直接関係しており、すなわち
H （ ポ 、 質問 ） =
1
2
‖
ポ
−
質問
‖
2
。
{\displaystyle H(P,Q)={\frac {1}{\sqrt {2}}}\;{\bigl \|}{\sqrt {P}}-{\sqrt {Q}}{\bigr \|}_{2}.}
また、 [ 引用が必要 ]
1 −
H
2
（ ポ 、 質問 ） =
∑
私 = 1
け
p
私
q
私
。
{\displaystyle 1-H^{2}(P,Q)=\sum _{i=1}^{k}{\sqrt {p_{i}q_{i}}}.}
プロパティ ヘリンガー距離は、与えられた 確率空間 上の確率分布の 空間 上の 有界 距離 を形成します。
最大距離 1 は、 Q が 正の確率を割り当てる
すべてのセットに P が確率 0 を割り当てる場合、またはその逆の場合に達成されます。
積分の前の係数 が省略されることもあります。その場合、ヘリンガー距離は 0 から 2 の平方根までの範囲になります。
1
/
2
{\displaystyle 1/2}
ヘリンガー距離は バタチャリヤ係数 と関連しており、次のように定義される。
B Ｃ （ ポ 、 質問 ）
{\displaystyle BC(P,Q)}
H （ ポ 、 質問 ） =
1 − B Ｃ （ ポ 、 質問 ）
。
{\displaystyle H(P,Q)={\sqrt {1-BC(P,Q)}}.}
ヘリンガー距離は、逐次 統計と 漸近統計 の理論で使用されます 。 [5] [6]
2 つの正規分布 間のヘリンガー距離の二乗は次のようになり ます 。
ポ 〜
いいえ
（
μ
1
、
σ
1
2
）
{\displaystyle P\sim {\mathcal {N}}(\mu _{1},\sigma _{1}^{2})}
質問 〜
いいえ
（
μ
2
、
σ
2
2
）
{\displaystyle Q\sim {\mathcal {N}}(\mu _{2},\sigma _{2}^{2})}
H
2
（ ポ 、 質問 ） = 1 −
2
σ
1
σ
2
σ
1
2
+
σ
2
2
e
−
1 4
（
μ
1
−
μ
2
）
2
σ
1
2
+
σ
2
2
。
{\displaystyle H^{2}(P,Q)=1-{\sqrt {\frac {2\sigma _{1}\sigma _{2}}{\sigma _{1}^{2}+\sigma _{2}^{2}}}}\,e^{-{\frac {1}{4}}{\frac {(\mu _{1}-\mu _{2})^{2}}{\sigma _{1}^{2}+\sigma _{2}^{2}}}}.}
2つの多変量正規分布 と 間のヘリンガー距離の2乗 は [7]
ポ 〜
いいえ
（
μ
1
、
Σ
1
）
{\displaystyle P\sim {\mathcal {N}}(\mu _{1},\Sigma _{1})}
質問 〜
いいえ
（
μ
2
、
Σ
2
）
{\displaystyle Q\sim {\mathcal {N}}(\mu _{2},\Sigma _{2})}
H
2
（ ポ 、 質問 ） = 1 −
詳細 （
Σ
1
）
1
/
4
詳細 （
Σ
2
）
1
/
4
詳細
（
Σ
1
+
Σ
2
2
）
1
/
2
経験
{
−
1 8
（
μ
1
−
μ
2
）
T
（
Σ
1
+
Σ
2
2
）
− 1
（
μ
1
−
μ
2
）
}
{\displaystyle H^{2}(P,Q)=1-{\frac {\det(\Sigma _{1})^{1/4}\det(\Sigma _{2})^{1/4}}{\det \left({\frac {\Sigma _{1}+\Sigma _{2}}{2}}\right)^{1/2}}}\exp \left\{-{\frac {1}{8}}(\mu _{1}-\mu _{2})^{T}\left({\frac {\Sigma _{1}+\Sigma _{2}}{2}}\right)^{-1}(\mu _{1}-\mu _{2})\right\}}
2 つの指数分布 間のヘリンガー距離の二乗は次のようになり ます 。
ポ 〜
え x p
（ α ）
{\displaystyle P\sim \mathrm {Exp} (\alpha )}
質問 〜
え x p
（ β ）
{\displaystyle Q\sim \mathrm {Exp} (\beta )}
H
2
（ ポ 、 質問 ） = 1 −
2
α β
α + β
。
{\displaystyle H^{2}(P,Q)=1-{\frac {2{\sqrt {\alpha \beta }}}{\alpha +\beta }}.}
2 つのワイブル分布 と (は 共通の形状パラメータ、 はそれぞれスケール パラメータ)
間のヘリンガー距離の二乗は次のようになります。
ポ 〜
わ
（ け 、 α ）
{\displaystyle P\sim \mathrm {W} (k,\alpha )}
質問 〜
わ
（ け 、 β ）
{\displaystyle Q\sim \mathrm {W} (k,\beta )}
け
{\displaystyle k}
α 、 β
{\displaystyle \alpha \,,\beta }
H
2
(
P
,
Q
)
=
1
−
2
(
α
β
)
k
/
2
α
k
+
β
k
.
{\displaystyle H^{2}(P,Q)=1-{\frac {2(\alpha \beta )^{k/2}}{\alpha ^{k}+\beta ^{k}}}.}
および となる 、 速度パラメータを持つ2 つの ポアソン分布 間のヘリンガー距離の二乗は 、次のように なります。
α
{\displaystyle \alpha }
β
{\displaystyle \beta }
P
∼
P
o
i
s
s
o
n
(
α
)
{\displaystyle P\sim \mathrm {Poisson} (\alpha )}
Q
∼
P
o
i
s
s
o
n
(
β
)
{\displaystyle Q\sim \mathrm {Poisson} (\beta )}
H
2
(
P
,
Q
)
=
1
−
e
−
1
2
(
α
−
β
)
2
.
{\displaystyle H^{2}(P,Q)=1-e^{-{\frac {1}{2}}({\sqrt {\alpha }}-{\sqrt {\beta }})^{2}}.}
2 つのベータ分布 間のヘリンガー距離の二乗は次のようになり ます 。
P
∼
Beta
(
a
1
,
b
1
)
{\displaystyle P\sim {\text{Beta}}(a_{1},b_{1})}
Q
∼
Beta
(
a
2
,
b
2
)
{\displaystyle Q\sim {\text{Beta}}(a_{2},b_{2})}
H
2
(
P
,
Q
)
=
1
−
B
(
a
1
+
a
2
2
,
b
1
+
b
2
2
)
B
(
a
1
,
b
1
)
B
(
a
2
,
b
2
)
{\displaystyle H^{2}(P,Q)=1-{\frac {B\left({\frac {a_{1}+a_{2}}{2}},{\frac {b_{1}+b_{2}}{2}}\right)}{\sqrt {B(a_{1},b_{1})B(a_{2},b_{2})}}}}
ここで ベータ関数 です 。
B
{\displaystyle B}
2 つのガンマ分布 間のヘリンガー距離の二乗は次のようになり ます 。
P
∼
Gamma
(
a
1
,
b
1
)
{\displaystyle P\sim {\text{Gamma}}(a_{1},b_{1})}
Q
∼
Gamma
(
a
2
,
b
2
)
{\displaystyle Q\sim {\text{Gamma}}(a_{2},b_{2})}
H
2
(
P
,
Q
)
=
1
−
Γ
(
a
1
+
a
2
2
)
(
b
1
+
b
2
2
)
−
(
a
1
+
a
2
)
/
2
b
1
a
1
b
2
a
2
Γ
(
a
1
)
Γ
(
a
2
)
{\displaystyle H^{2}(P,Q)=1-\Gamma \left({\scriptstyle {\frac {a_{1}+a_{2}}{2}}}\right)\left({\frac {b_{1}+b_{2}}{2}}\right)^{-(a_{1}+a_{2})/2}{\sqrt {\frac {b_{1}^{a_{1}}b_{2}^{a_{2}}}{\Gamma (a_{1})\Gamma (a_{2})}}}}
ここで ガンマ関数 です 。
Γ
{\displaystyle \Gamma }
総変動距離との接続 ヘリンガー距離 と 総変動距離 （または統計距離） は次のように関係している： [8]
H
(
P
,
Q
)
{\displaystyle H(P,Q)}
δ
(
P
,
Q
)
{\displaystyle \delta (P,Q)}
H
2
(
P
,
Q
)
≤
δ
(
P
,
Q
)
≤
2
H
(
P
,
Q
)
.
{\displaystyle H^{2}(P,Q)\leq \delta (P,Q)\leq {\sqrt {2}}H(P,Q)\,.}
この不等式の定数は、どの再正規化を選択するかによって変わる可能性があります ( または )。
1
/
2
{\displaystyle 1/2}
1
/
2
{\displaystyle 1/{\sqrt {2}}}
これらの不等式は、1 ノルム と 2 ノルム の間の不等式から直接導かれます 。
参照
注記
^ Nikulin, MS (2001) [1994]、「ヘリンガー距離」、 数学百科事典 、 EMS Press ^ Hellinger, Ernst (1909)、「Neue Begründung der Theoriequadratischer Formen von unendlichvielen Veränderlichen」、 Journal für die reine und angewandte Mathematik (ドイツ語)、 1909 (136): 210–271、 doi :10.1515/crll.1909.136.210、 JFM 40.0393.01、 S2CID 121150138 ^ 「ジェフリーの距離 - 数学百科事典」 encyclopediaofmath.org . 2022年5月24日 閲覧 。 ^ Jeffreys, Harold (1946-09-24). 「推定問題における事前確率の不変形式」. Proceedings of the Royal Society of London. Series A. Mathematical and Physical Sciences . 186 (1007): 453–461. Bibcode :1946RSPSA.186..453J. doi : 10.1098/rspa.1946.0056 . ISSN 0080-4630. PMID 20998741. S2CID 19490929. ^ Torgerson, Erik (1991). 「統計実験の比較」. 数学百科事典 . 第36巻. ケンブリッジ大学出版局. ^ リーゼ、フリードリヒ;ミエッケ、クラウス-J. （2008年）。 統計的意思決定理論: 推定、テスト、選択 。スプリンガー。 ISBN 978-0-387-73193-3 。 ^ Pardo, L. (2006). 発散測定に基づく統計的推論 . ニューヨーク: Chapman and Hall/CRC. p. 51. ISBN 1-58488-600-5 。 ^ Harsha, Prahladh (2011 年 9 月 23 日). 「コミュニケーションの複雑性に関する講義ノート」 (PDF) 。
参考文献 Yang, Grace Lo ; Le Cam, Lucien M. (2000)。 統計学における漸近論：いくつかの基本概念。 ベルリン ：Springer。ISBN 0-387-95036-2 。 Vaart, AW van der (2000 年 6 月 19 日)。 漸近統計 (Cambridge Series in Statistical and Probabilistic Mathematics) 。 ケンブリッジ、イギリス: Cambridge University Press。ISBN 0-521-78450-6 。 ポラード、デイビッド E. (2002)。 理論的確率を測定するためのユーザーガイド 。ケンブリッジ、イギリス：ケンブリッジ大学出版局 。ISBN 0-521-00289-3 。 
