確率測度の総変動距離

確率論では、総変動距離は確率分布の距離尺度です。これは統計的距離測定基準の一例であり、統計的距離、統計的差異、または変分距離と呼ばれることもあります。

測定可能な空間 と、上で定義された確率測度を考える。と間の全変動距離は次のように定義される^[1]。${\displaystyle (\Omega ,{\mathcal {F}})}$ ${\displaystyle P}$${\displaystyle Q}$${\displaystyle (\Omega ,{\mathcal {F}})}$${\displaystyle P}$${\displaystyle Q}$

${\displaystyle \delta (P,Q)=\sup _{A\in {\mathcal {F}}}\left|P(A)-Q(A)\right|.}$

これは、2 つの確率分布が同じイベントに割り当てる 確率間の最大絶対差です。

総変動距離はfダイバージェンスであり、積分確率メトリックです。

総変動距離は、ピンスカー不等式によってカルバック・ライブラー距離と関連している。

${\displaystyle \delta (P,Q)\leq {\sqrt {{\frac {1}{2}}D_{\mathrm {KL} }(P\parallel Q)}}.}$

また、 BretagnolleとHuber ^[2]（^[3]も参照）による次の不等式も存在し、これは、${\displaystyle \textstyle D_{\mathrm {KL} }(P\parallel Q)>2\colon }$

${\displaystyle \delta (P,Q)\leq {\sqrt {1-e^{-D_{\mathrm {KL} }(P\Parallel Q)}}}.}$

総変動距離は確率関数間のL ¹距離の半分である。離散領域では、これは確率質量関数間の距離である^[4]

${\displaystyle \delta (P,Q)={\frac {1}{2}}\sum _{x}|P(x)-Q(x)|,}$

そして分布が標準的な確率密度関数 pとqを持つ場合、^[5]

${\displaystyle \delta (P,Q)={\frac {1}{2}}\int |p(x)-q(x)|\,\mathrm {d} x}$

（または、共通の支配的な測度を持つラドン・ニコディム導関数間の類似の距離）。この結果は、定義の上限が、ある分布が他の分布を支配する集合で正確に達成されることに注目することで示されます。^[6]

総変動距離はヘリンガー距離 と以下のように関係している：^[7]${\displaystyle H(P,Q)}$

${\displaystyle H^{2}(P,Q)\leq \delta (P,Q)\leq {\sqrt {2}}H(P,Q).}$

これらの不等式は、1 ノルムと2 ノルムの間の不等式から直接導かれます。

総変動距離（またはノルムの半分）は、コスト関数が のとき、最適な輸送コストとして発生します。つまり、 ${\displaystyle c(x,y)={\mathbf {1} }_{x\neq y}}$

${\displaystyle {\frac {1}{2}}\|PQ\|_{1}=\delta (P,Q)=\inf {\big \{}\mathbb {P} (X\neq Y) :{\text{法}}(X)=P,{\text{法}}(Y)=Q{\big \}}=\inf _{\pi }\operatorname {E} _{\pi }[{\mathbf {1} }_{x\neq y}],}$

ここで期待値は が存在する空間上の確率測度に関して取られ、最小値は と が存在するようなすべての上でそれぞれ周辺値として取られる。[ 8 ^]${\displaystyle \pi}$${\displaystyle (x,y)}$${\displaystyle \pi}$${\displaystyle P}$${\displaystyle Q}$

• 総変動
• コルモゴロフ・スミルノフ検定
• ワッサーシュタイン計量法