積分確率メトリック

確率論において、積分確率測定基準は確率分布間の距離関数の一種であり、関数のクラスが 2 つの分布をどれだけ区別できるかによって定義されます。多くの重要な統計距離は積分確率測定基準であり、これにはWasserstein-1 距離や全変動距離が含まれます。積分確率測定基準は理論的に重要であるだけでなく、統計や機械学習の分野で広く使用されています。

「積分確率計量」という名前はドイツの統計学者アルフレッド・ミュラーによってつけられました。^{[1]この距離は以前は「} ζ構造を持つ計量」とも呼ばれていました。^[2]

積分確率計量 (IPM) は、 上の分布の空間上の距離であり、上の実数値関数のクラスによって定義されます。ここで 、表記P fは、分布P の下でのfの期待値を指します。定義の絶対値は不要であり、通常、任意の に対してその否定も にある場合では省略されます。 ${\displaystyle {\mathcal {X}}}$${\displaystyle {\mathcal {F}}}$${\displaystyle {\mathcal {X}}}$$${\displaystyle D_{\mathcal {F}}(P,Q)=\sup _{f\in {\mathcal {F}}}{\big |}\mathbb {E} _{X\sim P}f(X)-\mathbb {E} _{Y\sim Q}f(Y){\big |}=\sup _{f\in {\mathcal {F}}}{\big |}Pf-Qf{\big |};}$$ ${\displaystyle f\in {\mathcal {F}}}$${\displaystyle -f}$${\displaystyle {\mathcal {F}}}$

最適化される関数f は「批評」関数と呼ばれることがある。^[3]特定の関数が最大値を達成すると、それはしばしば「目撃関数」と呼ばれる^[4]（分布の差を「目撃する」）。これらの関数は、Pからのサンプルに対して大きな値を持ち、 Qからのサンプルに対して小さな（おそらく負の）値を持つようにする。これは分類器の弱いバージョンと考えることができ、実際、 IPM は特定の分類器の最適リスクとして解釈することができる。 ^{[5] ： sec. 4}${\displaystyle f^{*}\in {\mathcal {F}}}$

の選択によって特定の距離が決まります。複数の選択で同じ距離を生成することもできます。^[1]${\displaystyle {\mathcal {F}}}$${\displaystyle {\mathcal {F}}}$

の任意の選択に対して、は計量法のすべての定義を満たしますが、 となる場合を除いて、 が何らかのP ≠ Qに対して となる場合があります。これは、コミュニティによって「擬計量法」または「半計量法」とさまざまに呼ばれます。たとえば、ゼロ関数のみを含むクラスを使用すると、は同一にゼロになります。が計量法であるのは、 が確率分布の空間上の点を分離する場合、つまり、任意のP ≠ Qに対して、となるものがいくつか存在する場合のみです。^[1]ほとんどの一般的な特定のケースでは、この特性が満たされますが、すべてではありません。 ${\displaystyle {\mathcal {F}}}$${\displaystyle D_{\mathcal {F}}}$${\displaystyle D_{\mathcal {F}}(P,Q)=0}$ ${\displaystyle {\mathcal {F}}=\{x\mapsto 0\}}$${\displaystyle D_{\mathcal {F}}(P,Q)}$${\displaystyle D_{\mathcal {F}}}$${\displaystyle {\mathcal {F}}}$ ${\displaystyle f\in {\mathcal {F}}}$${\displaystyle Pf\neq Qf}$

特に明記されていない限り、これらすべての例はメトリックです。

• ワッサーシュタイン 1 距離(アース ムーバーの距離とも呼ばれる) は、その双対表現を介して、 1-リプシッツ関数の集合を持ちます。${\displaystyle {\mathcal {F}}}$
• 関連するダドリー計量は、有界な1-リプシッツ関数の集合によって生成されます。
• 総変動距離は によって生成できるため、 は任意のイベントの指標関数の集合になります。または、より大きなクラス によって生成できます。${\displaystyle {\mathcal {F}}=\{f:{\mathcal {X}}\to \{0,1\}\}}$${\displaystyle {\mathcal {F}}}$${\displaystyle {\mathcal {F}}=\{f:{\mathcal {X}}\to [0,1]\}}$
• 密接に関連するラドン計量は、[-1, 1]の範囲内の連続関数によって生成されます。
• コルモゴロフ・スミルノフ検定で使用されるコルモゴロフ計量には、指標関数の関数クラスがあります。${\displaystyle {\mathcal {F}}=\{1_{(-\infty ,t]}:t\in \mathbb {R} \}}$
• カーネル最大平均乖離度（MMD）は再生カーネルヒルベルト空間において単位球を持つ。この距離はサンプルから推定するのが特に簡単で、最適化を必要とせず、基礎となるカーネルが特徴的である場合に適切な測定基準となる。^[6]${\displaystyle {\mathcal {F}}}$
• 最大平均不一致の特殊なケースとしてのエネルギー距離[7]は、特定の^再生核ヒルベルト空間内の単位球によって生成される。
• 有界ソボレフノルムを持つ関数によって定義すると、生成モデリングなどのアプリケーションに有用な距離が得られます。 ^[8]${\displaystyle {\mathcal {F}}}$
• 有界ベゾフノルムを持つ関数は、他の多くのIPM形式を一般化し、理論的解析に適しています。^{[9] [10]}
• 生成的敵対ネットワークや分類器ベースの2サンプルテストの多くのバリエーション^{[11] [12]}は「ニューラルネット距離」^{[13] [14]}を使用します。ここで、はニューラルネットワークのクラスです。これらは一般的な固定サイズネットワークの指標ではありませんが、他の分類器の指標になる可能性があります。特にワッサーシュタインGANの場合、この距離ではなく、近似するワッサーシュタインに関する分析が、これらのモデルの挙動にとって非常に重要であると主張されています。^{[13] [15] [16]}${\displaystyle {\mathcal {F}}}$

fダイバージェンスは、おそらく確率分布の非類似性を測定する最もよく知られた方法です。 ^{[5] : セクション 2 では、  IPM と}fダイバージェンスの両方である関数はの形式であることが示されています。ここで、 と は分布間の全変動距離です。 ${\displaystyle c\,\operatorname {TV} (P,Q)}$${\displaystyle c\in [0,\infty ]}$${\displaystyle \operatorname {TV} }$

fダイバージェンスとほとんどの IPMの大きな違いは、 PとQ が互いに素なサポートを持つ場合、すべてのfダイバージェンスは一定値を取ることです。^[17]対照的に、関数が「滑らか」な IPM は「部分的なクレジット」を与えることができます。たとえば、1/ nでのディラック測度のシーケンスを考えてみましょう。このシーケンスは分布でに収束し、多くの IPM は を満たしますが、非ゼロのfダイバージェンスはこれを満たすことができません。つまり、多くの IPM はfダイバージェンスよりも弱いトポロジーで連続しています。この特性は時々非常に重要になりますが^[18]、連続ノイズで畳み込まれた分布間のfダイバージェンスを考慮するなどの他のオプションも存在します。 ^{[18] [19]}${\displaystyle {\mathcal {F}}}$${\displaystyle \delta_{1/n}}$${\displaystyle \delta_{0}}$${\displaystyle D_{\mathcal {F}}(\delta _{1/n},\delta _{0})\to 0}$

離散分布間のIPM値は多くの場合合理的であるため、単純な「プラグイン」推定量を使用して推定することが合理的であることが多い。ここで、およびはサンプルセットの経験的尺度である。これらの経験的距離は、いくつかのクラスに対して正確に計算することができる。^[5]推定品質は距離に応じて変化するが、特定の設定ではミニマックス最適になり得る。 ^{[14] [20] [21]}${\displaystyle D_{\mathcal {F}}(P,Q)}$${\displaystyle D_{\mathcal {F}}({\hat {P}},{\hat {Q}})}$${\displaystyle {\hat {P}}}$${\displaystyle {\hat {Q}}}$${\displaystyle {\mathcal {F}}}$

正確な最大化が利用できない、またはコストがかかりすぎる場合、サンプルを「トレーニング」セット（経験的尺度および）と「テスト」セット（および）に分割し、を近似的に最大化するを見つけて推定値として使用するという一般的な方法もあります。 ^{[22] [12] [23] [24]この推定量はおそらく と}一致する可能性がありますが、負のバイアスがあります^{[22] : thm. 2}。実際、どの IPM に対しても不偏推定量は存在できません^{[22] : thm. 3}。ただし、たとえば最大平均乖離度の二乗の不偏推定量は存在します。^[4]${\displaystyle {\hat {P}}_{\mathit {train}}}$${\displaystyle {\hat {Q}}_{\mathit {train}}}$${\displaystyle {\hat {P}}_{\mathit {test}}}$${\displaystyle {\hat {Q}}_{\mathit {test}}}$${\displaystyle {\hat {f}}}$${\displaystyle {\big |}{\hat {P}}_{\mathit {train}}f-{\hat {Q}}_{\mathit {train}}f{\big |}}$${\displaystyle {\big |}{\hat {P}}_{\mathit {test}}{\hat {f}}-{\hat {Q}}_{\mathit {test}}{\hat {f}}{\big |}}$