逆変換サンプリング

逆変換サンプリング（反転サンプリング、逆確率積分変換、逆変換法、またはスミルノフ変換とも呼ばれる）は、擬似乱数サンプリングの基本的な方法であり、累積分布関数が与えられた任意の確率分布からランダムにサンプル数を生成する方法です。

逆変換サンプリングでは、数から均一なサンプルを取得します。${\displaystyle u}$0から1の間の値を確率として解釈し、最小値を返します。${\displaystyle x\in \mathbb {R} }$そのため${\displaystyle F(x)\geq u}$累積分布関数について${\displaystyle F}$確率変数の。例えば、${\displaystyle F}$は、平均がゼロ、標準偏差が 1 の標準正規分布です。下の表は、一様分布から抽出したサンプルと、それらを標準正規分布で表したものです。

曲線下の面積の一部をランダムに選択し、その面積の割合が選択対象の数値の左側に位置するような数値を定義域から返します。直感的に、末端部分の面積は非常に小さいため、ゼロまたはイチに非常に近い数値を選択する必要が生じる可能性は低いと考えられます。

計算上、この方法は分布の分位関数を計算することを含みます。言い換えれば、分布の累積分布関数(CDF) (定義域内の数値を 0 から 1 の間の確率にマッピングする関数) を計算し、その関数を逆変換します。これが、この方法のほとんどの名称に「逆」または「反転」という用語が含まれている理由です。離散分布の場合、CDF の計算は一般にそれほど難しくありません。分布のさまざまな点の個々の確率を単純に合計するだけです。しかし、連続分布の場合、分布の確率密度関数(PDF) を積分する必要がありますが、これはほとんどの分布 (正規分布を含む) で解析的に行うことは不可能です。その結果、この方法は多くの分布で計算効率が悪く、他の方法が好まれますが、棄却サンプリングに基づくものなど、より一般的に適用可能なサンプラーを構築するには有用な方法です。

正規分布の場合、対応する分位関数の解析的表現がないため、他の方法（例えば、 Box–Muller変換）が計算上好ましい場合があります。単純な分布であっても、逆変換サンプリング法は改善できる場合が多くあります。^{[ 1 ]}例えば、ジグラットアルゴリズムや棄却サンプリングを参照してください。一方、中程度の次数の多項式を使用して正規分布の分位関数を非常に正確に近似することが可能であり、実際、この方法は十分に高速であるため、現在では統計パッケージRで正規分布からサンプリングする際のデフォルト方法は逆サンプリングとなっています。^{[ 2 ]}

任意の確率変数${\displaystyle X}$の上${\displaystyle \mathbb {R} }$確率変数${\displaystyle F_{X}^{-1}(U)}$同じ分布を持つ${\displaystyle X}$、 どこ${\displaystyle F_{X}^{-1}}$は累積分布関数の一般化逆関数である。${\displaystyle F_{X}}$の${\displaystyle X}$そして${\displaystyle U}$均一です${\displaystyle [0,1]}$[ ^{3 ]​}

連続確率変数の場合、逆確率積分変換は確かに確率積分変換の逆であり、これは連続確率変数に対して次のことを示している。${\displaystyle X}$累積分布関数${\displaystyle F_{X}}$確率変数${\displaystyle U=F_{X}(X)}$均一です​${\displaystyle [0,1]}$。

から${\displaystyle U\sim \mathrm {Unif} [0,1]}$私たちは生成したい${\displaystyle X}$CDF付き${\displaystyle F_{X}(x).}$私たちは想定します${\displaystyle F_{X}(x)}$連続的で厳密に増加する関数であること。これは良い直感を与えてくれる。

厳密に単調な変換を見つけられるかどうか確認したい。${\displaystyle T:[0,1]\mapsto \mathbb {R} }$、したがって${\displaystyle T(U){\overset {d}{=}}X}$. 私たちは

${\displaystyle F_{X}(x)=\Pr(X\leq x)=\Pr(T(U)\leq x)=\Pr(U\leq T^{-1}(x))=T^{-1}(x),{\text{ for }}x\in \mathbb {R} ,}$

最後のステップでは、${\displaystyle \Pr(U\leq y)=y}$いつ${\displaystyle U}$均一です${\displaystyle [0,1]}$。

それで私たちは${\displaystyle F_{X}}$の逆関数である${\displaystyle T}$または、同等に${\displaystyle T(u)=F_{X}^{-1}(u),u\in [0,1].}$

したがって、生成することができます${\displaystyle X}$から${\displaystyle F_{X}^{-1}(U).}$

逆変換サンプリング法が解決する問題は以下のとおりです。

• させて${\displaystyle X}$は累積分布関数によって分布が記述される確率変数である。${\displaystyle F_{X}}$。
• 私たちは以下の値を生成したいと考えています${\displaystyle X}$これらはこの分布に従って分布する。

逆変換サンプリング法は次のように機能します。

1. 乱数を生成する${\displaystyle u}$区間内の標準一様分布から${\displaystyle [0,1]}$つまり、${\displaystyle U\sim \mathrm {Unif} [0,1].}$
2. 目的の累積分布関数の一般化逆関数を求めます。${\displaystyle F_{X}^{-1}(u)}$。
3. 計算する${\displaystyle X'(u)=F_{X}^{-1}(u)}$計算された乱数${\displaystyle X'(U)}$分布がある${\displaystyle F_{X}}$そして、同じ法律が${\displaystyle X}$。

言い換えれば、累積分布関数が与えられた場合${\displaystyle F_{X}}$および一様変数${\displaystyle U\in [0,1]}$確率変数${\displaystyle X=F_{X}^{-1}(U)}$分布${\displaystyle F_{X}}$[ ^{3 ]​}

連続の場合、このような逆関数を微分方程式を満たす対象として扱うことができる。^{[ 4 ]}非線形であるにもかかわらず、このような微分方程式の中には明示的なべき級数解を持つものもある。 ^{[ 5 ]}

• 例として、確率変数があると仮定します。${\displaystyle U\sim \mathrm {Unif} (0,1)}$累積分布関数

${\displaystyle {\begin{aligned}F(x)=1-\exp(-{\sqrt {x}})\end{aligned}}}$

逆変換を実行するには、次の値を解きます。${\displaystyle F(F^{-1}(u))=u}$

${\displaystyle {\begin{aligned}F(F^{-1}(u))&=u\\1-\exp \left(-{\sqrt {F^{-1}(u)}}\right)&=u\\F^{-1}(u)&=(-\log(1-u))^{2}\\&=(\log(1-u))^{2}\end{aligned}}}$

ここから、ステップ1、2、3を実行します。

• 別の例として、指数分布を使用します。${\displaystyle F_{X}(x)=1-e^{-\lambda x}}$x ≥ 0 の場合（それ以外の場合は 0）。y=F(x) を解くことで逆関数が得られます。

${\displaystyle x=F^{-1}(y)=-{\frac {1}{\lambda }}\ln(1-y).}$

つまり、もし私たちが何かを描くとしたら${\displaystyle y_{0}}$から${\displaystyle U\sim \mathrm {Unif} (0,1)}$計算${\displaystyle x_{0}=F_{X}^{-1}(y_{0})=-{\frac {1}{\lambda }}\ln(1-y_{0}),}$これ${\displaystyle x_{0}}$指数分布に従う。

この考え方は、以下のグラフに示されています。

y の代わりに 1-y から始めても分布は変わらないことに注意してください。したがって、計算上は、[0, 1] の範囲で乱数 y を生成し、単純に計算するだけで十分です。

${\displaystyle x=F^{-1}(y)=-{\frac {1}{\lambda }}\ln(y).}$

させて${\displaystyle F}$を累積分布関数とし、${\displaystyle F^{-1}}$その一般化逆関数とする（CDFは弱単調かつ右連続であるため、下限値を用いる）：^{[ 6 ]}

${\displaystyle F^{-1}(u)=\inf \;\{x\mid F(x)\geq u\}\qquad (0<u<1).}$

主張:もし${\displaystyle U}$は一様乱数である${\displaystyle [0,1]}$それから${\displaystyle F^{-1}(U)}$もっている${\displaystyle F}$CDFとして。

証拠：

${\displaystyle {\begin{aligned}&\Pr(F^{-1}(U)\leq x)\\&{}=\Pr(U\leq F(x))\quad &(F{\text{ is right-continuous, so }}\{u:F^{-1}(u)\leq x\}=\{u:u\leq F(x)\})\\&{}=F(x)\quad &({\text{because }}\Pr(U\leq u)=u,{\text{ when }}U{\text{ is uniform on }}[0,1])\\\end{aligned}}}$

逆変換サンプリングは、区間上の切り捨て分布の場合にも簡単に拡張できます。${\displaystyle (a,b]}$棄却サンプリングのコストなしで：同じアルゴリズムに従うことができますが、乱数を生成する代わりに${\displaystyle u}$0から1の間で一様に分布し、生成します${\displaystyle u}$均等に分布${\displaystyle F(a)}$そして${\displaystyle F(b)}$そしてまた${\displaystyle F^{-1}(u)}$。

多数のサンプルを取得するには、分布の反転を同数実行する必要があります。多数のサンプルを取得しながら反転の数を減らす方法の1つは、多項式カオス展開フレームワーク内でいわゆる確率的コロケーションモンテカルロサンプラー（SCMCサンプラー）を適用することです。これにより、解析的に反転が利用可能な変数（例えば標準正規変数）の独立したサンプルを用いて、元の分布を数回反転するだけで任意の数のモンテカルロサンプルを生成できます。^{[ 7 ]}

逆サンプリング法を適用するためのソフトウェア実装があり、逆関数が閉形式で得られない場合に、逆関数の数値近似値を使用します。たとえば、PDF ^{[ 8 ]}や CDF などの分布に関する情報をユーザーが提供すれば、逆関数の近似値を計算できます。

• Cライブラリ UNU.RAN ^{[ 9 ]}
• RライブラリRunuran ^{[ 10 ]}
• Python サブパッケージscipy.statsのサンプリング^{[ 11 ] [ 12 ]}

• 確率積分変換
• コピュラは、確率積分変換によって定義される。
• 分位関数。逆累積分布関数を明示的に構築するための関数。
• 離散成分を持つ分布の正確な数学的定義のための逆分布関数。
• 棄却サンプリングは、累積分布関数の逆数に依存しない、乱数を生成するためのもう一つの一般的な手法です。