任意次元の超球面上の確率分布
方向統計学 において 、 フォン・ミーゼス・フィッシャー分布 ( リチャード・フォン・ミーゼス と ロナルド・フィッシャー にちなんで名付けられた)は、の - 球面 上 の 確率分布 です。
分布が 円 上の フォン・ミーゼス分布 に簡約される場合 。
(
p
−
1
)
{\displaystyle (p-1)}
R
p
{\displaystyle \mathbb {R} ^{p}}
p
=
2
{\displaystyle p=2}
意味
ランダムなp 次元単位ベクトル に対するフォン・ミーゼス・フィッシャー分布の 確率密度 関数 は次のように与えられる。
x
{\displaystyle \mathbf {x} }
ふ
p
(
x
;
μ
、
κ
)
=
C
p
(
κ
)
経験
(
κ
μ
T
x
)
、
{\displaystyle f_{p}(\mathbf {x} ;{\boldsymbol {\mu }},\kappa )=C_{p}(\kappa )\exp \left({\kappa {\boldsymbol {\mu } }^{\mathsf {T}}\mathbf {x} }\right),}
ここで 、正規化定数 は
κ
≥
0
、
‖
μ
‖
=
1
{\displaystyle \kappa \geq 0,\left\Vert {\boldsymbol {\mu }}\right\Vert =1}
C
p
(
κ
)
{\displaystyle C_{p}(\kappa )}
C
p
(
κ
)
=
κ
p
/
2
−
1
(
2
π
)
p
/
2
私
p
/
2
−
1
(
κ
)
、
{\displaystyle C_{p}(\kappa )={\frac {\kappa ^{p/2-1}}{(2\pi )^{p/2}I_{p/2-1}(\kappa )}},}
ここで は、 次数 における第1種 修正 ベッセル関数 を表す。 の場合 、正規化定数は次のように減少する。
私
ヴ
{\displaystyle I_{v}}
ヴ
{\displaystyle v}
p
=
3
{\displaystyle p=3}
C
3
(
κ
)
=
κ
4
π
シン
κ
=
κ
2
π
(
e
κ
−
e
−
κ
)
。
{\displaystyle C_{3}(\kappa )={\frac {\kappa }{4\pi \sinh \kappa }}={\frac {\kappa }{2\pi (e^{\kappa }-e ^{-\kappa })}}.}
パラメータ と は、それぞれ 平均方向パラメータ と 集中パラメータ と呼ばれます 。 の値が大きいほど 、平均方向 の周りの分布の集中度が高くなります 。 では分布は 単峰性 であり 、 では球面上で均一です 。
μ
{\displaystyle {\boldsymbol {\mu }}}
κ
{\displaystyle \kappa}
κ
{\displaystyle \kappa}
μ
{\displaystyle {\boldsymbol {\mu }}}
κ
>
0
{\displaystyle \kappa >0}
κ
=
0
{\displaystyle \kappa =0}
フォン・ミーゼス・フィッシャー分布は フィッシャー分布 とも呼ばれます 。 [1] [2]これは最初、 電場 における 電気双極子
の相互作用をモデル化するために使用されました 。 [3]その他の応用としては 、地質学 、 バイオインフォマティクス 、 テキストマイニング などがあります 。
p
=
3
{\displaystyle p=3}
正規化定数に関する注意
Mardia とJuppの 教科書 「方向統計学 」[3] では、フォン・ミーゼス・フィッシャー確率密度の正規化定数は、ここで示されているものとは明らかに異なっています。 その本では、正規化定数は次のように指定されています。
C
p
(
κ
)
{\displaystyle C_{p}(\kappa )}
C
p
∗
(
κ
)
=
(
κ
2
)
p
/
2
−
1
Γ
(
p
/
2
)
私
p
/
2
−
1
(
κ
)
{\displaystyle C_{p}^{*}(\kappa )={\frac {({\frac {\kappa }{2}})^{p/2-1}}{\Gamma (p/2)I_{p/2-1}(\kappa )}}}
ここで、は ガンマ関数 です 。これは、Mardia と Jupp が密度を「一様分布に関して」与えているのに対し、ここでの密度は通常の方法で ルベーグ測度 に関して指定されていることに注目することで解決されます。一様分布の密度 (ルベーグ測度に関して) は (p-1) 球の表面積 の逆数であるため、一様密度関数は定数で与えられます。
Γ
{\displaystyle \ガンマ}
C
p
(
0
)
=
Γ
(
p
/
2
)
2
π
p
/
2
{\displaystyle C_{p}(0)={\frac {\Gamma (p/2)}{2\pi ^{p/2}}}}
すると次のようになります。
C
p
∗
(
κ
)
=
C
p
(
κ
)
C
p
(
0
)
{\displaystyle C_{p}^{*}(\kappa )={\frac {C_{p}(\kappa )}{C_{p}(0)}}}
の値は 上で表面積から導出されましたが、 について上の式で を設定することによって同じ結果を得ることができます。 これは、 を で割った の 級数展開には において 1 つの非ゼロ項しかないことに 注目することによって行うことができます。 (その項を評価するには、 定義 を 使用する必要があります 。)
C
p
(
0
)
{\displaystyle C_{p}(0)}
κ
=
0
{\displaystyle \kappa =0}
C
p
(
κ
)
{\displaystyle C_{p}(\kappa )}
私
p
/
2
−
1
(
κ
)
{\displaystyle I_{p/2-1}(\kappa )}
κ
p
/
2
−
1
{\displaystyle \kappa ^{p/2-1}}
κ
=
0
{\displaystyle \kappa =0}
0
0
=
1
{\displaystyle 0^{0}=1}
サポート
フォン・ミーゼス・フィッシャー分布の台は 超 球面 、 より具体的には - 球面であり、次のように表記される。
(
p
−
1
)
{\displaystyle (p-1)}
S
p
−
1
=
{
x
∈
R
p
:
‖
x
‖
=
1
}
{\displaystyle S^{p-1}=\left\{\mathbf {x} \in \mathbb {R} ^{p}:\left\|\mathbf {x} \right\|=1\right\}}
これは、次元ユークリッド空間 に埋め込まれた 次元 多様体 です 。
(
p
−
1
)
{\displaystyle (p-1)}
p
{\displaystyle p}
R
p
{\displaystyle \mathbb {R} ^{p}}
正規分布との関係
等方性 共分散 と 長さの 平均を持つ 正規分布 から開始すると 、その密度関数は次のようになります。
κ
−
1
私
{\displaystyle \kappa ^{-1}\mathbf {I} }
μ
{\displaystyle {\boldsymbol {\mu }}}
r
>
0
{\displaystyle r>0}
グ
p
(
x
;
μ
、
κ
)
=
(
κ
2
π
)
p
経験
(
−
κ
(
x
−
μ
)
T
(
x
−
μ
)
2
)
、
{\displaystyle G_{p}(\mathbf {x} ;{\boldsymbol {\mu }},\kappa )=\left({\sqrt {\frac {\kappa }{2\pi }}}\right) ^{p}\exp \left(-\kappa {\frac {(\mathbf {x} -{\boldsymbol {\mu }})^{\mathsf {T}}(\mathbf {x} -{\boldsymbol {\mu }})}{2}}\right),}
フォン・ミーゼス・フィッシャー分布は を条件として得られる 。
‖
x
‖
=
1
{\displaystyle \left\|\mathbf {x} \right\|=1}
(
x
−
μ
)
T
(
x
−
μ
)
=
x
T
x
+
μ
T
μ
−
2
μ
T
x
、
{\displaystyle (\mathbf {x} -{\boldsymbol {\mu }})^{\mathsf {T}}(\mathbf {x} -{\boldsymbol {\mu }})=\mathbf {x} ^{\mathsf {T}}\mathbf {x} +{\boldsymbol {\mu }}^{\mathsf {T}}{\boldsymbol {\mu }}-2{\boldsymbol {\mu }}^{\mathsf {T}}\mathbf {x} ,}
また、右辺の最初の 2 つの項が固定されているという事実を利用して、フォン ミーゼス フィッシャー密度は、 単位球面上で 積分して正規化定数を再計算することによって回復されます。 の場合 、密度 の一様分布が得られます 。
ふ
p
(
x
;
r
−
1
μ
、
r
κ
)
{\displaystyle f_{p}(\mathbf {x} ;r^{-1}{\boldsymbol {\mu }},r\kappa )}
x
{\displaystyle \mathbf {x} }
r
=
0
{\displaystyle r=0}
ふ
p
(
x
;
0
、
0
)
{\displaystyle f_{p}(\mathbf {x} ;{\boldsymbol {0}},0)}
もっと簡潔に言えば、任意の等方性多変量正規密度を単位超球面に 制限すると 、正規化までフォン・ミーゼス・フィッシャー密度が得られます。
この構成は、一般共分散行列を持つ正規分布から始めて一般化することができ、その場合、 を条件付けると フィッシャー・ビンガム分布 が得られます 。
‖
x
‖
=
1
{\displaystyle \left\|\mathbf {x} \right\|=1}
パラメータの推定
平均方向
N個の 独立した 単位ベクトル の系列は フォン・ミーゼス・フィッシャー分布から描かれる。 平均方向の 最大尤度 推定値は単に正規化された 算術平均 であり、 十分な統計量 である: [3]
x
私
{\displaystyle x_{i}}
μ
{\displaystyle \mu}
μ
=
x
¯
/
R
¯
、
どこ
x
¯
=
1
いいえ
∑
私
いいえ
x
私
、
そして
R
¯
=
‖
x
¯
‖
、
{\displaystyle \mu ={\bar {x}}/{\bar {R}},{\text{ただし}}{\bar {x}}={\frac {1}{N}}\sum _{i}^{N}x_{i},{\text{かつ}}{\bar {R}}=\|{\bar {x}}\|,}
濃度パラメータ
第一種 修正ベッセル関数を用いて 定義する
あ
p
(
κ
)
=
私
p
/
2
(
κ
)
私
p
/
2
−
1
(
κ
)
。
{\displaystyle A_{p}(\kappa )={\frac {I_{p/2}(\kappa )}{I_{p/2-1}(\kappa )}}.}
それから:
κ
=
あ
p
−
1
(
R
¯
)
。
{\displaystyle \kappa =A_{p}^{-1}({\bar {R}}).}
これが 解決策です
κ
{\displaystyle \kappa}
あ
p
(
κ
)
=
‖
∑
私
いいえ
x
私
‖
いいえ
=
R
¯
。
{\displaystyle A_{p}(\kappa )={\frac {\left\|\sum _{i}^{N}x_{i}\right\|}{N}}={\bar {R}}.}
の簡単な近似値は (Sra、2011)
κ
{\displaystyle \kappa}
κ
^
=
R
¯
(
p
−
R
¯
2
)
1
−
R
¯
2
、
{\displaystyle {\hat {\kappa }}={\frac {{\bar {R}}(p-{\bar {R}}^{2})}{1-{\bar {R}}^{2}}},}
ニュートン法を 数回
繰り返すことで、より正確な逆変換が得られる。
κ
^
1
=
κ
^
−
あ
p
(
κ
^
)
−
R
¯
1
−
あ
p
(
κ
^
)
2
−
p
−
1
κ
^
あ
p
(
κ
^
)
、
{\displaystyle {\hat {\kappa }}_{1}={\hat {\kappa }}-{\frac {A_{p}({\hat {\kappa }})-{\bar {R} }}{1-A_{p}({\hat {\kappa }})^{2}-{\frac {p-1}{\hat {\kappa }}}A_{p}({\hat {\kappa }})}},}
κ
^
2
=
κ
^
1
−
あ
p
(
κ
^
1
)
−
R
¯
1
−
あ
p
(
κ
^
1
)
2
−
p
−
1
κ
^
1
あ
p
(
κ
^
1
)
。
{\displaystyle {\hat {\kappa }}_{2}={\hat {\kappa }}_{1}-{\frac {A_{p}({\hat {\kappa }}_{1})-{\bar {R}}}{1-A_{p}({\hat {\kappa }}_{1})^{2}-{\frac {p-1}{{\hat {\kappa }}_{1}}}A_{p}({\hat {\kappa }}_{1})}}.}
標準誤差
N ≥ 25の場合 、サンプル平均方向の推定球面 標準誤差は 次のように計算できます。 [4]
σ
^
=
(
d
N
R
¯
2
)
1
/
2
{\displaystyle {\hat {\sigma }}=\left({\frac {d}{N{\bar {R}}^{2}}}\right)^{1/2}}
どこ
d
=
1
−
1
N
∑
i
N
(
μ
T
x
i
)
2
{\displaystyle d=1-{\frac {1}{N}}\sum _{i}^{N}\left(\mu ^{T}x_{i}\right)^{2}}
すると、半垂直角を持つ
球状の 信頼区間 ( 信頼円錐 ) を近似することが可能になります。
100
(
1
−
α
)
%
{\displaystyle 100(1-\alpha )\%}
μ
{\displaystyle \mu }
q
=
arcsin
(
e
α
1
/
2
σ
^
)
,
{\displaystyle q=\arcsin \left(e_{\alpha }^{1/2}{\hat {\sigma }}\right),}
どこ
e
α
=
−
ln
(
α
)
.
{\displaystyle e_{\alpha }=-\ln(\alpha ).}
例えば、95%の信頼度円錐の場合 、
α
=
0.05
,
e
α
=
−
ln
(
0.05
)
=
2.996
,
{\displaystyle \alpha =0.05,e_{\alpha }=-\ln(0.05)=2.996,}
q
=
arcsin
(
1.731
σ
^
)
.
{\displaystyle q=\arcsin(1.731{\hat {\sigma }}).}
期待値
フォン ミーゼス フィッシャー分布の期待値は単位超球面上にはなく、長さが 未満です。この長さは、上で定義したように で与えられます。平均方向 と集中 を持つフォン ミーゼス フィッシャー分布の場合 、期待値は次のようになります。
A
p
(
κ
)
{\displaystyle A_{p}(\kappa )}
μ
{\displaystyle {\boldsymbol {\mu }}}
κ
>
0
{\displaystyle \kappa >0}
A
p
(
κ
)
μ
{\displaystyle A_{p}(\kappa ){\boldsymbol {\mu }}}
。
の場合 、期待値は原点にあります。有限の の場合 、期待値の長さは厳密に 0 と 1 の間であり、 の単調増加関数です 。
κ
=
0
{\displaystyle \kappa =0}
κ
>
0
{\displaystyle \kappa >0}
κ
{\displaystyle \kappa }
単位超球面上の点の集合の経験的平均( 算術平均 )も同様に動作し、広範囲に広がるデータの場合は原点に近くなり、集中したデータの場合は球に近くなります。実際、フォン・ミーゼス・フィッシャー分布の場合、点の集合に基づく最大尤度推定値の期待値は、それらの点の経験的平均に等しくなります。
エントロピーとKLダイバージェンス
期待値は 微分エントロピー と KL ダイバージェンス の計算に使用できます。
の 微分 エントロピー は:
VMF
(
μ
,
κ
)
{\displaystyle {\text{VMF}}({\boldsymbol {\mu }},\kappa )}
⟨
−
log
f
p
(
x
;
μ
,
κ
)
⟩
x
∼
VMF
(
μ
,
κ
)
=
−
log
f
p
(
A
p
(
κ
)
μ
;
μ
,
κ
)
=
−
log
C
p
(
κ
)
−
κ
A
p
(
κ
)
{\displaystyle {\bigl \langle }-\log f_{p}(\mathbf {x} ;{\boldsymbol {\mu }},\kappa ){\bigr \rangle }_{\mathbf {x} \sim {\text{VMF}}({\boldsymbol {\mu }},\kappa )}=-\log f_{p}(A_{p}(\kappa ){\boldsymbol {\mu }};{\boldsymbol {\mu }},\kappa )=-\log C_{p}(\kappa )-\kappa A_{p}(\kappa )}
ここで、山括弧は期待値を表します。エントロピーは の関数であることに注意してください 。
κ
{\displaystyle \kappa }
と の 間の KL ダイバージェンスは 次のとおりです。
VMF
(
μ
0
,
κ
0
)
{\displaystyle {\text{VMF}}({\boldsymbol {\mu _{0}}},\kappa _{0})}
VMF
(
μ
1
,
κ
1
)
{\displaystyle {\text{VMF}}({\boldsymbol {\mu _{1}}},\kappa _{1})}
⟨
log
f
p
(
x
;
μ
0
,
κ
0
)
f
p
(
x
;
μ
1
,
κ
1
)
⟩
x
∼
VMF
(
μ
0
,
κ
0
)
=
log
f
p
(
A
p
(
κ
0
)
μ
0
;
μ
0
,
κ
0
)
f
p
(
A
p
(
κ
0
)
μ
0
;
μ
1
,
κ
1
)
{\displaystyle {\Bigl \langle }\log {\frac {f_{p}(\mathbf {x} ;{\boldsymbol {\mu _{0}}},\kappa _{0})}{f_{p}(\mathbf {x} ;{\boldsymbol {\mu _{1}}},\kappa _{1})}}{\Bigr \rangle }_{\mathbf {x} \sim {\text{VMF}}({\boldsymbol {\mu _{0}}},\kappa _{0})}=\log {\frac {f_{p}(A_{p}(\kappa _{0}){\boldsymbol {\mu _{0}}};{\boldsymbol {\mu _{0}}},\kappa _{0})}{f_{p}(A_{p}(\kappa _{0}){\boldsymbol {\mu _{0}}};{\boldsymbol {\mu _{1}}},\kappa _{1})}}}
フォン ミーゼス フィッシャー (VMF) 分布は、直交線形変換の下で閉じています。 を -行 - 列 の直交行列とします 。 および に可逆線形変換 を適用します 。 逆変換は です。 直交 行列の逆は 転置 で あるためです。 変換のヤコビアンは であり 、その 行列式 の絶対値は 1 です。これも直交性のためです。 これらの事実と VMF 密度の形式を使用すると、次のようになります。
U
{\displaystyle \mathbf {U} }
p
{\displaystyle p}
p
{\displaystyle p}
x
∼
VMF
(
μ
,
κ
)
{\displaystyle \mathbf {x} \sim {\text{VMF}}({\boldsymbol {\mu }},\kappa )}
y
=
U
x
{\displaystyle \mathbf {y} =\mathbf {Ux} }
x
=
U
′
y
{\displaystyle \mathbf {x} =\mathbf {U'y} }
U
−
1
=
U
′
{\displaystyle \mathbf {U} ^{-1}=\mathbf {U} '}
U
{\displaystyle \mathbf {U} }
y
∼
VMF
(
U
μ
,
κ
)
.
{\displaystyle \mathbf {y} \sim {\text{VMF}}(\mathbf {U} {\boldsymbol {\mu }},\kappa ).}
および は単位ベクトルなので、直交性により、 および もである ことが確認できます 。
μ
{\displaystyle {\boldsymbol {\mu }}}
x
{\displaystyle \mathbf {x} }
U
μ
{\displaystyle \mathbf {U} {\boldsymbol {\mu }}}
y
{\displaystyle \mathbf {y} }
疑似乱数生成
一般的なケース
フォン・ミーゼス・フィッシャー(VMF)分布から疑似ランダムサンプルを抽出するアルゴリズムは、Ulrich [5] によって提案され 、 後 にWood [6] によって修正されました。Rでの実装は、HornikとGrün [7] によって提案され 、高速な Python 実装はPinzónとJung [8]によって説明されています。
平均方向 を持つ 次元 単位球面 上の VMF 分布からシミュレートするために 、これらのアルゴリズムは 点 に対して 次の 放射状-接線方向分解 を使用します 。
(
p
−
1
)
{\displaystyle (p-1)}
S
p
−
1
{\displaystyle S^{p-1}}
μ
∈
S
p
−
1
{\displaystyle {\boldsymbol {\mu }}\in S^{p-1}}
x
∈
S
p
−
1
⊂
R
p
{\displaystyle \mathbf {x} \in S^{p-1}\subset \mathbb {R} ^{p}}
x
=
t
μ
+
1
−
t
2
v
{\displaystyle \mathbf {x} =t{\boldsymbol {\mu }}+{\sqrt {1-t^{2}}}\mathbf {v} }
ここで、 は を中心とし に垂直な接線方向 - 次元単位部分球面内に存在します 。一方 です。パラメータ および を持つ VMF から
サンプルを抽出するには 、 接線方向部分球面上の一様分布から抽出する必要があります。また、放射状成分 は、 密度 を持つ分布から独立して抽出する必要があります。
v
∈
R
p
{\displaystyle \mathbf {v} \in \mathbb {R} ^{p}}
(
p
−
2
)
{\displaystyle (p-2)}
μ
{\displaystyle {\boldsymbol {\mu }}}
t
∈
[
−
1
,
1
]
{\displaystyle t\in [-1,1]}
x
{\displaystyle \mathbf {x} }
μ
{\displaystyle {\boldsymbol {\mu }}}
κ
{\displaystyle \kappa }
v
{\displaystyle \mathbf {v} }
t
{\displaystyle t}
f
radial
(
t
;
κ
,
p
)
=
(
κ
/
2
)
ν
Γ
(
1
2
)
Γ
(
ν
+
1
2
)
I
ν
(
κ
)
e
t
κ
(
1
−
t
2
)
ν
−
1
2
{\displaystyle f_{\text{radial}}(t;\kappa ,p)={\frac {(\kappa /2)^{\nu }}{\Gamma ({\frac {1}{2}})\Gamma (\nu +{\frac {1}{2}})I_{\nu }(\kappa )}}e^{t\kappa }(1-t^{2})^{\nu -{\frac {1}{2}}}}
ここで 、この密度の正規化定数は次を使用して検証できます。
ν
=
p
2
−
1
{\displaystyle \nu ={\frac {p}{2}}-1}
I
ν
(
κ
)
=
(
κ
/
2
)
ν
Γ
(
1
2
)
Γ
(
ν
+
1
2
)
∫
−
1
1
e
t
κ
(
1
−
t
2
)
ν
−
1
2
d
t
{\displaystyle I_{\nu }(\kappa )={\frac {(\kappa /2)^{\nu }}{\Gamma ({\frac {1}{2}})\Gamma (\nu +{\frac {1}{2}})}}\int _{-1}^{1}e^{t\kappa }(1-t^{2})^{\nu -{\frac {1}{2}}}\,dt}
方向統計 の付録1(A.3)に示されているように 。 [3]この密度から 棄却サンプリング アルゴリズムを使用してサンプル を抽出する方法は、上記の参考文献で説明されています。 に垂直な 均一サンプルを抽出するには 、 [8] のアルゴリズムを参照してください。または、 [9]のアルゴリズム1で説明されている ハウスホルダー変換 を使用できます。
t
{\displaystyle t}
v
{\displaystyle \mathbf {v} }
μ
{\displaystyle {\boldsymbol {\mu }}}
3D球体
与えられた と に対して、フォン・ミーゼス・フィッシャー分布擬似ランダム球面3次元単位ベクトル [10] [11]を 球面 上に生成するには 、 次のよう に定義する。
X
s
{\textstyle \mathbf {X} _{s}}
S
2
{\textstyle S^{2}}
μ
{\textstyle \mu }
κ
{\textstyle \kappa }
X
s
=
[
r
,
θ
,
ϕ
]
{\displaystyle \mathbf {X} _{s}=[r,\theta ,\phi ]}
極角、 方位角、 球の中心までの距離は
どこにあるか
θ
{\textstyle \theta }
ϕ
{\textstyle \phi }
r
=
1
{\textstyle r=1}
擬似ランダムトリプレット
は次のように与えられる。
μ
=
[
0
,
(
.
)
,
1
]
{\textstyle \mathbf {\mu } =[0,(.),1]}
X
s
=
[
1
,
arccos
W
,
V
]
{\displaystyle \mathbf {X} _{s}=[1,\arccos W,V]}
ここで、 下限 と上限を持つ 連続一様分布 からサンプリングされます。
V
{\textstyle V}
U
(
a
,
b
)
{\textstyle U(a,b)}
a
{\textstyle a}
b
{\textstyle b}
V
∼
U
(
0
,
2
π
)
{\displaystyle V\sim U(0,2\pi )}
そして
W
=
cos
θ
=
1
+
1
κ
(
ln
ξ
+
ln
(
1
−
ξ
−
1
ξ
e
−
2
κ
)
)
{\displaystyle W=\cos \theta =1+{\frac {1}{\kappa }}(\ln \xi +\ln(1-{\frac {\xi -1}{\xi }}e^{-2\kappa }))}
ここで、は 標準連続一様分布からサンプリングされる。
ξ
{\textstyle \xi }
U
(
0
,
1
)
{\textstyle U(0,1)}
ξ
∼
U
(
0
,
1
)
{\displaystyle \xi \sim U(0,1)}
ここでは、を when に設定し 、 他の必要な と一致するように回転する必要があります 。
W
{\textstyle W}
W
=
1
{\textstyle W=1}
ξ
=
0
{\textstyle \mathbf {\xi } =0}
X
s
{\textstyle \mathbf {X} _{s}}
μ
{\textstyle \mu }
極角の分布
に対して、 と の間の角度 θ は を満たす 。分布は次のようになる。
p
=
3
{\displaystyle p=3}
x
{\displaystyle \mathbf {x} }
μ
{\displaystyle {\boldsymbol {\mu }}}
cos
θ
=
μ
T
x
{\displaystyle \cos \theta ={\boldsymbol {\mu }}^{\mathsf {T}}\mathbf {x} }
p
(
θ
)
=
∫
d
2
x
f
(
x
;
μ
,
κ
)
δ
(
θ
−
arc cos
(
μ
T
x
)
)
{\displaystyle p(\theta )=\int d^{2}xf(x;{\boldsymbol {\mu }},\kappa )\,\delta \left(\theta -{\text{arc cos}}({\boldsymbol {\mu }}^{\mathsf {T}}\mathbf {x} )\right)}
、
これは簡単に評価できる
p
(
θ
)
=
2
π
C
3
(
κ
)
sin
θ
e
κ
cos
θ
{\displaystyle p(\theta )=2\pi C_{3}(\kappa )\,\sin \theta \,e^{\kappa \cos \theta }}
。
一般的な場合、 この角度の余弦の分布は次のようになります。
p
≥
2
{\displaystyle p\geq 2}
cos
θ
=
t
=
μ
T
x
{\displaystyle \cos \theta =t={\boldsymbol {\mu }}^{\mathsf {T}}\mathbf {x} }
は上で説明したようにによって与えられます 。
f
radial
(
t
;
κ
,
p
)
{\displaystyle f_{\text{radial}}(t;\kappa ,p)}
のとき、 上の フォン ミーゼス–フィッシャー分布は 上の 一様分布 に簡略化されます 。密度は値 で一定です。疑似ランダム サンプルは 、標準の多変量正規分布から のサンプルを生成し、単位ノルムに正規化することで
生成できます。
κ
=
0
{\displaystyle \kappa =0}
VMF
(
μ
,
κ
)
{\displaystyle {\text{VMF}}({\boldsymbol {\mu }},\kappa )}
S
p
−
1
{\displaystyle S^{p-1}}
S
p
−
1
⊂
R
p
{\displaystyle S^{p-1}\subset \mathbb {R} ^{p}}
C
p
(
0
)
{\displaystyle C_{p}(0)}
R
p
{\displaystyle \mathbb {R} ^{p}}
に対して 、 を の任意の成分とする 。 に対する 周辺分布の 密度は次のようになる: [12] [13]
1
≤
i
≤
p
{\displaystyle 1\leq i\leq p}
x
i
{\displaystyle x_{i}}
x
∈
S
p
−
1
{\displaystyle \mathbf {x} \in S^{p-1}}
x
i
{\displaystyle x_{i}}
f
i
(
x
i
;
p
)
=
f
radial
(
x
i
;
κ
=
0
,
p
)
=
(
1
−
x
i
2
)
p
−
1
2
−
1
B
(
1
2
,
p
−
1
2
)
{\displaystyle f_{i}(x_{i};p)=f_{\text{radial}}(x_{i};\kappa =0,p)={\frac {(1-x_{i}^{2})^{{\frac {p-1}{2}}-1}}{B{\bigl (}{\frac {1}{2}},{\frac {p-1}{2}}{\bigr )}}}}
ここで は ベータ関数 です。この分布は、 ベータ分布 との関係を強調することでよりよく理解できます 。
B
(
α
,
β
)
{\displaystyle B(\alpha ,\beta )}
x
i
2
∼
Beta
(
1
2
,
p
−
1
2
)
and
x
i
+
1
2
∼
Beta
(
p
−
1
2
,
p
−
1
2
)
{\displaystyle {\begin{aligned}x_{i}^{2}&\sim {\text{Beta}}{\bigl (}{\frac {1}{2}},{\frac {p-1}{2}}{\bigr )}&&{\text{and}}&{\frac {x_{i}+1}{2}}&\sim {\text{Beta}}{\bigl (}{\frac {p-1}{2}},{\frac {p-1}{2}}{\bigr )}\end{aligned}}}
ここで、 ルジャンドル複製公式は、 上記のさまざまな密度の正規化定数間の関係を理解するのに役立ちます。
の成分は独立していないため、均一密度は周辺密度の積ではなく、成分を独立にサンプリングして組み立てることはできないことに注意 し て ください 。
x
∈
S
p
−
1
{\displaystyle \mathbf {x} \in S^{p-1}}
x
{\displaystyle \mathbf {x} }
ドット積の分布
機械学習 、特に 画像分類 では 、分類対象の入力(画像など)は、多くの場合、コサイン類似度を使用して比較されます 。コサイン類似度は、単位ベクトル(埋め込みと呼ばれる)の形式での中間表現間のドット積です 。 次元 は 通常 高く、 少なくとも数百です。分類のために埋め込みを抽出する ディープニューラルネットワークは、 クラスをできるだけ離して広げることを学習する必要があり、理想的には、クラスが 上で均一に分布している必要があります 。 [14] クラス間のコサイン類似度 をより統計的に理解するには 、均一分布から独立してサンプリングされた単位ベクトル間のドット積の分布が役立つ場合があります。
p
{\displaystyle p}
S
p
−
1
{\displaystyle S^{p-1}}
を一様分布から独立にサンプリングされた
内の単位ベクトルと
します。定義:
x
,
y
∈
S
p
−
1
{\displaystyle \mathbf {x} ,\mathbf {y} \in S^{p-1}}
R
p
{\displaystyle \mathbb {R} ^{p}}
t
=
x
′
y
∈
[
−
1
,
1
]
,
r
=
t
+
1
2
∈
[
0
,
1
]
,
s
=
logit
(
r
)
=
log
1
+
t
1
−
t
∈
R
{\displaystyle {\begin{aligned}t&=\mathbf {x} '\mathbf {y} \in [-1,1],&r&={\frac {t+1}{2}}\in [0,1],&s&={\text{logit}}(r)=\log {\frac {1+t}{1-t}}\in \mathbb {R} \end{aligned}}}
ここで、 はドット積であり、 は その変換版である。 の分布は、 上記の 周辺 成分分布 と同じである 。 [13] の分布は 対称ベータであり、 の分布は 対称 ロジスティックベータ である。
t
{\displaystyle t}
r
,
s
{\displaystyle r,s}
t
{\displaystyle t}
r
{\displaystyle r}
s
{\displaystyle s}
r
∼
Beta
(
p
−
1
2
,
p
−
1
2
)
,
s
∼
B
σ
(
p
−
1
2
,
p
−
1
2
)
{\displaystyle {\begin{aligned}r&\sim {\text{Beta}}{\bigl (}{\frac {p-1}{2}},{\frac {p-1}{2}}{\bigr )},&s&\sim B_{\sigma }{\bigl (}{\frac {p-1}{2}},{\frac {p-1}{2}}{\bigr )}\end{aligned}}}
平均と分散は次のとおりです。
E
[
t
]
=
0
,
E
[
r
]
=
1
2
,
E
[
s
]
=
0
,
{\displaystyle {\begin{aligned}E[t]&=0,&E[r]&={\frac {1}{2}},&E[s]&=0,\end{aligned}}}
そして
var
[
t
]
=
1
p
,
var
[
r
]
=
1
4
p
,
var
[
s
]
=
2
ψ
′
(
p
−
1
2
)
≈
4
p
−
1
{\displaystyle {\begin{aligned}{\text{var}}[t]&={\frac {1}{p}},&{\text{var}}[r]&={\frac {1}{4p}},&{\text{var}}[s]&=2\psi '{\bigl (}{\frac {p-1}{2}}{\bigr )}\approx {\frac {4}{p-1}}\end{aligned}}}
ここで、 は 最初の ポリガンマ関数 です。次元 が増加するにつれて、分散が減少し、3 つの変数すべての分布がよりガウス分布に近づき、最終的な 近似値 が向上します 。
ψ
′
=
ψ
(
1
)
{\displaystyle \psi '=\psi ^{(1)}}
p
{\displaystyle p}
一般化
マトリックス・フォン・ミーゼス・フィッシャー
行列 フォン・ミーゼス・フィッシャー分布( 行列ランジュバン分布 [15] [16] としても知られる )の密度は
f
n
,
p
(
X
;
F
)
∝
exp
(
tr
(
F
T
X
)
)
{\displaystyle f_{n,p}(\mathbf {X} ;\mathbf {F} )\propto \exp(\operatorname {tr} (\mathbf {F} ^{\mathsf {T}}\mathbf {X} ))}
正規直交 pフレーム の シュティーフェル多様体 上でサポートされる 。ここで、は 任意の 実数行列である。 [17] [18]
n
×
p
{\displaystyle n\times p}
X
{\displaystyle \mathbf {X} }
F
{\displaystyle \mathbf {F} }
n
×
p
{\displaystyle n\times p}
鋸分布
Ulrich [5] は、 VMF分布からサンプリングするアルゴリズムを設計する際に、John G. Saw [19] にちなんで名付けられ、研究された分布族を利用しています。Saw分布 は 、モードベクトルと濃度を 持つ -球面 上の分布であり 、その密度関数は次の形式になります。
(
p
−
1
)
{\displaystyle (p-1)}
S
p
−
1
{\displaystyle S^{p-1}}
μ
∈
S
p
−
1
{\displaystyle {\boldsymbol {\mu }}\in S^{p-1}}
κ
≥
0
{\displaystyle \kappa \geq 0}
f
Saw
(
x
;
μ
,
κ
)
=
g
(
κ
x
′
μ
)
K
p
(
κ
)
{\displaystyle f_{\text{Saw}}(\mathbf {x} ;{\boldsymbol {\mu }},\kappa )={\frac {g(\kappa \mathbf {x} '{\boldsymbol {\mu }})}{K_{p}(\kappa )}}}
ここで、は 非負の増加関数であり、ここで、 は正規化定数です。 上記の ラジアル-タンジェンシャル分解は Sawファミリーに一般化され、ラジアル成分 の密度は次のようになります。
g
{\displaystyle g}
K
P
(
κ
)
{\displaystyle K_{P}(\kappa )}
t
=
x
′
μ
{\displaystyle t=\mathbf {x} '{\boldsymbol {\mu }}}
f
Saw-radial
(
t
;
κ
)
=
2
π
p
/
2
Γ
(
p
/
2
)
g
(
κ
t
)
(
1
−
t
2
)
(
p
−
3
)
/
2
B
(
1
2
,
p
−
1
2
)
K
p
(
κ
)
.
{\displaystyle f_{\text{Saw-radial}}(t;\kappa )={\frac {2\pi ^{p/2}}{\Gamma (p/2)}}{\frac {g(\kappa t)(1-t^{2})^{(p-3)/2}}{B{\bigl (}{\frac {1}{2}},{\frac {p-1}{2}}{\bigr )}K_{p}(\kappa )}}.}
ここで は ベータ関数です。また、半径密度の左側の因子は の表面積であることにも注意してください 。
B
{\displaystyle B}
S
p
−
1
{\displaystyle S^{p-1}}
を設定すると 、VMF 分布が回復されます。
g
(
κ
x
′
μ
)
=
e
κ
x
′
μ
{\displaystyle g(\kappa \mathbf {x} '{\boldsymbol {\mu }})=e^{\kappa \mathbf {x} '{\boldsymbol {\mu }}}}
加重ラデマッハ分布
フォン ミーゼス-フィッシャー分布の定義は、 の場合も含むように拡張できます 。この場合、サポートは 0 次元超球面であり、これを 1 次元ユークリッド空間に埋め込むと離散集合 になります。 平均方向は で 、濃度は です 。 の確率質量関数は、次のよう になります。
p
=
1
{\displaystyle p=1}
{
−
1
,
1
}
{\displaystyle \{-1,1\}}
μ
∈
{
−
1
,
1
}
{\displaystyle \mu \in \{-1,1\}}
κ
≥
0
{\displaystyle \kappa \geq 0}
x
∈
{
−
1
,
1
}
{\displaystyle x\in \{-1,1\}}
f
1
(
x
∣
μ
,
κ
)
=
e
κ
μ
x
e
−
κ
+
e
κ
=
σ
(
2
κ
μ
x
)
{\displaystyle f_{1}(x\mid \mu ,\kappa )={\frac {e^{\kappa \mu x}}{e^{-\kappa }+e^{\kappa }}}=\sigma (2\kappa \mu x)}
ここで、は ロジスティックシグモイド です 。期待値は です 。均一なケースでは、 で、この分布は ラーデマッハ分布 に退化します 。
σ
(
z
)
=
1
/
(
1
+
e
−
z
)
{\displaystyle \sigma (z)=1/(1+e^{-z})}
μ
tanh
(
κ
)
{\displaystyle \mu \,{\text{tanh}}(\kappa )}
κ
=
0
{\displaystyle \kappa =0}
参照
参考文献
^ Fisher, RA (1953). 「球面上の分散」 Proc. R. Soc. Lond. A . 217 (1130): 295–305. Bibcode :1953RSPSA.217..295F. doi :10.1098/rspa.1953.0064. S2CID 123166853.
^ Watson, GS (1980). 「円上および球面上の分布」 J. Appl. Probab . 19 : 265–280. doi :10.2307/3213566. JSTOR 3213566. S2CID 222325569.
^ abcd マルディア、カンティ ;ジュップ、PE (1999)。 方向性統計 。ジョン・ワイリー・アンド・サンズ・リミテッド ISBN 978-0-471-95333-3 。
^ Embleton, NI Fisher, T. Lewis, BJJ (1993). 球面データの統計分析(第1版). ケンブリッジ:ケンブリッジ大学出版局. pp. 115–116. ISBN 0-521-45699-1 。 {{cite book}}: CS1 maint: multiple names: authors list (link)
^ ab Ulrich, Gary (1984). 「m球面上の分布のコンピュータ生成」. 応用統計 . 33 (2): 158–163. doi :10.2307/2347441. JSTOR 2347441.
^ Wood, Andrew T (1994). 「フォンミーゼスフィッシャー分布のシミュレーション」. 統計における通信 - シミュレーションと計算 . 23 (1): 157–164. doi :10.1080/03610919408813161.
^ Hornik, Kurt; Grün, Bettina (2014). 「movMF: Von Mises-Fisher分布の混合をフィッティングするためのRパッケージ」. Journal of Statistical Software . 58 (10). doi : 10.18637/jss.v058.i10 . S2CID 13171102.
^ ab Pinzón, Carlos; Jung, Kangsoo (2023-03-03)、フォン・ミーゼス・フィッシャー分布のための高速Pythonサンプラー、 2023-03-30 取得
^ De Cao, Nicola; Aziz, Wilker (2023年2月13日). 「The Power Spherical distribution」. arXiv : 2006.04437 [stat.ML].
^ Pakyuz-Charrier, Evren; Lindsay, Mark; Ogarko, Vitaliy; Giraud, Jeremie; Jessell, Mark (2018-04-06). 「暗黙的な3D地質モデリングにおける構造データの不確実性推定のためのモンテカルロシミュレーション、擾乱分布の選択とパラメータ化のガイド」。Solid Earth . 9 (2): 385–402. Bibcode :2018SolE....9..385P. doi : 10.5194/se-9-385-2018 . ISSN 1869-9510.
^ A., Wood, Andrew T. (1992). フォン・ミーゼス・フィッシャー分布のシミュレーション。オーストラリア国立大学数学・応用センター 。OCLC 221030477。 {{cite book}}: CS1 maint: multiple names: authors list (link)
^ Gosmann, J; Eliasmith, C (2016). 「スパイキングニューラルネットワークにおけるシンボルのような処理のためのセマンティックポインタ表現の最適化」. PLOS ONE . 11 (2): e0149928. Bibcode :2016PLoSO..1149928G. doi : 10.1371 /journal.pone.0149928 . PMC 4762696. PMID 26900931.
^ ab Voelker, Aaron R.; Gosmann, Jan; Stewart, Terrence C. 「n-球面とn-球面からのベクトルと座標の効率的なサンプリング」 (PDF) 。理論神経科学センター - 技術レポート、2017年。 2023年 4月22日 閲覧 。
^ Wang, Tongzhou; Isola, Phillip (2020). 「ハイパースフィア上のアライメントと均一性による対照表現学習の理解」。 国際機械学習会議 (ICML ) 。arXiv : 2005.10242 。
^ Pal, Subhadip; Sengupta, Subhajit; Mitra, Riten; Banerjee , Arunava ( 2020 ). 「Stiefel多様体上の行列ランジュバン分布の共役事前分布と事後推定」。 ベイズ分析 。15 (3): 871–908。doi : 10.1214/19- BA1176。ISSN 1936-0975 。
^ 千久瀬康子 (2003年5月1日). 「集中行列ランジュバン分布」. 多変量解析ジャーナル . 85 (2): 375–394. doi : 10.1016/S0047-259X(02)00065-9 . ISSN 0047-259X.
^ Jupp (1979). 「行列フォンミーゼス-フィッシャー分布とビンガム分布の最大尤度推定量」. 統計年報 . 7 (3): 599–606. doi : 10.1214/aos/1176344681 .
^ Downs (1972). 「オリエンテーション統計」. Biometrika . 59 (3): 665–676. doi :10.1093/biomet/59.3.665.
^ Saw, John G (1978). 「m球面上の分布族といくつかの仮説検定」 Biometrika . 65 (`): 69–73. doi :10.2307/2335278. JSTOR 2335278.
さらに読む
Dhillon, I., Sra, S. (2003)「方向性分布を使用したデータのモデリング」。技術報告書、テキサス大学オースティン校。
Banerjee, A., Dhillon, IS, Ghosh, J., & Sra, S. (2005). 「フォン・ミーゼス・フィッシャー分布を使用した単位超球面上のクラスタリング」。Journal of Machine Learning Research、6(9月)、1345-1382。
Sra, S. (2011). 「フォン・ミーゼス・フィッシャー分布のパラメータ近似に関する短いメモ: I_s(x) の高速実装」. 計算統計 . 27 : 177–190. CiteSeerX 10.1.1.186.1887 . doi :10.1007/s00180-011-0232-x. S2CID 3654195.