確率変数の裾分布における指数関数的に減少する境界
確率論 において 、 チェルノフ境界とは、確率変数の モーメント生成関数 に基づいて、確率変数の裾の指数的に減少する上限のことである 。このような指数境界の最小値は、チェルノフ境界またはチェルノフ・クラマー境界を形成し 、 指数 より も速く減少する可能性がある(たとえば、 ガウス分布以下 )。 [1] [2]これは、 ベルヌーイ確率変数 の和など、独立した確率変数の和に特に有用である 。 [3] [4]
この限界値は、1952年の論文でこの方法を説明した ヘルマン・チェルノフ にちなんで名付けられることが多いが、 [5] チェルノフ自身はヘルマン・ルービンに帰属させている。 [6] 1938年に ハラルド・クラメールは、現在 クラメールの定理 として知られているほぼ同じ概念を発表していた 。
これは、マルコフの不等式 や チェビシェフの不等式 などの 、裾の減衰に対してべき乗則の境界しか生成しない第 1 モーメントまたは第 2 モーメントベースの裾の境界よりも厳しい境界です。ただし、合計に適用する場合、チェルノフ境界ではランダム変数が独立していることが要求されますが、これはマルコフの不等式やチェビシェフの不等式のどちらにも要求されない条件です。
チェルノフ境界は、 ベルンシュタインの不等式と関連しています。また、 ホエフディングの不等式 、 ベネットの不等式 、 マクダーミッドの不等式 を証明するのにも使用されます 。
一般的なチェルノフ境界
カイ二乗 確率変数 の両側チェルノフ境界
ランダム変数の一般的なチェルノフ境界は、 マルコフの不等式 を に 適用することで得られます (そのため、指数 マルコフ境界 または 指数モーメント 境界と呼ばれることもあります)。 が正の場合、これは の 右裾 に、その モーメント生成関数 に関する 境界を与えます 。
バツ
{\displaystyle X}
e
t
バツ
{\displaystyle e^{tX}}
t
{\displaystyle t}
バツ
{\displaystyle X}
ま
(
t
)
=
え
(
e
t
バツ
)
{\displaystyle M(t)=\operatorname {E} (e^{tX})}
ポ
(
バツ
≥
1つの
)
=
ポ
(
e
t
バツ
≥
e
t
1つの
)
≤
ま
(
t
)
e
−
t
1つの
(
t
>
0
)
{\displaystyle \operatorname {P} \left(X\geq a\right)=\operatorname {P} \left(e^{tX}\geq e^{ta}\right)\leq M(t)e^{-ta}\qquad (t>0)}
この境界はすべての正の に対して成り立つので、 最小値 を取ることができます 。
t
{\displaystyle t}
ポ
(
バツ
≥
1つの
)
≤
無限大
t
>
0
ま
(
t
)
e
−
t
1つの
{\displaystyle \operatorname {P} \left(X\geq a\right)\leq \inf _{t>0}M(t)e^{-ta}}
同じ分析を負の値で実行すると、 左側の裾 に同様の境界が得られます 。
t
{\displaystyle t}
ポ
(
バツ
≤
1つの
)
=
ポ
(
e
t
バツ
≥
e
t
1つの
)
≤
ま
(
t
)
e
−
t
1つの
(
t
<
0
)
{\displaystyle \operatorname {P} \left(X\leq a\right)=\operatorname {P} \left(e^{tX}\geq e^{ta}\right)\leq M(t)e^{-ta}\qquad (t<0)}
そして
ポ
(
バツ
≤
1つの
)
≤
無限大
t
<
0
ま
(
t
)
e
−
t
1つの
{\displaystyle \operatorname {P} \left(X\leq a\right)\leq \inf _{t<0}M(t)e^{-ta}}
量は 期待値 、あるいは同等のとして表すことができます 。
ま
(
t
)
e
−
t
1つの
{\displaystyle M(t)e^{-ta}}
え
(
e
t
バツ
)
e
−
t
1つの
{\displaystyle \operatorname {E} (e^{tX})e^{-ta}}
え
(
e
t
(
バツ
−
1つの
)
)
{\displaystyle \operatorname {E} (e^{t(Xa)})}
プロパティ
指数関数は凸関数なので、 Jensen の不等式 により となります。したがって、 のとき、右側の裾の境界は 1 以上であり 、したがって自明です。同様に、 のとき、左側の境界は自明です 。したがって、2 つの最小値を組み合わせて、両側チェルノフ境界を定義できます。これは 、(中央値ではなく平均値で折り畳まれた)
の折り畳まれた 累積分布関数 の上限を提供します。
え
(
e
t
バツ
)
≥
e
t
え
(
バツ
)
{\displaystyle \operatorname {E} (e^{tX})\geq e^{t\operatorname {E} (X)}}
1つの
≤
え
(
バツ
)
{\displaystyle a\leq \operatorname {E} (X)}
1つの
≥
え
(
バツ
)
{\displaystyle a\geq \operatorname {E} (X)}
C
(
1つの
)
=
無限大
t
ま
(
t
)
e
−
t
1つの
{\displaystyle C(a)=\inf _{t}M(t)e^{-ta}}
バツ
{\displaystyle X}
両側チェルノフ境界の対数は、 速度関数 (または クラメール変換 )として知られています 。これは、 ルジャンドル・フェンシェル変換 または キュムラント生成関数 の 凸共役 に相当し、次のように定義されます。 モーメント 生成関数は 対数凸 なので 、凸共役の性質により、チェルノフ境界は 対数凹 でなければなりません。チェルノフ境界は平均 で最大になり 、変換に対して不変です 。
私
=
−
ログ
C
{\displaystyle I=-\log C}
け
=
ログ
ま
{\displaystyle K=\log M}
私
(
1つの
)
=
すする
t
1つの
t
−
け
(
t
)
{\displaystyle I(a)=\sup _{t}at-K(t)}
C
(
え
(
バツ
)
)
=
1
{\displaystyle C(\operatorname {E} (X))=1}
C
バツ
+
け
(
1つの
)
=
C
バツ
(
1つの
−
け
)
{\textstyle C_{X+k}(a)=C_{X}(a-k)}
チェルノフ境界は、 が単一の集中した質量( 退化した分布 )である場合に限り正確である。境界は、有界ランダム変数の極値またはそれを超える場合にのみ厳密であり、その場合、無限大に対して下限が達成される 。無界ランダム変数の場合、境界はどこでも厳密ではないが、指数以下の因子までは漸近的に厳密である(「指数的に厳密」)。 [ 要出典 ] 個々のモーメントは、解析の複雑さが増すという代償を払って、より厳密な境界を提供できる。 [7]
X
{\displaystyle X}
t
{\displaystyle t}
実際には、正確なチェルノフ境界は扱いにくく、解析的に評価するのが難しい場合があります。その場合は、代わりにモーメント(またはキュムラント)生成関数の適切な上限を使用できます(例:サブガウス チェルノフ境界を与えるサブ放物線 CGF)。
MGFからの下限
モーメント生成関数のみを使用して、ペイリー・ジグムント不等式 を に 適用することで裾確率の下限が得られ 、次のようになります。 (左裾の境界は負の に対して得られます )。ただし、チェルノフ境界とは異なり、この結果は指数的に厳密ではありません。
e
t
X
{\displaystyle e^{tX}}
P
(
X
>
a
)
≥
sup
t
>
0
∧
M
(
t
)
≥
e
t
a
(
1
−
e
t
a
M
(
t
)
)
2
M
(
t
)
2
M
(
2
t
)
{\displaystyle \operatorname {P} \left(X>a\right)\geq \sup _{t>0\land M(t)\geq e^{ta}}\left(1-{\frac {e^{ta}}{M(t)}}\right)^{2}{\frac {M(t)^{2}}{M(2t)}}}
t
{\displaystyle t}
テオドソプロス [9]は 指数傾斜 法を用いてより厳密なMGFベースの下限値を構築した 。
特定の分布(二項分布 など )では、チェルノフ境界と同じ指数順序の下限が利用できる場合がよくあります。
独立した確率変数の合計
X が n 個 の独立したランダム変数 X 1 、...、 X n の合計である 場合、 X のモーメント生成関数は 個々のモーメント生成関数の積となり、次のようになります。
そして:
Pr
(
X
≤
a
)
≤
inf
t
<
0
e
−
t
a
∏
i
E
[
e
t
X
i
]
{\displaystyle \Pr(X\leq a)\leq \inf _{t<0}e^{-ta}\prod _{i}\operatorname {E} \left[e^{tX_{i}}\right]}
特定のチェルノフ境界は、ランダム変数の特定のインスタンスの モーメント生成関数を計算することによって達成されます 。
E
[
e
−
t
⋅
X
i
]
{\displaystyle \operatorname {E} \left[e^{-t\cdot X_{i}}\right]}
X
i
{\displaystyle X_{i}}
ランダム変数も 同一分布 ( iid ) である場合、合計のチェルノフ境界は、単一変数のチェルノフ境界の単純な再スケーリングに縮小されます。つまり、 n 個の iid 変数の 平均 のチェルノフ境界は、単一変数のチェルノフ境界の n 乗に相当します( クラメールの定理 を参照)。
独立した有界確率変数の合計
チェルノフ境界は、分布に関係なく、独立した有界ランダム変数の一般的な合計にも適用できます。これは、 ヘフディングの不等式 として知られています。証明は他のチェルノフ境界と同様のアプローチに従いますが、 モーメント生成関数を境界付けるために ヘフディングの補題を適用します ( ヘフディングの不等式 を参照)。
ヘフディングの不等式 。X 1 , ..., X n が [a,b]の範囲の値を取る 独立した ランダム変数 である とする 。Xを それらの合計とし、 μ = E [ X ] を合計の期待値とする。すると、任意のに対して 、
t
>
0
{\displaystyle t>0}
Pr
(
X
≤
μ
−
t
)
<
e
−
2
t
2
/
(
n
(
b
−
a
)
2
)
,
{\displaystyle \Pr(X\leq \mu -t)<e^{-2t^{2}/(n(b-a)^{2})},}
Pr
(
X
≥
μ
+
t
)
<
e
−
2
t
2
/
(
n
(
b
−
a
)
2
)
.
{\displaystyle \Pr(X\geq \mu +t)<e^{-2t^{2}/(n(b-a)^{2})}.}
独立したベルヌーイ確率変数の和
以下のセクションにおける ベルヌーイ確率変数 の境界は、確率 p が1に等しい
ベルヌーイ確率変数に対して、
X
i
{\displaystyle X_{i}}
E
[
e
t
⋅
X
i
]
=
(
1
−
p
)
e
0
+
p
e
t
=
1
+
p
(
e
t
−
1
)
≤
e
p
(
e
t
−
1
)
.
{\displaystyle \operatorname {E} \left[e^{t\cdot X_{i}}\right]=(1-p)e^{0}+pe^{t}=1+p(e^{t}-1)\leq e^{p(e^{t}-1)}.}
チェルノフ境界には、元の加法形式( 絶対誤差 の境界を与える )や、より実用的な 乗法形式 (平均に対する
誤差の 境界を与える)など 、さまざまな種類があります。
乗法的チェルノフ境界。X 1 , ..., X n が {0, 1}の範囲の値を取る 独立した ランダム変数 である とする。X を それらの合計とし、 μ = E [ X ] を合計の期待値とする。すると、任意の δ > 0 に対して、
Pr
(
X
≥
(
1
+
δ
)
μ
)
≤
(
e
δ
(
1
+
δ
)
1
+
δ
)
μ
.
{\displaystyle \Pr(X\geq (1+\delta )\mu )\leq \left({\frac {e^{\delta }}{(1+\delta )^{1+\delta }}}\right)^{\mu }.}
同様の証明戦略を使用して、 0 < δ < 1の場合、
Pr
(
X
≤
(
1
−
δ
)
μ
)
≤
(
e
−
δ
(
1
−
δ
)
1
−
δ
)
μ
.
{\displaystyle \Pr(X\leq (1-\delta )\mu )\leq \left({\frac {e^{-\delta }}{(1-\delta )^{1-\delta }}}\right)^{\mu }.}
上記の式は実際には扱いにくいことが多いため、 対数不等式のリスト からの 不等式に従う、より緩いがより便利な次の境界 [10] がよく使用されます。
2
δ
2
+
δ
≤
log
(
1
+
δ
)
{\displaystyle \textstyle {\frac {2\delta }{2+\delta }}\leq \log(1+\delta )}
Pr
(
X
≥
(
1
+
δ
)
μ
)
≤
e
−
δ
2
μ
/
(
2
+
δ
)
,
0
≤
δ
,
{\displaystyle \Pr(X\geq (1+\delta )\mu )\leq e^{-\delta ^{2}\mu /(2+\delta )},\qquad 0\leq \delta ,}
Pr
(
X
≤
(
1
−
δ
)
μ
)
≤
e
−
δ
2
μ
/
2
,
0
<
δ
<
1
,
{\displaystyle \Pr(X\leq (1-\delta )\mu )\leq e^{-\delta ^{2}\mu /2},\qquad 0<\delta <1,}
Pr
(
|
X
−
μ
|
≥
δ
μ
)
≤
2
e
−
δ
2
μ
/
3
,
0
<
δ
<
1.
{\displaystyle \Pr(|X-\mu |\geq \delta \mu )\leq 2e^{-\delta ^{2}\mu /3},\qquad 0<\delta <1.}
の境界は自明であることに注意してください 。
δ
=
0
{\displaystyle \delta =0}
さらに、 ランバートW関数 のテイラー展開に基づいて、 [11]
Pr
(
X
≥
R
)
≤
2
−
x
R
,
x
>
0
,
R
≥
(
2
x
e
−
1
)
μ
.
{\displaystyle \Pr(X\geq R)\leq 2^{-xR},\qquad x>0,\ R\geq (2^{x}e-1)\mu .}
次の定理はワシリー・ヘフディング [12] によるもので 、チェルノフ・ヘフディングの定理と呼ばれています。
チェルノフ・ヘフディング定理。X 1 、...、 X n が {0, 1}の値を取る iid ランダム変数 である とします 。p = E[ X 1 ] および ε > 0 とします 。
Pr
(
1
n
∑
X
i
≥
p
+
ε
)
≤
(
(
p
p
+
ε
)
p
+
ε
(
1
−
p
1
−
p
−
ε
)
1
−
p
−
ε
)
n
=
e
−
D
(
p
+
ε
∥
p
)
n
Pr
(
1
n
∑
X
i
≤
p
−
ε
)
≤
(
(
p
p
−
ε
)
p
−
ε
(
1
−
p
1
−
p
+
ε
)
1
−
p
+
ε
)
n
=
e
−
D
(
p
−
ε
∥
p
)
n
{\displaystyle {\begin{aligned}\Pr \left({\frac {1}{n}}\sum X_{i}\geq p+\varepsilon \right)\leq \left(\left({\frac {p}{p+\varepsilon }}\right)^{p+\varepsilon }{\left({\frac {1-p}{1-p-\varepsilon }}\right)}^{1-p-\varepsilon }\right)^{n}&=e^{-D(p+\varepsilon \parallel p)n}\\\Pr \left({\frac {1}{n}}\sum X_{i}\leq p-\varepsilon \right)\leq \left(\left({\frac {p}{p-\varepsilon }}\right)^{p-\varepsilon }{\left({\frac {1-p}{1-p+\varepsilon }}\right)}^{1-p+\varepsilon }\right)^{n}&=e^{-D(p-\varepsilon \parallel p)n}\end{aligned}}}
どこ
D
(
x
∥
y
)
=
x
ln
x
y
+
(
1
−
x
)
ln
(
1
−
x
1
−
y
)
{\displaystyle D(x\parallel y)=x\ln {\frac {x}{y}}+(1-x)\ln \left({\frac {1-x}{1-y}}\right)}
は、それぞれパラメータx と yを 持つ ベルヌーイ分布の ランダム変数 間の カルバック・ライブラーダイバージェンス です 。p ≥ 1 / 2 、 つまり
D
(
p
+
ε
∥
p
)
≥
ε
2
2
p
(
1
−
p
)
{\displaystyle D(p+\varepsilon \parallel p)\geq {\tfrac {\varepsilon ^{2}}{2p(1-p)}}}
Pr
(
1
n
∑
X
i
>
p
+
x
)
≤
exp
(
−
x
2
n
2
p
(
1
−
p
)
)
.
{\displaystyle \Pr \left({\frac {1}{n}}\sum X_{i}>p+x\right)\leq \exp \left(-{\frac {x^{2}n}{2p(1-p)}}\right).}
より単純な境界は、 D ( p + ε || p ) ≥ 2 ε 2 を用いて定理を緩和することによって得られる 。これは 、
D ( p + ε || p ) の 凸性と、
d
2
d
ε
2
D
(
p
+
ε
∥
p
)
=
1
(
p
+
ε
)
(
1
−
p
−
ε
)
≥
4
=
d
2
d
ε
2
(
2
ε
2
)
.
{\displaystyle {\frac {d^{2}}{d\varepsilon ^{2}}}D(p+\varepsilon \parallel p)={\frac {1}{(p+\varepsilon )(1-p-\varepsilon )}}\geq 4={\frac {d^{2}}{d\varepsilon ^{2}}}(2\varepsilon ^{2}).}
この結果は、 ヘフディングの不等式 の特別な場合である。
D
(
(
1
+
x
)
p
∥
p
)
≥
1
4
x
2
p
,
−
1
2
≤
x
≤
1
2
,
D
(
x
∥
y
)
≥
3
(
x
−
y
)
2
2
(
2
y
+
x
)
,
D
(
x
∥
y
)
≥
(
x
−
y
)
2
2
y
,
x
≤
y
,
D
(
x
∥
y
)
≥
(
x
−
y
)
2
2
x
,
x
≥
y
{\displaystyle {\begin{aligned}D((1+x)p\parallel p)\geq {\frac {1}{4}}x^{2}p,&&&{-{\tfrac {1}{2}}}\leq x\leq {\tfrac {1}{2}},\\[6pt]D(x\parallel y)\geq {\frac {3(x-y)^{2}}{2(2y+x)}},\\[6pt]D(x\parallel y)\geq {\frac {(x-y)^{2}}{2y}},&&&x\leq y,\\[6pt]D(x\parallel y)\geq {\frac {(x-y)^{2}}{2x}},&&&x\geq y\end{aligned}}}
p < の場合に強くなります 1 / 8 など も使われます。
アプリケーション
チェルノフ境界は、スパース ネットワークにおける セットバランス や パケット ルーティング に非常に役立ちます 。
セットバランス問題は、統計実験を設計する際に発生します。通常、統計実験を設計する際には、実験の各参加者の特徴を考慮して、参加者を2つの別々のグループに分割し、各特徴が2つのグループ間で可能な限りバランスが取れるようにする必要があります。 [13]
チェルノフ境界は、疎なネットワークでパケットをルーティングする際にネットワークの輻輳を 軽減する順列ルーティング問題の厳密な境界を得るためにも使用されます 。 [13]
チェルノフ境界は計算学習理論 において、学習アルゴリズムが おそらく近似的に正しいこと を証明するために使用されます 。つまり、十分に大きなトレーニングデータセットでは、アルゴリズムの誤差が小さい可能性が高いことを証明するために使用されます。 [14]
チェルノフ境界は、ランダム化による摂動空間を探索することで、アプリケーション/アルゴリズムの「堅牢性レベル」を評価するために効果的に使用できます。 [15]
チェルノフ境界を使用すると、強力でほとんど非現実的な小さな摂動仮説(摂動の大きさが小さい)を放棄できます。堅牢性レベルは、特定のアルゴリズムの選択、ハードウェア実装、または構造パラメータが不確実性の影響を受けるソリューションの妥当性を検証または拒否するために使用できます。
チェルノフ境界の単純で一般的な使用法は、 ランダム化アルゴリズム の「ブースティング」です。確率 p > 1/2 で目的の答えとなる推測を出力するアルゴリズムがある場合、アルゴリズムを回実行し、アルゴリズムを n /2 回以上実行して出力される推測を出力する ことで、より高い成功率を得ることが できます。(このような推測は 1 回以上実行することはできません。) これらのアルゴリズムの実行が独立していると仮定すると、 推測の n /2 回以上が正しい確率は、確率 p で 1 になる独立したベルヌーイランダム変数 X k の合計がn /2を超える確率に等しくなります。これは、 乗法チェルノフ境界 (シンクレアの授業ノートの系 13.3、 μ = np ) を介して少なくとも証明できます 。: [16]
n
=
log
(
1
/
δ
)
2
p
/
(
p
−
1
/
2
)
2
{\displaystyle n=\log(1/\delta )2p/(p-1/2)^{2}}
1
−
δ
{\displaystyle 1-\delta }
Pr
[
X
>
n
2
]
≥
1
−
e
−
n
(
p
−
1
/
2
)
2
/
(
2
p
)
≥
1
−
δ
{\displaystyle \Pr \left[X>{n \over 2}\right]\geq 1-e^{-n\left(p-1/2\right)^{2}/(2p)}\geq 1-\delta }
マトリックス チェルノフ境界
ルドルフ・アールスヴェーデ と アンドレアス・ウィンターは 行列値ランダム変数に対するチェルノフ境界を導入した。 [17] 次のバージョンの不等式はトロップの研究で見ることができる。 [18]
M 1 , ..., M t を 、およびと なる独立した行列値のランダム変数と します。 行列の演算子ノルム を で表します 。 が すべての に対してほぼ確実に成り立つ場合 、任意の ε > 0に対して
M
i
∈
C
d
1
×
d
2
{\displaystyle M_{i}\in \mathbb {C} ^{d_{1}\times d_{2}}}
E
[
M
i
]
=
0
{\displaystyle \mathbb {E} [M_{i}]=0}
‖
M
‖
{\displaystyle \lVert M\rVert }
M
{\displaystyle M}
‖
M
i
‖
≤
γ
{\displaystyle \lVert M_{i}\rVert \leq \gamma }
i
∈
{
1
,
…
,
t
}
{\displaystyle i\in \{1,\ldots ,t\}}
Pr
(
‖
1
t
∑
i
=
1
t
M
i
‖
>
ε
)
≤
(
d
1
+
d
2
)
exp
(
−
3
ε
2
t
8
γ
2
)
.
{\displaystyle \Pr \left(\left\|{\frac {1}{t}}\sum _{i=1}^{t}M_{i}\right\|>\varepsilon \right)\leq (d_{1}+d_{2})\exp \left(-{\frac {3\varepsilon ^{2}t}{8\gamma ^{2}}}\right).}
0 からの偏差がε によって高い確率で制限されると結論付けるためには、 の対数に比例する サンプル数を選択する必要があることに注意してください 。一般に、残念ながら への依存は 避けられません。たとえば、次元 の対角ランダム符号行列を考えてみましょう。 t 個の独立したサンプルの合計の演算子ノルムは、長さ tの d 個の独立したランダムウォーク の最大偏差とまったく同じです。一定の確率で最大偏差の固定境界を達成するには、このシナリオで t が d とともに対数的に増加する必要がある ことは容易にわかります 。 [19]
t
{\displaystyle t}
d
1
+
d
2
{\displaystyle d_{1}+d_{2}}
log
(
min
(
d
1
,
d
2
)
)
{\displaystyle \log(\min(d_{1},d_{2}))}
d
×
d
{\displaystyle d\times d}
次元への依存性を避けるために、
M の ランクが低いと仮定すると、次の定理が得られます。
次元に依存しない定理
0 < ε < 1 で、 M が ほぼ確実に およびとなる ランダム対称実数行列であると します。 M の台上の各要素のランクは 最大でも r であると仮定します。
‖
E
[
M
]
‖
≤
1
{\displaystyle \|\operatorname {E} [M]\|\leq 1}
‖
M
‖
≤
γ
{\displaystyle \|M\|\leq \gamma }
t
=
Ω
(
γ
log
(
γ
/
ε
2
)
ε
2
)
.
{\displaystyle t=\Omega \left({\frac {\gamma \log(\gamma /\varepsilon ^{2})}{\varepsilon ^{2}}}\right).}
ほぼ確実に成り立つ
場合、
r
≤
t
{\displaystyle r\leq t}
Pr
(
‖
1
t
∑
i
=
1
t
M
i
−
E
[
M
]
‖
>
ε
)
≤
1
p
o
l
y
(
t
)
{\displaystyle \Pr \left(\left\|{\frac {1}{t}}\sum _{i=1}^{t}M_{i}-\operatorname {E} [M]\right\|>\varepsilon \right)\leq {\frac {1}{\mathbf {poly} (t)}}}
ここで M 1 , ..., M t はM のiidコピーです 。
サンプリングバリアント
チェルノフの限界値の次の変形は、母集団内の多数派が標本内の少数派になる確率、またはその逆の確率を制限するために使用できます。 [20]
一般集団 A と部分集団 B ⊆ A があるとします。部分集団の相対的な大きさ (| B |/| A |) を r でマークします。
整数 k とサイズ k のランダムサンプル S ⊂ A を選択したとします。サンプル内のサブ母集団の相対的なサイズ (| B ∩ S |/| S |) を r S でマークします。
そして、すべての分数 d∈ [0,1]について:
Pr
(
r
S
<
(
1
−
d
)
⋅
r
)
<
exp
(
−
r
⋅
d
2
⋅
k
2
)
{\displaystyle \Pr \left(r_{S}<(1-d)\cdot r\right)<\exp \left(-r\cdot d^{2}\cdot {\frac {k}{2}}\right)}
特に、 Bが A で多数派である場合 (つまり r > 0.5)、 Bが S で多数派であり続ける確率 ( r S > 0.5)は、次のように制限することができます。d = 1 − 1/(2 r ): [21]
Pr
(
r
S
>
0.5
)
>
1
−
exp
(
−
r
⋅
(
1
−
1
2
r
)
2
⋅
k
2
)
{\displaystyle \Pr \left(r_{S}>0.5\right)>1-\exp \left(-r\cdot \left(1-{\frac {1}{2r}}\right)^{2}\cdot {\frac {k}{2}}\right)}
もちろん、この境界はまったく厳密ではありません。たとえば、 r = 0.5 の場合、Prob > 0 という単純な境界が得られます。
証明
乗法チェルノフ境界の条件に従って、 X 1 、...、 X n を独立した ベルヌーイ確率変数 とし、その合計が X で、それぞれが1に等しい
確率 p i を持つものとします。ベルヌーイ変数の場合:
E
[
e
t
⋅
X
i
]
=
(
1
−
p
i
)
e
0
+
p
i
e
t
=
1
+
p
i
(
e
t
−
1
)
≤
e
p
i
(
e
t
−
1
)
{\displaystyle \operatorname {E} \left[e^{t\cdot X_{i}}\right]=(1-p_{i})e^{0}+p_{i}e^{t}=1+p_{i}(e^{t}-1)\leq e^{p_{i}(e^{t}-1)}}
そこで、( 1 )を 任意のに対して 、そして、のときに用いると 、
a
=
(
1
+
δ
)
μ
{\displaystyle a=(1+\delta )\mu }
δ
>
0
{\displaystyle \delta >0}
μ
=
E
[
X
]
=
∑
i
=
1
n
p
i
{\displaystyle \mu =\operatorname {E} [X]=\textstyle \sum _{i=1}^{n}p_{i}}
Pr
(
X
>
(
1
+
δ
)
μ
)
≤
inf
t
≥
0
exp
(
−
t
(
1
+
δ
)
μ
)
∏
i
=
1
n
E
[
exp
(
t
X
i
)
]
≤
inf
t
≥
0
exp
(
−
t
(
1
+
δ
)
μ
+
∑
i
=
1
n
p
i
(
e
t
−
1
)
)
=
inf
t
≥
0
exp
(
−
t
(
1
+
δ
)
μ
+
(
e
t
−
1
)
μ
)
.
{\displaystyle {\begin{aligned}\Pr(X>(1+\delta )\mu )&\leq \inf _{t\geq 0}\exp(-t(1+\delta )\mu )\prod _{i=1}^{n}\operatorname {E} [\exp(tX_{i})]\\[4pt]&\leq \inf _{t\geq 0}\exp {\Big (}-t(1+\delta )\mu +\sum _{i=1}^{n}p_{i}(e^{t}-1){\Big )}\\[4pt]&=\inf _{t\geq 0}\exp {\Big (}-t(1+\delta )\mu +(e^{t}-1)\mu {\Big )}.\end{aligned}}}
t = log(1 + δ ) と設定して、 δ > 0 に対して t > 0 とすると 、次のように代入して求めることができる。
exp
(
−
t
(
1
+
δ
)
μ
+
(
e
t
−
1
)
μ
)
=
exp
(
(
1
+
δ
−
1
)
μ
)
(
1
+
δ
)
(
1
+
δ
)
μ
=
[
e
δ
(
1
+
δ
)
(
1
+
δ
)
]
μ
.
{\displaystyle \exp {\Big (}-t(1+\delta )\mu +(e^{t}-1)\mu {\Big )}={\frac {\exp((1+\delta -1)\mu )}{(1+\delta )^{(1+\delta )\mu }}}=\left[{\frac {e^{\delta }}{(1+\delta )^{(1+\delta )}}}\right]^{\mu }.}
これは望ましい結果であることを証明します。
q = p + ε とする 。 ( 1 )において a = nq とすると、次式を得る。
Pr
(
1
n
∑
X
i
≥
q
)
≤
inf
t
>
0
E
[
∏
e
t
X
i
]
e
t
n
q
=
inf
t
>
0
(
E
[
e
t
X
i
]
e
t
q
)
n
.
{\displaystyle \Pr \left({\frac {1}{n}}\sum X_{i}\geq q\right)\leq \inf _{t>0}{\frac {E\left[\prod e^{tX_{i}}\right]}{e^{tnq}}}=\inf _{t>0}\left({\frac {E\left[e^{tX_{i}}\right]}{e^{tq}}}\right)^{n}.}
ここで、 Pr( X i = 1) = p 、Pr( X i = 0) = 1 − p であることから 、
(
E
[
e
t
X
i
]
e
t
q
)
n
=
(
p
e
t
+
(
1
−
p
)
e
t
q
)
n
=
(
p
e
(
1
−
q
)
t
+
(
1
−
p
)
e
−
q
t
)
n
.
{\displaystyle \left({\frac {\operatorname {E} \left[e^{tX_{i}}\right]}{e^{tq}}}\right)^{n}=\left({\frac {pe^{t}+(1-p)}{e^{tq}}}\right)^{n}=\left(pe^{(1-q)t}+(1-p)e^{-qt}\right)^{n}.}
したがって、微積分を使って簡単に下限値を計算できます。
d
d
t
(
p
e
(
1
−
q
)
t
+
(
1
−
p
)
e
−
q
t
)
=
(
1
−
q
)
p
e
(
1
−
q
)
t
−
q
(
1
−
p
)
e
−
q
t
{\displaystyle {\frac {d}{dt}}\left(pe^{(1-q)t}+(1-p)e^{-qt}\right)=(1-q)pe^{(1-q)t}-q(1-p)e^{-qt}}
方程式をゼロにして解くと、
(
1
−
q
)
p
e
(
1
−
q
)
t
=
q
(
1
−
p
)
e
−
q
t
(
1
−
q
)
p
e
t
=
q
(
1
−
p
)
{\displaystyle {\begin{aligned}(1-q)pe^{(1-q)t}&=q(1-p)e^{-qt}\\(1-q)pe^{t}&=q(1-p)\end{aligned}}}
となることによって
e
t
=
(
1
−
p
)
q
(
1
−
q
)
p
.
{\displaystyle e^{t}={\frac {(1-p)q}{(1-q)p}}.}
したがって、
t
=
log
(
(
1
−
p
)
q
(
1
−
q
)
p
)
.
{\displaystyle t=\log \left({\frac {(1-p)q}{(1-q)p}}\right).}
q = p + ε > p なので、 t > 0 となり 、 tについて境界が満たされます。 t について解いた後 、上の式に代入すると、
log
(
p
e
(
1
−
q
)
t
+
(
1
−
p
)
e
−
q
t
)
=
log
(
e
−
q
t
(
1
−
p
+
p
e
t
)
)
=
log
(
e
−
q
log
(
(
1
−
p
)
q
(
1
−
q
)
p
)
)
+
log
(
1
−
p
+
p
e
log
(
1
−
p
1
−
q
)
e
log
q
p
)
=
−
q
log
1
−
p
1
−
q
−
q
log
q
p
+
log
(
1
−
p
+
p
(
1
−
p
1
−
q
)
q
p
)
=
−
q
log
1
−
p
1
−
q
−
q
log
q
p
+
log
(
(
1
−
p
)
(
1
−
q
)
1
−
q
+
(
1
−
p
)
q
1
−
q
)
=
−
q
log
q
p
+
(
−
q
log
1
−
p
1
−
q
+
log
1
−
p
1
−
q
)
=
−
q
log
q
p
+
(
1
−
q
)
log
1
−
p
1
−
q
=
−
D
(
q
∥
p
)
.
{\displaystyle {\begin{aligned}\log \left(pe^{(1-q)t}+(1-p)e^{-qt}\right)&=\log \left(e^{-qt}(1-p+pe^{t})\right)\\&=\log \left(e^{-q\log \left({\frac {(1-p)q}{(1-q)p}}\right)}\right)+\log \left(1-p+pe^{\log \left({\frac {1-p}{1-q}}\right)}e^{\log {\frac {q}{p}}}\right)\\&=-q\log {\frac {1-p}{1-q}}-q\log {\frac {q}{p}}+\log \left(1-p+p\left({\frac {1-p}{1-q}}\right){\frac {q}{p}}\right)\\&=-q\log {\frac {1-p}{1-q}}-q\log {\frac {q}{p}}+\log \left({\frac {(1-p)(1-q)}{1-q}}+{\frac {(1-p)q}{1-q}}\right)\\&=-q\log {\frac {q}{p}}+\left(-q\log {\frac {1-p}{1-q}}+\log {\frac {1-p}{1-q}}\right)\\&=-q\log {\frac {q}{p}}+(1-q)\log {\frac {1-p}{1-q}}\\&=-D(q\parallel p).\end{aligned}}}
我々は今、望んでいた結果を得ました。
Pr
(
1
n
∑
X
i
≥
p
+
ε
)
≤
e
−
D
(
p
+
ε
∥
p
)
n
.
{\displaystyle \Pr \left({\tfrac {1}{n}}\sum X_{i}\geq p+\varepsilon \right)\leq e^{-D(p+\varepsilon \parallel p)n}.}
対称的なケースの証明を完了するには、ランダム変数 Y i = 1 − X i を定義し、同じ証明を適用して、それを境界に代入するだけです。
参照
参考文献
^ ブシュロン、ステファン (2013)。集中不等式: 独立性の非漸近理論。ガボール・ルゴシ、パスカル・マサート。オックスフォード: オックスフォード大学出版局。p. 21。ISBN 978-0-19-953525-5 . OCLC 837517674.
^ Wainwright, M. (2015年1月22日). 「Basic tail and concentration bounds」 (PDF) 。 2016年5月8日時点のオリジナルより アーカイブ (PDF) 。
^ Vershynin, Roman (2018). 高次元確率:データサイエンスへの応用入門。ケンブリッジ、イギリス。p. 19。ISBN 978-1-108-41519-4 . OCLC 1029247498. {{cite book}}: CS1 maint: location missing publisher (link)
^ Tropp, Joel A. (2015-05-26). 「行列集中不等式入門」. 機械学習の基礎と動向 . 8 (1–2): 60. arXiv : 1501.01571 . doi :10.1561/2200000048. ISSN 1935-8237. S2CID 5679583.
^ Chernoff, Herman (1952). 「観測値の合計に基づく仮説検定の漸近効率の尺度」. 数理統計年報 . 23 (4): 493–507. doi : 10.1214/aoms/1177729330 . ISSN 0003-4851. JSTOR 2236576.
^ Chernoff, Herman (2014)。「統計学のキャリア」 (PDF) 。Lin, Xihong、Genest, Christian、Banks, David L.、Molenberghs, Geert、Scott, David W.、 Wang, Jane-Ling (編)。統計学の過去、現在、未来 。CRC Press。p. 35。ISBN 9781482204964 2015年2月11日時点の オリジナル (PDF)よりアーカイブ。
^ Philips, Thomas K.; Nelson, Randolph (1995). 「正の裾の確率に対するモーメント境界はチェルノフの境界よりも厳しい」. The American Statistician . 49 (2): 175–178. doi :10.2307/2684633. ISSN 0003-1305. JSTOR 2684633.
^ Ghosh, Malay (2021-03-04). 「カイ二乗ランダム変数の指数テール境界」. 統計理論と実践ジャーナル . 15 (2): 35. doi : 10.1007/s42519-020-00156-x . ISSN 1559-8616. S2CID 233546315.
^ Theodosopoulos, Ted (2007-03-01). 「チェルノフ境界の逆転」. Statistics & Probability Letters . 77 (5): 558–565. arXiv : math/0501360 . doi :10.1016/j.spl.2006.09.003. ISSN 0167-7152. S2CID 16139953.
^ ミッツェンマッハー、マイケル、アップファル、エリ(2005)。確率とコンピューティング:ランダム化アルゴリズムと確率分析。ケンブリッジ大学出版局 。ISBN 978-0-521-83540-4 。
^ Dillencourt, Michael; Goodrich, Michael; Mitzenmacher, Michael (2024). 「簡略化されたアルゴリズム分析のためのパラメータ化されたチェルノフ境界の活用」. Information Processing Letters . 187 (106516). doi : 10.1016/j.ipl.2024.106516 .
^ Hoeffding, W. (1963). 「有界ランダム変数の合計に対する確率不等式」 (PDF) . アメリカ統計学会誌 . 58 (301): 13–30. doi :10.2307/2282952. JSTOR 2282952.
^ ab この問題の詳細については、この本のセクションを参照してください。
^ Kearns, M.; Vazirani, U. (1994). 計算学習理論入門 . MIT Press. 第9章(付録)、190~192ページ 。ISBN 0-262-11193-4 。
^ Alippi, C. (2014). 「ランダム化アルゴリズム」. 組み込みシステム向けインテリジェンス . Springer. ISBN 978-3-319-05278-6 。
^ Sinclair, Alistair (2011年秋)。「「ランダム性と計算」コースの授業ノート」 (PDF) 。 2014年10月31日時点の オリジナル (PDF)からアーカイブ 。 2014年 10月30日 閲覧。
^ Ahlswede, R.; Winter, A. (2003). 「量子チャネルによる識別のための強い逆」. IEEE Transactions on Information Theory . 48 (3): 569–579. arXiv : quant-ph/0012127 . doi :10.1109/18.985947. S2CID 523176.
^ Tropp, J. (2010). 「ランダム行列の合計に対するユーザーフレンドリーな末尾境界」. 計算数学の基礎 . 12 (4): 389–434. arXiv : 1004.4389 . doi :10.1007/s10208-011-9099-z. S2CID 17735965.
^ Magen, A. ; Zouzias, A. (2011). 「低ランク行列値チェルノフ境界と近似行列乗算」. arXiv : 1005.2724 [cs.DM].
^ Goldberg, AV; Hartline, JD (2001). 「複数のデジタル商品の競争オークション」. アルゴリズム — ESA 2001 . コンピュータサイエンスの講義ノート. 第 2161 巻. p. 416. CiteSeerX 10.1.1.8.5115 . doi :10.1007/3-540-44676-1_35. ISBN 978-3-540-42493-2 。 ; 補題6.1
^ k が変化したときの r の関数としての上界と r が変化したときの k の関数としての上界のグラフを参照してください。
さらに読む
Chernoff, H. (1952). 「観測値の合計に基づく仮説検定の漸近効率の尺度」 Annals of Mathematical Statistics . 23 (4): 493–507. doi : 10.1214/aoms/1177729330 . JSTOR 2236576. MR 0057518. Zbl 0048.11804.
Chernoff, H. (1981). 「正規分布を伴う不等式に関するノート」 Annals of Probability . 9 (3): 533–535. doi : 10.1214/aop/1176994428 . JSTOR 2243541. MR 0614640. Zbl 0457.60014.
Hagerup, T.; Rüb, C. (1990). 「チェルノフ境界のガイドツアー」. 情報処理レター . 33 (6): 305. doi :10.1016/0020-0190(90)90214-I.
Nielsen, F. (2011). 「チェルノフ情報の情報幾何学的特徴付け」. IEEE Signal Processing Letters . 20 (3): 269–272. arXiv : 1102.2684 . doi :10.1109/LSP.2013.2243726. S2CID 15034953.