特定の条件が発生することがわかっている場合のランダム変数の期待値
確率論では、ランダム変数の条件付き期待値、条件付き期待値、または条件付き平均は、条件付き確率分布に関して評価されたその期待値です。ランダム変数が有限の数の値しか取れない場合、「条件」は変数がそれらの値のサブセットのみを取ることができるということです。より正式には、ランダム変数が離散確率空間上で定義されている場合、「条件」はこの確率空間の分割です。
状況に応じて、条件付き期待値はランダム変数または関数になります。ランダム変数は条件付き確率と同様に表されます。関数形式は と表されるか、または のような別の関数記号が導入されて という意味になります。




例
例1: サイコロを振る
公平なサイコロを振って、出た目が偶数(つまり、2、4、または 6)の場合はA = 1、それ以外の場合はA = 0 とします。さらに、出た目が素数(つまり、2、3、または 5)の場合はB = 1、それ以外の場合はB = 0とします。
A の無条件期待値は ですが、B = 1 を条件とするA の期待値(つまり、サイコロの目が 2、3、または 5 になるという条件)は であり、B = 0 を条件とする A の期待値(つまり、サイコロの目が 1、4、または 6 になるという条件)は です。同様に、A = 1 を条件とする B の期待値は であり、A = 0 を条件とする B の期待値は です。
![{\displaystyle E[A]=(0+1+0+1+0+1)/6=1/2}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d2c73844540e147c26fa0cfcbd5f92569f6faf17)
![{\displaystyle E[A\mid B=1]=(1+0+0)/3=1/3}](https://wikimedia.org/api/rest_v1/media/math/render/svg/21ef0566c23330afef05e69c89009445fe57a460)
![{\displaystyle E[A\mid B=0]=(0+1+1)/3=2/3}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f73f8df8def617b9f47ab90e4e59a7c7a58245a5)
![{\displaystyle E[B\mid A=1]=(1+0+0)/3=1/3}](https://wikimedia.org/api/rest_v1/media/math/render/svg/569f78f7977e9a08d9b9fb327fc2f68f85cbdc01)
![{\displaystyle E[B\mid A=0]=(0+1+1)/3=2/3}](https://wikimedia.org/api/rest_v1/media/math/render/svg/9795f0937cca5706a601bc0989b543763c788787)
例2: 降雨量データ
1990 年 1 月 1 日から 1999 年 12 月 31 日までの 10 年間 (3652 日) の毎日、気象観測所で収集された毎日の降雨量データ (1 日あたりの降雨量 mm) があるとします。指定されていない日の無条件降雨量期待値は、3652 日間の降雨量の平均です。3月であることがわかっている (3 月であることが条件) 指定されていない日の条件付き降雨量期待値は、10 年間のうち 3 月に含まれる 310 日間すべての日降雨量の平均です。同様に、3 月 2 日の日付を条件とする条件付き降雨量期待値は、その特定の日付の 10 日間に発生した降雨量の平均です。
歴史
条件付き確率の関連概念は、条件付き分布を計算したラプラスにまで遡ります。1933年にラドン・ニコディム定理を使用してこれを形式化したのはアンドレイ・コルモゴロフでした。[1] 1953年のポール・ハルモス[2]とジョセフ・L・ドゥーブ[3] の研究では、条件付き期待値はサブσ代数を使用して現代的な定義に一般化されました。[4]
定義
イベントの条件付け
Aが非ゼロ確率のにおける事象であり、Xが離散確率変数である場合、 Aが与えられたときのXの条件付き期待値は


ここで、合計はXのすべての可能な結果にわたって行われます。
の場合、ゼロ除算のため条件付き期待値は未定義になります。

離散確率変数
XとYが離散確率変数である場合、 Yが与えられたときのXの条件付き期待値は

ここで、 はXとYの結合確率質量関数です。 Xのすべての可能な結果の合計が求められます。

上記のように、 の場合、式は未定義であることに注意してください。

離散確率変数の条件付けは、対応するイベントの条件付けと同じです。

ここで、A は集合です。

連続ランダム変数
とを連続確率変数とし、結合密度
の密度
とイベントが与えられた場合の
条件付き密度とする。与えられた場合
の条件付き期待値は










分母がゼロの場合、式は未定義になります。
連続ランダム変数の条件付けは、離散ケースでのイベントの条件付けと同じではありません。詳細については、「確率 0 のイベントの条件付け」を参照してください。この区別を尊重しないと、ボレル-コルモゴロフのパラドックスで示されるように、矛盾した結論に至る可能性があります。

ら2ランダム変数
このセクションのすべてのランダム変数は、つまり平方積分可能であると仮定されます。条件付き期待値は、その完全な一般性において、この仮定なしに展開されます。以下のサブσ-代数に関する条件付き期待値を参照してください。ただし、理論はより直感的であると考えられており[5]、重要な一般化が認められています。ランダム変数のコンテキストでは、条件付き期待値は回帰とも呼ばれます。



以下では、 が確率空間であり、 が平均、分散である
とします。期待値は平均二乗誤差を最小化します。





。
Xの条件付き期待値も同様に定義されますが、単一の数値ではなく
、結果は関数になります。をランダムベクトルとします。条件付き期待値は、次のような測定可能な関数です。




。
とは異なり、条件付き期待値は一般に一意ではないことに注意してください。つまり、平均二乗誤差を最小化するものが複数存在する可能性があります。


ユニークさ
例1 : Yが常に1である定数ランダム変数である場合を考えます。この場合、平均二乗誤差は次の形式の関数によって最小化されます。

例2 : Yが2次元のランダムベクトルである場合を考えます。すると明らかに


しかし、関数の観点では、またはあるいは無限に多くの他の方法で表現できます。線型回帰の文脈では、この一意性の欠如は多重共線性と呼ばれます。


条件付き期待値は、 内の測度ゼロの集合まで一意です。使用される測度は、Yによって誘導されるプッシュフォワード測度です。

最初の例では、プッシュフォワード測度は1 におけるディラック分布です。2 番目の例では、これが「対角線」に集中しているため、これと交差しない集合の測度は 0 になります。

存在
の最小化子の存在は自明ではない。


はヒルベルト空間の閉部分空間である。[6]ヒルベルト射影定理
により、が最小化子となるための必要十分条件は
、 Mのすべての に対して、



。
言葉で言えば、この式は残差が Yのすべての関数の空間Mに直交することを示しています。指示関数に適用されたこの直交性条件は、以下で、 XとYが必ずしも にない場合に条件付き期待値を拡張するために使用されます。


回帰との関連
条件付き期待値は、解析的に計算したり補間したりすることが難しいため、応用数学や統計学では近似値として扱われることが多い。 [7]
ヒルベルト部分空間

上記で定義した は、測定可能な関数を許可するのではなく、gの関数形式を制限することによって、そのサブセットに置き換えられます。この例としては、 g が単純な関数であることが求められる決定木回帰、gがアフィンであることが求められる線形回帰など
があります。
条件付き期待値のこれらの一般化は、多くの特性がもはや成立しないという代償を伴います。たとえば、M をY
のすべての線形関数の空間とし、この一般化された条件付き期待値/射影を表すものとします。定数関数が含まれていない場合、タワー特性は
成立しません。



重要な特別なケースとして、XとYが正規分布している場合が挙げられます。この場合、条件付き期待値は線形回帰と同等であることが示されます。

多変量正規分布#条件付き分布で説明されている係数。

サブσ代数に関する条件付き期待値
σ-代数に関する条件付き期待値:この例では、確率空間はルベーグ測度を持つ [0,1] 区間です。次の σ-代数を定義します: ;は、端点が 0、1 ⁄ 4、1 ⁄ 2、3 ⁄ 4、1 である区間によって生成される σ-代数です。は、端点が0、1 ⁄ 2、1である区間によって生成される σ-代数です。ここで、条件付き期待値は、実質的に σ-代数の最小集合の平均です。


次の点を考慮してください。
は確率空間です。
有限の期待値を持つ確率空間上のランダム変数です。
は の部分σ-代数です。
は の部分代数であるため、関数は通常は -測定可能ではありません。したがって、 およびがから への制限である形式の積分の存在は、一般には述べることができません。ただし、条件付き期待値を使用して、
における局所平均を回復できます。











与えられたXの条件付き期待値(と表記) は、次を満たす任意の-測定可能な関数です。




それぞれについて。[8]
議論で述べたように、この条件は残差が指標関数に直交するということに等しい。



存在
の存在は、に対する が に関して 絶対連続である 上の有限測度であることに注目することで証明できます。が から への自然な射影である場合、 はへの制限であり、は への制限です。さらに、は に関して絶対連続です。条件

















暗示する

したがって、

ここで、導関数は測度の
ラドン・ニコディム導関数です。
確率変数に関する条件付き期待値
上記に加えて、
- 測定可能な空間 、そして

- ランダム変数。

Yが与えられたときのXの条件付き期待値は、Yによって生成された σ 代数に上記の構成を適用することによって定義されます。
。
ドゥーブ・ディンキンの補題によれ
ば、
。
議論
- これは建設的な定義ではありません。条件付き期待値が満たさなければならない必須の特性が与えられているだけです。
- の定義は、イベントに対するの定義に似ていますが、これらは非常に異なるオブジェクトです。前者は-測定可能な関数ですが、後者はおよびに対するの要素です。








- 一意性はほぼ確実に示されます。つまり、同じ条件付き期待値のバージョンは、確率 0 のセットでのみ異なります。
- σ 代数は条件付けの「粒度」を制御します。より細かい (大きい) σ 代数上の条件付き期待値は、より大きなクラスのイベントの確率に関する情報を保持します。より粗い (小さい) σ 代数上の条件付き期待値は、より多くのイベントを平均化します。



条件付き確率
のボレル部分集合Bについて、ランダム変数の集合を考えることができる。

。
これらはマルコフ核を形成することが示されており、ほぼすべての に対して は確率
測度である。[9]
無意識の統計学者の法則は
。
これは、条件付き期待値が、無条件期待値と同様に、条件付き尺度に対する積分であることを示しています。
一般的な定義
完全に一般化するには、次のことを考慮してください。
- 確率空間。

- バナッハ 空間。

- ボホナー積分可能ランダム変数。

- サブσ-代数。

与えられたの条件付き期待値は、 -nullsetまでの一意かつ積分可能な-値を持つ -測定可能
なランダム変数であり、






全てのために。[10] [11]
この設定では、条件付き期待値は演算子表記で と表記されることもあります。

基本的なプロパティ
以下の式はすべてほぼ確実に理解できます。σ 代数はランダム変数、つまりに置き換えることができます。



- 独立した要因の抽出:
- が から独立している場合、 となります。



- が から独立している場合、 となります。ただし、 が から独立しており、 からのみ独立している場合は、必ずしもそうではないことに注意してください。






- が独立しており、が独立しており、が から独立しており、 がから独立している場合、 となります。







- 安定性:
- が-測定可能である場合、。



- 特に、サブσ-代数の場合、となります。(これは以下のタワー特性とは異なることに注意してください。)


- Z がランダム変数である場合、 となります。 最も単純な形式では、 となります。


- 既知の要因の抽出:
- が-測定可能である場合、。



- Z がランダム変数である場合、 .

- 総期待値の法則:[12 ]

- タワープロパティ:
- サブσ-代数の場合は次のようになります。


- 特別なケースでは、総期待値の法則が回復されます。


- 特別なケースとして、Z が-測定可能なランダム変数である場合が挙げられます。その場合、したがって となります。



- Doob マルチンゲール特性: 上記を(これは- 測定可能) とし、 も使用すると、 が得られます。




- ランダム変数の場合は次のようになります。


- ランダム変数の場合は次のようになります。


- 線形性: に対して、およびが成り立ちます。



- ポジティブ:もし、ならば。


- 単調性:ならば。


- 単調収束:ならば。


- 優勢収束: かつ の場合、となります。




- ファトゥの補題: もしならば。


- ジェンセンの不等式:が凸関数である場合、。


- 条件付き分散:条件付き期待値を用いて、分散を平均からの平均二乗偏差として
定義することから類推して、条件付き分散を定義することができる。
- 意味:

- 分散の代数式:

- 全分散の法則: 。

- マルチンゲール収束:有限の期待値を持つランダム変数 について、 がサブ σ 代数の増加級数であり である場合、またはがサブ σ 代数減少級数であり である場合はが成り立ちます。






- 射影としての条件付き期待値: が平方積分可能な実数ランダム変数(有限の2次モーメントを持つ実数ランダム変数)
のヒルベルト空間内にある場合、


- -可測な場合、 が成り立ちます。つまり、条件付き期待値は、から-可測関数の線型部分空間への直交射影のL 2 ( P )スカラー積 の意味でです。 (これにより、ヒルベルト射影定理に基づいて条件付き期待値の定義と存在の証明が可能になります。)






- マッピングは自己随伴である:


- 条件付けはL p空間の収縮射影です。つまり、任意のp ≥ 1 に対してです。


- ドゥーブの条件付き独立性の性質:[13]がという条件付きで独立である場合、(同値、)となる。




参照
確率の法則
注記
- ^ コルモゴロフ、アンドレイ(1933)。Grundbegriffe der Wahrscheinlichkeitsrechnung (ドイツ語)。ベルリン:ジュリアス・シュプリンガー。 p. 46.
- 翻訳:コルモゴロフ、アンドレイ(1956)。確率論の基礎 (第 2 版)。ニューヨーク: チェルシー。p. 53。ISBN 0-8284-0023-7. 2018年9月14日時点のオリジナルよりアーカイブ。2009年3月14日閲覧。
- ^ Oxtoby, JC (1953). 「レビュー: 測度論、PR Halmos 著」(PDF) . Bull. Amer. Math. Soc . 59 (1): 89–91. doi : 10.1090/s0002-9904-1953-09662-8 .
- ^ JL Doob (1953).確率過程. John Wiley & Sons . ISBN 0-471-52369-0。
- ^ Olav Kallenberg: Foundations of Modern Probability.第2版。Springer、ニューヨーク、2002年、ISBN 0-387-95313-2、p.573。
- ^ 「確率 - 条件付き期待値の背後にある直感」。Mathematics Stack Exchange。
- ^ ブロックウェル、ピーター J. (1991)。タイムシリーズ:理論と方法(第 2 版)。ニューヨーク:シュプリンガー・フェアラーク。ISBN 978-1-4419-0320-4。
- ^ ハスティー、トレバー。統計学習の要素:データマイニング、推論、予測(PDF)(第2版、訂正第7刷)。ニューヨーク。ISBN 978-0-387-84858-7。
- ^ ビリングスリー、パトリック(1995)。「セクション 34. 条件付き期待値」。確率と測定(第 3 版)。ジョン ワイリー & サンズ。p. 445。ISBN 0-471-00710-2。
- ^ クレンケ、アヒム。確率論:総合コース(第2版)。ロンドン。ISBN 978-1-4471-5361-0。
- ^ Da Prato, Giuseppe; Zabczyk, Jerzy (2014).無限次元における確率方程式. Cambridge University Press. p. 26. doi :10.1017/CBO9781107295513.(可分バナッハ空間における定義)
- ^ ハイトーネン、トゥオーマス;ヤン・ファン・ニールフェン。ヴェラール、マーク。ヴァイス、ルッツ(2016)。バナッハ空間での分析、第 1 巻: マーチンゲールとリトルウッド-ペイリー理論。スプリンガー・チャム。土井:10.1007/978-3-319-48520-1。(一般バナッハ空間における定義)
- ^ 「条件付き期待値」www.statlect.com . 2020年9月11日閲覧。
- ^ カレンバーグ、オラフ (2001)。現代確率の基礎(第 2 版)。米国ペンシルバニア州ヨーク:スプリンガー。 p. 110.ISBN 0-387-95313-2。
参考文献
- ウィリアム・フェラー『確率論とその応用入門』第1巻、1950年、223ページ
- ポール・A・マイヤー著「確率と潜在力」ブレイズデル出版、1966年、28ページ
- グリメット、ジェフリー、スティルザカー、デイヴィッド(2001年)。確率とランダムプロセス(第3版)。オックスフォード大学出版局。ISBN 0-19-857222-0。、67~69ページ
外部リンク