独立かつ同一分布の確率変数

確率論と統計学では、各ランダム変数が他のランダム変数と同じ確率分布を持ち、すべてが相互に独立している場合、ランダム変数の集合は独立かつ同一に分布している（iid、iid、またはIID ） 。^{[1] IIDは統計学で最初に定義され、}データマイニングや信号処理などの多くの分野で応用されています。

統計では、通常、ランダム サンプルを扱います。ランダム サンプルは、ランダムに選択されたオブジェクトのセットと考えることができます。より正式には、「独立した同一分布 (IID)のランダム データ ポイントのシーケンス」です。

つまり、ランダム サンプルとIID という用語は同義です。統計学では、「ランダム サンプル」が一般的な用語ですが、確率論では「 IID 」と言う方が一般的です。

• 同一に分布しているということは、全体的な傾向が存在しないことを意味します。つまり、分布は変動せず、サンプル内のすべての項目は同じ確率分布から取得されます。
• 独立とは、サンプル項目がすべて独立したイベントであることを意味します。言い換えれば、それらは互いにいかなる形でも接続されていません。 ^[2] 1つの変数の値を知っていても、他の変数の値に関する情報は得られず、その逆も同様です。

独立かつ同一に分布するランダム変数は、基礎となる数学を単純化する仮定としてよく使用されます。しかし、統計モデリングの実際のアプリケーションでは、この仮定は現実的である場合もそうでない場合もあります。^[3]

iid仮定は中心極限定理でも使われており、有限分散を持つiid変数の和（または平均）の確率分布は正規分布に近づくと述べています。^[4]

iid仮定は、ランダム変数のシーケンスのコンテキストで頻繁に発生します。この場合、「独立かつ同一に分布する」とは、シーケンス内の要素が、その前のランダム変数から独立していることを意味します。このように、iid シーケンスは、 n番目のランダム変数の確率分布がシーケンス内の前のランダム変数の関数であるマルコフ シーケンス(1 次マルコフ シーケンスの場合) とは異なります。iid シーケンスは、サンプル空間またはイベント空間のすべての要素の確率が同じでなければならないことを意味するものではありません。^[5]たとえば、不正なサイコロを繰り返し投げると、結果が偏っているにもかかわらず、iid であるシーケンスが生成されます。

信号処理と画像処理では、iid への変換の概念は、「id」部分と「i.」部分の 2 つの仕様を意味します。

id . – 信号レベルは時間軸上でバランスが取れている必要があります。

i . – 信号スペクトルは平坦化される必要があります。つまり、フィルタリング（デコンボリューションなど）によってホワイトノイズ信号（つまり、すべての周波数が均等に存在する信号）に変換される必要があります。

ランダム変数およびが内の値を取るように定義されていると仮定します。および をそれぞれおよびの累積分布関数とし、それらの結合累積分布関数を で表します。 ${\displaystyle X}$${\displaystyle Y}$${\displaystyle I\subseteq \mathbb {R} }$${\displaystyle F_{X}(x)=\operatorname {P} (X\leq x)}$${\displaystyle F_{Y}(y)=\オペレーター名 {P} (Y\leq y)}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle F_{X,Y}(x,y)=\operatorname {P} (X\leq x\land Y\leq y)}$

2 つのランダム変数および が独立であるためには、すべての に対して次の条件を満たす必要があります。(イベントのより単純なケースとして、2 つのイベントおよび が独立であるためには、次の条件を満たす必要があります。 「独立性 (確率論) § 2 つのランダム変数」も参照してください。) ${\displaystyle X}$${\displaystyle Y}$${\displaystyle F_{X,Y}(x,y)=F_{X}(x)\cdot F_{Y}(y)}$${\displaystyle x,y\in I}$${\displaystyle A}$${\displaystyle B}$${\displaystyle P(A\land B)=P(A)\cdot P(B)}$

2つの確率変数およびが同一分布することは、すべてのに対してとなる場合のみ可能である。^[6]${\displaystyle X}$${\displaystyle Y}$${\displaystyle F_{X}(x)=F_{Y}(x)}$${\displaystyle x\in I}$

2つの確率変数とが独立かつ同一分布に従う場合、すなわち 、${\displaystyle X}$${\displaystyle Y}$

この定義は、2つ以上のランダム変数にも自然に拡張されます。ランダム変数が独立（詳細は独立性（確率論）§ 2つ以上のランダム変数を参照）かつ同一分布に従う場合、すなわち、 ${\displaystyle n}$${\displaystyle X_{1},\ldots ,X_{n}}$

ここで はの結合累積分布関数を表します。 ${\displaystyle F_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})=\operatorname {P} (X_{1}\leq x_{1}\land \ldots \land X_{n}\leq x_{n})}$${\displaystyle X_{1},\ldots ,X_{n}}$

公正または不公正なルーレットホイールのスピンの結果のシーケンスはiidです。このことの 1 つの意味は、ルーレットのボールが、たとえば 20 回連続して「赤」に止まった場合、次のスピンが「黒」になる可能性は、他のスピンの場合と同程度またはそれ以下であるということです (ギャンブラーの誤謬を参照)。

コインを10回投げて、その結果を変数に書き留めます。 ${\displaystyle A_{1},\ldots ,A_{10}}$

1. 独立: 各結果は他の結果に影響を与えません( 1 から 10 まで)。つまり、変数は互いに独立しています。${\displaystyle A_{i}}$${\displaystyle A_{j}}$${\displaystyle i\neq j}$${\displaystyle A_{1},\ldots ,A_{10}}$
2. 同一に分布: コインが公平であるか (表が出る確率は 1/2)、または偏っているかに関係なく、毎回同じコインが使用される限り、すべてのコインを投げて表が出る確率は一定のままです。

このような iid 変数のシーケンスはベルヌーイ過程とも呼ばれます。

サイコロを 10 回振って、結果を変数に保存します。 ${\displaystyle A_{1},\ldots ,A_{10}}$

1. 独立: サイコロを振った各結果は次の結果に影響を与えません。つまり、10 個の変数は互いに独立しています。
2. 同一に分布: サイコロが公平であるか重み付けされているかに関係なく、各ロールで各結果が出る確率は他のロールと同じになります。対照的に、重み付けされているものと重み付けされていないものを含む 10 個の異なるサイコロを振っても、iid 変数は生成されません。

52 枚のカードが入った標準的なトランプのデッキから 1 枚のカードを選び、そのカードをデッキに戻します。これを 52 回繰り返します。キングが現れるタイミングを観察します。

1. 独立: 各観測は次の観測に影響を与えません。つまり、52 の結果は互いに独立しています。対照的に、引かれた各カードがデッキから除外されている場合、後続のドローはそのカードの影響を受け (1 枚のキングを引くと 2 枚目のキングを引く可能性が低くなります)、観測は独立しなくなります。
2. 同一に分布: カードを 1 枚引いた後 (そしてそのカードをデッキに戻した後)、毎回キングが出る確率は 4/52 です。つまり、確率は毎回同一です。

ランダム変数がiidであるという仮定の下で最初に証明された多くの結果は、より弱い分布仮定の下でも真であることが示されています。

iid 変数の主な特性を共有する最も一般的な概念は、ブルーノ・デ・フィネッティによって導入された交換可能なランダム変数です。^[要出典]交換可能性とは、変数が独立ではない可能性がある一方で、将来の変数は過去の変数のように振る舞うことを意味します。正式には、有限シーケンスの任意の値は、それらの値の任意の順列と同じ可能性があります。結合確率分布は対称群の下で不変です。

これは便利な一般化を提供します。たとえば、非復元サンプリングは独立ではありませんが、交換可能です。

確率論では、iid 変数は離散時間 レヴィ過程として考えられます。つまり、各変数は、ある時点から別の時点までにどれだけ変化するかを示します。たとえば、一連のベルヌーイ試行は、ベルヌーイ過程として解釈されます。

これを一般化して連続時間レヴィ過程を含めることもできます。また、多くのレヴィ過程は iid 変数の極限として考えることができます。たとえば、ウィーナー過程はベルヌーイ過程の極限です。

機械学習(ML) では、データ内の統計的関係を学習します。ML モデルを効果的にトレーニングするには、広く一般化できるデータを使用することが重要です。トレーニング データがタスクを十分に代表していない場合、新しい未知のデータに対するモデルのパフォーマンスが低下する可能性があります。

iid 仮説により、トレーニング サンプルに必要な個々のケースの数を大幅に削減できるため、最適化の計算が簡素化されます。最適化問題では、独立かつ同一の分布を仮定すると、尤度関数の計算が簡素化されます。この仮定により、尤度関数は次のように表すことができます。

${\displaystyle l(\theta )=P(x_{1},x_{2},x_{3},...,x_{n}|\theta )=P(x_{1}|\theta )P(x_{2}|\theta )P(x_{3}|\theta )...P(x_{n}|\theta )}$

観測されたイベントの確率を最大化するために、log関数を適用してパラメータを最大化します。具体的には、次の式を計算します。 ${\textstyle \theta }$

${\displaystyle \mathop {\rm {argmax}} \limits _{\theta }\log(l(\theta ))}$

どこ

${\displaystyle \log(l(\theta ))=\log(P(x_{1}|\theta ))+\log(P(x_{2}|\theta ))+\log(P(x_{3}|\theta ))+...+\log(P(x_{n}|\theta ))}$

コンピュータは複数の加算を非常に効率的に実行しますが、乗算はそれほど効率的ではありません。この簡略化により、計算効率が向上します。最大化のプロセスでは、対数変換によって多くの指数関数が線形関数に変換されます。

この仮説が中心極限定理(CLT) で実際に役立つ主な理由は 2 つあります。

1. サンプルが複雑な非ガウス分布から生成された場合でも、CLT によってガウス分布に簡略化できるため、十分に近似できます (「観測可能なサンプルが多数ある場合、多くのランダム変数の合計はほぼ正規分布になります」)。
2. 2 つ目の理由は、モデルの精度は、モデル ユニットのシンプルさと表現力、およびデータの品質に依存するということです。ユニットがシンプルであれば、解釈と拡張が容易になり、表現力と拡張性によりモデルの精度が向上します。たとえば、ディープニューラル ネットワークでは、各ニューロンはシンプルでありながら強力な表現力を備えており、レイヤーごとに複雑な特徴を捉えてモデルの精度を高めます。

• デ・フィネッティの定理
• ペアワイズ独立変数
• 中心極限定理