高次元統計学

共変量ベクトル間の関係を表す最も基本的な統計モデル${\displaystyle x\in \mathbb {R} ^{p}}$応答変数${\displaystyle y\in \mathbb {R} }$線形モデル

${\displaystyle y=x^{\top }\beta +\epsilon ,}$

どこ$\displaystyle \beta \in \mathbb {R} ^{p}}$は未知のパラメータベクトルであり、${\displaystyle \epsilon }$は平均ゼロ、分散のランダムノイズです。$\displaystyle \sigma ^{2}}$独立した回答が与えられた場合${\displaystyle Y_{1},\ldots ,Y_{n}}$対応する共変量とともに${\displaystyle x_{1},\ldots ,x_{n}}$このモデルから、応答ベクトルを形成できます。${\displaystyle Y=(Y_{1},\ldots ,Y_{n})^{\top }}$、および設計マトリックス${\displaystyle X=(x_{1},\ldots ,x_{n})^{\top }\in \mathbb {R} ^{n\times p}}$。 いつ${\displaystyle n\geq p}$また、設計行列はフル列ランク（つまり、列が線形独立）であり、通常の最小二乗推定量は${\displaystyle \beta }$は

${\displaystyle {\hat {\beta }}:=(X^{\top }X)^{-1}X^{\top }Y.}$

いつ${\displaystyle \epsilon \sim N(0,\sigma ^{2})}$知られているように、$\displaystyle {\hat {\beta }}\sim N_{p}{\bigl (}\beta ,\sigma ^{2}(X^{\top }X)^{-1}{\bigr )}}$。 したがって、${\displaystyle {\hat {\beta }}}$は不偏推定量である${\displaystyle \beta }$、そしてガウス・マルコフの定理によれば、これは最良の線形不偏推定量である。

しかし、過学習は次のような場合に懸念されます。${\displaystyle p}$と同程度の大きさである${\displaystyle n}$: マトリックス${\displaystyle X^{\top }X}$定義において${\displaystyle {\hat {\beta }}}$最小固有値が小さい場合、条件が悪くなる可能性があります。${\displaystyle \mathbb {E} (\|{\hat {\beta }}-\beta \|^{2})=\sigma ^{2}\mathrm {tr} {\bigl (}(X^{\top }X)^{-1}{\bigr )}}$は大きくなります（行列のトレースは固有値の合計であるため）。さらに悪いことに、${\displaystyle p>n}$行列${\displaystyle X^{\top }X}$は単数形です。（ ^{[ 1 ]}のセクション1.2および演習1.2を参照してください。）

前の段落で述べた高次元における推定性能の劣化は、通常の最小二乗推定量に限ったことではありません。実際、高次元における統計的推論は本質的に困難であり、次元の呪いとして知られる現象です。追加情報なしでは、最悪の場合において、どの推定量もこれより優れた結果を出すことはできないことが示されています（例15.10 ^{[ 2 ]}を参照）。しかしながら、データが何らかの低次元構造を持つ場合、高次元統計の状況は絶望的ではないかもしれません。高次元線形回帰における一般的な仮定の1つは、回帰係数のベクトルが疎である、つまり、ほとんどの座標が${\displaystyle \beta }$はゼロです。このようなスパース性の仮定の下で高次元線形モデルを適合させるために、 Lassoを含む多くの統計的手法が提案されています。

高次元統計現象の別の例として、共分散行列推定の問題が挙げられます。${\displaystyle X_{1},\ldots ,X_{n}\in \mathbb {R} ^{p}}$これらは、未知の共分散行列を持つあるゼロ平均分布からの独立同分布（iid）抽出である。$\displaystyle \Sigma \in \mathbb {R} ^{p\times p}}$自然な不偏推定量${\displaystyle \Sigma }$は標本共分散行列です

${\displaystyle {\widehat {\Sigma }}:={\frac {1}{n}}\sum _{i=1}^{n}X_{i}X_{i}^{\top }.}$

低次元設定では${\displaystyle n}$増加と${\displaystyle p}$固定されている、${\displaystyle {\ワイドハット {\シグマ }}}$は、​${\displaystyle \Sigma }$任意の行列ノルムにおいて。${\displaystyle p}$一緒に成長する${\displaystyle n}$一方、この一貫性の結果は成り立たないかもしれない。例として、それぞれ${\displaystyle X_{i}\sim N_{p}(0,I)}$そして${\displaystyle p/n\rightarrow \alpha \in (0,1)}$。 もし${\displaystyle {\ワイドハット {\シグマ }}}$一貫して推定する${\displaystyle \Sigma =I}$すると、${\displaystyle {\ワイドハット {\シグマ }}}$一人に近づくべき${\displaystyle n}$増加します。この高次元設定ではそうではないことがわかります。実際、最大および最小の固有値は${\displaystyle {\ワイドハット {\シグマ }}}$周囲に集中する$\displaystyle (1+\sqrt {\alpha }})^{2}}$そして$\displaystyle (1-\sqrt {\alpha }})^{2}}$それぞれ、 TracyとWidomによって導出された極限分布に従って、これらは明らかに単位固有値から逸脱している。${\displaystyle \Sigma }$固有値の漸近挙動に関する詳細情報${\displaystyle {\ワイドハット {\シグマ }}}$マルチェンコ・パスツール法則から得られる。非漸近的な観点から、最大固有値は${\displaystyle \lambda _{\mathrm {max} }({\widehat {\Sigma }})}$の${\displaystyle {\ワイドハット {\シグマ }}}$満たす

${\displaystyle \mathbb {P} \left(\lambda _{\mathrm {max} }({\widehat {\Sigma }})\geq (1+{\sqrt {p/n}}+\delta )^{2}\right)\leq e^{-n\delta ^{2}/2},}$

いかなる場合でも${\displaystyle \delta \geq 0}$そしてすべてのペアの選択${\displaystyle n,p}$[ ^{2 ]​}

高次元における共分散行列の推定を成功させるには、低次元の構造がさらに必要となる。このような構造の例としては、疎性、低ランク性、帯状性などが挙げられる。逆共分散行列（精度行列）を推定する場合にも、同様のことが当てはまる。