ノンパラメトリック統計

密度推定の設定では、通常、関数のノルム空間が用いられます。${\displaystyle ({\mathcal {F}},\lVert \cdot \rVert )}$密度関数のサブセット${\displaystyle {\mathcal {H}}=\{f\in {\mathcal {F}}:f\geq 0,\int _{\mathcal {X}}f(x)dx=1,\lVert f\rVert \leq 1\}}$および独立した確率変数${\displaystyle X_{1},\dots ,X_{n}\in {\mathcal {X}}\subset \mathbb {R} ^{d}}$密度の尺度に従って分布${\displaystyle f\in {\mathcal {H}}}$データを生成するもの。

ミニマックス下限は、さまざまな関数クラスのペアについて知られています。${\displaystyle {\mathcal {F}}}$比較指標${\displaystyle L}$一般的な選択肢${\displaystyle {\mathcal {F}}}$は：

• ${\displaystyle {\mathcal {F}}=C^{\alpha }({\mathcal {X}}),\alpha >0}$: 空間${\displaystyle \lfloor \alpha \rfloor }$最高階微分が であるような、 回の微分可能な関数${\displaystyle (\alpha -\lfloor \alpha \rfloor )}$-ヘルダー- スムーズ。
• ${\displaystyle {\mathcal {F}}=H^{s}({\mathcal {X}})=W^{s,2}({\mathcal {X}}),s>0}$:二乗可積分な弱微分を持つソボレフ滑らかな関数の空間。
• ${\displaystyle {\mathcal {F}}=B_{p,q}^{s}({\mathcal {X}}),s>0,p,q\in (0,\infty ]}$ベゾフ滑らかな関数の空間。

実際、ヘルダー空間とソボレフ空間は、いくつかのベゾフ空間の特殊なケースである。${\displaystyle C^{\alpha }({\mathcal {X}})=B_{\infty ,\infty }^{\alpha }({\mathcal {X}})}$のために${\displaystyle \alpha \notin \mathbb {Z} }$そして${\displaystyle H^{s}({\mathcal {X}})=B_{2,2}^{s}({\mathcal {X}})}$^{[ 10 ]}したがって、ベゾフ平滑性の仮定の下で下限を導出すれば十分な場合が多い。

一般的な選択肢${\displaystyle L}$は：

• ${\displaystyle L(f,g)=(f(x_{0})-g(x_{0}))^{2},x_{0}\in {\mathcal {X}}}$: 点ごとの二乗誤差 (MSE)。
• ${\displaystyle L(f,g)=\lVert f-g\rVert _{L^{2}({\mathcal {X}})}^{2}}$:平均積分二乗誤差(MISE)。
• ${\displaystyle L(f,g)=\lVert f-g\rVert _{L^{\infty }({\mathcal {X}})}}$：最大ノルム距離。
• ${\displaystyle L(f,g)=\mathrm {KL} (\mathbb {P} _{f}\lVert \mathbb {P} _{g})}$:によって誘導される分布のカルバック・ライブラー情報量${\displaystyle f}$そして${\displaystyle g}$。
• ${\displaystyle L(f,g)=\mathrm {TV} (\mathbb {P} _{f},\mathbb {P} _{g})}$:によって誘発される分布の総変動距離${\displaystyle f}$そして${\displaystyle g}$。
• ${\displaystyle L(f,g)=W_{\beta }(\mathbb {P} _{f},\mathbb {P} _{g}),\beta \geq 1}$:ヴァッサーシュタイン-${\displaystyle \beta }$によって誘導される分布の距離${\displaystyle f}$そして${\displaystyle g}$。

シェッフェの定理によれば、全変動距離は${\displaystyle \mathrm {TV} (\mathbb {P} _{f},\mathbb {P} _{g})}$は${\displaystyle L^{1}}$-距離${\displaystyle f}$そして${\displaystyle g}$。

MISEの下限は、パラメトリック統計学におけるクラメール・ラオ下限と比較されることがある。クラメール・ラオ下限は、パラメータの通常の不偏推定量の平均二乗誤差の下限である。${\displaystyle \theta }$:$${\displaystyle {\begin{aligned}\sup _{\theta \in \Theta }\mathbb {E} &[\lVert \theta -{\hat {\theta }}_{n}\rVert ^{2}]\geq n^{-1}\underbrace {\sup _{\theta \in \Theta }\mathrm {tr} (I(\theta )^{-1})} _{=const.},\\\sup _{f\in B_{p,q}^{s}({\mathcal {X}})}\mathbb {E} &[\lVert f-{\hat {f_{n}}}\rVert _{L^{2}({\mathcal {X}})}^{2}]\geq cn^{-2s/(2s+d)},\end{aligned}}}$$どこ${\displaystyle I(\theta )}$はパラメトリックモデルのフィッシャー情報であり、${\displaystyle c>0}$は定数である。したがって、非パラメトリックな速度はパラメトリックな速度よりも遅い。${\displaystyle n^{-1}}$特に大きな次元では、密度の滑らかさが無限大に近づくにつれて、パラメトリックレートに近づきます。

例えば、カーネル密度推定器は、適切な帯域幅の選択の下でソボレフ仮説クラスの下でMISEに関して下限を達成し、したがってミニマックス最適である。^{[ 14 ]}さらに最近では、スコアベースの生成モデルも、全変動とワッサースタイン-1距離でミニマックス収束率を達成することが示されている。${\displaystyle B_{p,q}^{s}([0,1]^{d})}$-滑らかな分布、${\displaystyle s>(1/p-1/2)_{+}}$、それらはゼロから下方向に離れている。^{[ 15 ]}

回帰分析の設定では、データはペアで発生します。${\displaystyle (X_{1},Y_{1}),\dots ,(X_{n},Y_{n})}$データが独立かつ同一の分布に従うと仮定すると、${\displaystyle \mathbb {E} [|Y_{1}|]<\infty }$いつでも書くことができる$${\displaystyle Y_{i}=f(X_{i})+\varepsilon _{i},}$$と${\displaystyle f(x)=\mathbb {E} [Y_{1}\mid X_{1}=x]}$は推定される回帰関数であり、 はノイズ変数である。${\displaystyle \varepsilon _{i}}$充実感${\displaystyle \mathbb {E} [\varepsilon _{i}]=0}$そして${\displaystyle \mathbb {E} [\varepsilon ^{2}]=\sigma ^{2}>0}$一般的に、独立変数は${\displaystyle X_{i}}$単位立方体内の値を持つと想定される${\displaystyle [0,1]^{d}}$そして、グリッド上の決定論的な点（決定論的設計）または一様に分布した点（ランダム設計）のいずれかである。したがって、${\displaystyle {\mathcal {X}}=[0,1]^{d}\times \mathbb {R} }$。

上記の設定は二値分類にも適用されます。その場合、観測値は0と1の2つの値のみを取り、${\displaystyle f(x)=\mathbb {E} [\mathbb {1} _{\{Y_{1}=1\}}\mid X=x]=\mathbb {P} (Y_{1}=1\mid X=x)}$推定器が与えられた場合${\displaystyle {\hat {f_{n}}}}$の${\displaystyle f}$分類器は次の形式であると仮定する。${\displaystyle C(x)=\mathbb {1} _{[1/2,1]}({\hat {f_{n}}}(x))}$つまり、推定確率が${\displaystyle Y=1}$より大きい${\displaystyle 1/2}$（それ以外の場合は 0 ）。実際、多くの分類手法はこの形式であり、例えばロジスティック回帰、線形判別分析、二次判別分析、k 近傍法、サポートベクターマシンなどがあります。

統計分析の場合、仮説クラスは次の形式になります。${\displaystyle {\mathcal {H}}=\{f\in {\mathcal {F}}:\lVert f\rVert \leq 1\}}$あるノルム化された関数空間に対して${\displaystyle ({\mathcal {F}},\lVert \cdot \rVert )}$そして期待${\displaystyle \mathbb {E} _{f}}$の同時分布に関して${\displaystyle X}$そして${\displaystyle Y}$（または単に）${\displaystyle Y}$もし${\displaystyle X_{i}}$決定論的である）。

ノンパラメトリック回帰では、仮説クラスは回帰関数に関する強い仮定を必ず必要とします。そうでない場合、ミニマックス下限は任意に遅くなる可能性があります。たとえば、${\displaystyle {\mathcal {F}}=L^{\infty }([0,1])}$すなわち、有界関数の集合の場合、任意の推定器に対して${\displaystyle {\hat {f_{n}}}}$および任意の零系列${\displaystyle (\psi _{n})_{n\in \mathbb {N} }}$存在する${\displaystyle f\in {\mathcal {H}}}$^[ 16 ^]​

$${\displaystyle \limsup _{n\to \infty }{\frac {\mathbb {E} [\lVert f-{\hat {f_{n}}}\rVert _{L^{2}([0,1])}^{2}]}{\psi _{n}}}\geq 1.}$$

したがって、一般的な選択肢は${\displaystyle {\mathcal {F}}}$は：

• ${\displaystyle {\mathcal {F}}=C^{\alpha }([0,1]^{d}),\alpha >0}$: 空間${\displaystyle \lfloor \alpha \rfloor }$最高階微分が であるような、 回の微分可能な関数${\displaystyle (\alpha -\lfloor \alpha \rfloor )}$-ヘルダー- スムーズ。
• ${\displaystyle {\mathcal {F}}=W^{k,q}([0,1]^{d}),k\in \mathbb {N} ,q>d}$:ソボレフ滑らかな関数の空間${\displaystyle L^{q}}$-積分可能な弱微分。

一般的な選択肢${\displaystyle L}$は：

• ${\displaystyle L(f,g)=(f(x_{0})-g(x_{0}))^{2},x_{0}\in [0,1]^{d}}$: 点ごとの二乗誤差 (MSE)。
• ${\displaystyle L(f,g)=\lVert f-g\rVert _{L^{p}([0,1]^{d})},p\in [1,\infty )}$: その${\displaystyle p}$第 1 次ノルム。
• ${\displaystyle L(f,g)=\lVert f-g\rVert _{L^{\infty }([0,1]^{d})}}$：最大ノルム距離。

特定の技術的仮定の下では、以下の下限値が既知である。

一部の局所多項式推定器はMSEに関してミニマックス最適であり、${\displaystyle L^{2}}$そして${\displaystyle L^{\infty }}$下${\displaystyle {\mathcal {H}}=C^{\alpha }([0,1]^{d})}$任意の${\displaystyle \alpha >0}$帯域幅がオーダーの場合${\displaystyle {\mathcal {O}}(n^{-{\frac {1}{2\alpha +d}}})}$^{[ 21 ]} kNNはMSEに関してもミニマックス最適である。${\displaystyle {\mathcal {H}}=C^{2}([0,1]^{d})}$そして、${\displaystyle L^{2}}$下${\displaystyle {\mathcal {H}}=C^{1}([0,1]^{d})}$考慮される近隣の数がオーダーの場合${\displaystyle {\mathcal {O}}(n^{\frac {1}{d+4}})}$そして${\displaystyle {\mathcal {O}}(n^{\frac {1}{d+2}})}$それぞれ。^{[ 22 ]}