ノンパラメトリック回帰

ノンパラメトリック回帰は、予測変数があらかじめ定められた形式をとらず、データから得られる情報に基づいて完全に構築される回帰分析の一種です。つまり、予測変数と従属変数の関係について、パラメトリックな方程式は仮定されません。モデル構造とパラメータ推定値の両方をデータから得る必要があるため、パラメトリックモデルと同等の不確実性を持つノンパラメトリックモデルを構築するには、より大きなサンプルサイズが必要となります。

ノンパラメトリック回帰は、確率変数が与えられた場合、次の関係を仮定します。${\displaystyle X}$そして${\displaystyle Y}$:

${\displaystyle \mathbb {E} [Y\mid X=x]=m(x),}$

どこ${\displaystyle m(x)}$は何らかの決定論的関数である。線形回帰は、非パラメトリック回帰の限定されたケースであり、${\displaystyle m(x)}$はデータの線形関数であると仮定される。場合によっては、加法性ノイズという、やや強い仮定が用いられることもある。

${\displaystyle Y=m(X)+U,}$

ランダム変数${\displaystyle U}$は「ノイズ項」であり、平均は0である。${\displaystyle m}$特定のパラメトリック関数族に属するため、不偏推定値を得ることは不可能です。${\displaystyle m}$しかし、ほとんどの推定量は適切な条件下では一貫性を示す。

これは、回帰分析におけるノンパラメトリックモデルの網羅的ではないリストです。

• 最近傍平滑化（ k近傍法も参照）
• 回帰木
• カーネル回帰
• 局所回帰
• 多変量適応回帰スプライン
• スムージングスプライン
• ニューラルネットワーク^{[ 1 ]}

• ラッソ（統計）
• 局所回帰
• ノンパラメトリック統計
• セミパラメトリック回帰
• 等張回帰
• 多変量適応回帰スプライン

• Bowman, AW; Azzalini, A. (1997).データ分析のための応用平滑化手法. オックスフォード: Clarendon Press. ISBN 0-19-852396-3。
• Fan, J.; Gijbels, I. (1996).局所多項式モデリングとその応用. ボカラトン: Chapman and Hall. ISBN 0-412-98321-4。
• ヘンダーソン、DJ; パーメーター、CF (2015).応用ノンパラメトリック計量経済学. ニューヨーク: ケンブリッジ大学出版局. ISBN 978-1-107-01025-3。
• Li, Q.; Racine, J. (2007).ノンパラメトリック計量経済学：理論と実践. プリンストン：プリンストン大学出版局. ISBN 978-0-691-12161-1。
• Pagan, A. ; Ullah, A. (1999).ノンパラメトリック計量経済学. ニューヨーク: Cambridge University Press. ISBN 0-521-35564-8。

• HyperNicheは、ノンパラメトリック乗法回帰のためのソフトウェアです。
• スケール適応型ノンパラメトリック回帰（Matlabソフトウェアを使用）。