関数回帰

スカラー応答を持つ関数線形モデルは、スカラー共変量を置き換えることによって得られます。${\displaystyle X}$係数ベクトル${\displaystyle \beta }$モデル（1）では、中心化された関数共変量によって${\displaystyle X^{c}(\cdot )=X(\cdot )-\mathbb {E} (X(\cdot ))}$係数関数${\displaystyle \beta =\beta (\cdot )}$ドメイン付き$\displaystyle {\mathcal {T}}}$それぞれ、ユークリッド空間の内積をヒルベルト空間の内積に置き換える。$\displaystyle L^{2}}$、

どこ${\displaystyle \langle \cdot ,\cdot \rangle }$ここで、は内積を表す。$\displaystyle L^{2}}$推定のアプローチの一つとして$\displaystyle \beta _{0}}$そして${\displaystyle \beta (\cdot )}$中心化された共変量を拡張する${\displaystyle X^{c}(\cdot )}$係数関数${\displaystyle \beta (\cdot )}$同じ関数基底、例えばBスプライン基底やカルーネン・レーヴェ展開で使用される固有基底において。${\displaystyle \{\phi _{k}\}_{k=1}^{\infty }}$は正規直交基底である$\displaystyle L^{2}}$拡大中${\displaystyle X^{c}}$そして${\displaystyle \beta }$この前提に基づき、${\displaystyle X^{c}(\cdot )=\sum _{k=1}^{\infty }x_{k}\phi _{k}(\cdot )}$、${\displaystyle \beta (\cdot )=\sum _{k=1}^{\infty }\beta _{k}\phi _{k}(\cdot )}$、モデル（2）は次のようになる $${\displaystyle Y=\beta _{0}+\sum _{k=1}^{\infty }\beta _{k}x_{k}+\varepsilon .}$$ 実装には正則化が必要であり、切り捨てによって行うことができる。${\displaystyle L^{2}}$罰則または${\displaystyle L^{1}}$ペナルティ。^{[ 1 ]}さらに、再生核ヒルベルト空間（RKHS）アプローチも推定に使用できます。${\displaystyle \beta _{0}}$そして${\displaystyle \beta (\cdot )}$モデル（2）^{[ 2 ]}

複数の関数的およびスカラー共変量を追加することで、モデル（2）は次のように拡張できます。

どこ${\displaystyle Z_{1},\ldots ,Z_{q}}$はスカラー共変量であり、${\displaystyle Z_{1}=1}$、${\displaystyle \alpha _{1},\ldots ,\alpha _{q}}$は回帰係数です${\displaystyle Z_{1},\ldots ,Z_{q}}$、 それぞれ、${\displaystyle X_{j}^{c}}$は中心化された関数共変量であり、${\displaystyle X_{j}^{c}(\cdot )=X_{j}(\cdot )-\mathbb {E} (X_{j}(\cdot ))}$、${\displaystyle \beta _{j}}$回帰係数関数は${\displaystyle X_{j}^{c}(\cdot )}$、 そして${\displaystyle {\mathcal {T}}_{j}}$は、${\displaystyle X_{j}}$そして${\displaystyle \beta _{j}}$、 のために${\displaystyle j=1,\ldots ,p}$しかし、パラメトリック成分のため${\displaystyle \alpha }$この場合、モデル（ 2 ）の推定方法は使用できず^{[ 3 ]} 、モデル（ 3）の代替推定方法が利用可能です^{[ 4 ] [ 5 ] 。}

機能的応答の場合${\displaystyle Y(\cdot )}$ドメイン付き${\displaystyle {\mathcal {T}}}$そして機能的な共変量${\displaystyle X(\cdot )}$ドメイン付き${\displaystyle {\mathcal {S}}}$2 つの FLM が回帰${\displaystyle Y(\cdot )}$の上${\displaystyle X(\cdot )}$検討されてきた。^{[ 3 ] [ 6 ]}これらの2つのモデルのうちの1つは、次の形式である。

どこ${\displaystyle X^{c}(\cdot )=X(\cdot )-\mathbb {E} (X(\cdot ))}$は依然として中心化された関数共変量であり、${\displaystyle \beta _{0}(\cdot )}$そして${\displaystyle \beta (\cdot ,\cdot )}$は係数関数であり、${\displaystyle \varepsilon (\cdot )}$通常は、平均ゼロで有限の分散を持つランダム過程であると仮定されます。この場合、任意の時点で${\displaystyle t\in {\mathcal {T}}}$、その値${\displaystyle Y}$つまり、${\displaystyle Y(t)}$は、全体の軌跡に依存します${\displaystyle X}$モデル（4）は、任意の時点において${\displaystyle t}$は、ユークリッド空間の内積を に置き換えた多変量線形回帰の拡張である。${\displaystyle L^{2}}$多変量線形回帰に着想を得た推定方程式は $${\displaystyle r_{XY}=R_{XX}\beta ,{\text{ for }}\beta \in L^{2}({\mathcal {S}}\times {\mathcal {S}}),}$$ どこ${\displaystyle r_{XY}(s,t)={\text{cov}}(X(s),Y(t))}$、${\displaystyle R_{XX}:L^{2}({\mathcal {S}}\times {\mathcal {S}})\rightarrow L^{2}({\mathcal {S}}\times {\mathcal {T}})}$は次のように定義される。${\displaystyle (R_{XX}\beta )(s,t)=\int _{\mathcal {S}}r_{XX}(s,w)\beta (w,t)dw}$と${\displaystyle r_{XX}(s,w)={\text{cov}}(X(s),X(w))}$のために${\displaystyle s,w\in {\mathcal {S}}}$^{[ 3 ]}正則化が必要であり、切り捨てによって行うことができる。${\displaystyle L^{2}}$罰則または${\displaystyle L^{1}}$ペナルティ。^{[ 1 ]}モデル( 4 )のさまざまな推定方法が利用可能です。^{[ 7 ] [ 8 ]} の場合${\displaystyle X}$そして${\displaystyle Y}$同時に観測される、すなわち、${\displaystyle {\mathcal {S}}={\mathcal {T}}}$[ ^{9 ]}現在の値^が${\displaystyle Y}$歴史に依存する${\displaystyle X}$つまり、${\displaystyle \beta (s,t)=0}$のために${\displaystyle s>t}$モデル（ 4 ）において。^{[ 3 ] [ 10 ]}履歴関数線形モデルのより単純なバージョンは、関数同時モデル（下記参照）です。 複数の関数共変量を追加することで、モデル（4）は次のように拡張できます。

どこで${\displaystyle j=1,\ldots ,p}$、${\displaystyle X_{j}^{c}(\cdot )=X_{j}(\cdot )-\mathbb {E} (X_{j}(\cdot ))}$は、ドメインを持つ中心化された関数共変量です。${\displaystyle {\mathcal {S}}_{j}}$、 そして${\displaystyle \beta _{j}(\cdot ,\cdot )}$はそれぞれ、同じ定義域を持つ対応する係数関数である。^{[ 3 ]}特に、${\displaystyle X_{j}(\cdot )}$定数関数として、モデル（ 5） の特殊なケースが得られます。$${\displaystyle Y(t)=\sum _{j=1}^{p}X_{j}\beta _{j}(t)+\varepsilon (t),\ {\text{for}}\ t\in {\mathcal {T}},}$$ これは、機能的応答とスカラー共変量を持つFLMです。

関数多項式モデルは、スカラー応答を持つ関数線形モデル（FLM）の拡張であり、線形回帰を多項式回帰に拡張するのと同様です。スカラー応答の場合${\displaystyle Y}$そして機能的な共変量${\displaystyle X(\cdot )}$ドメイン付き${\displaystyle {\mathcal {T}}}$関数多項式モデルの最も単純な例は関数二次回帰である^{[ 14 ]}$${\displaystyle Y=\alpha +\int _{\mathcal {T}}\beta (t)X^{c}(t)\,dt+\int _{\mathcal {T}}\int _{\mathcal {T}}\gamma (s,t)X^{c}(s)X^{c}(t)\,ds\,dt+\varepsilon ,}$$ どこ${\displaystyle X^{c}(\cdot )=X(\cdot )-\mathbb {E} (X(\cdot ))}$は中心化された関数共変量であり、${\displaystyle \alpha }$はスカラー係数です。${\displaystyle \beta (\cdot )}$そして${\displaystyle \gamma (\cdot ,\cdot )}$は定義域を持つ係数関数です${\displaystyle {\mathcal {T}}}$そして${\displaystyle {\mathcal {T}}\times {\mathcal {T}}}$それぞれ、${\displaystyle \varepsilon }$は平均ゼロで有限分散のランダム誤差です。スカラー応答を持つ FLM との類推により、関数多項式モデルの推定は、中心化された共変量を展開することによって得られます。${\displaystyle X^{c}}$係数関数${\displaystyle \beta }$そして${\displaystyle \gamma }$正規直交基準で。^{[ 14 ]}

関数型多重インデックスモデルは次のように表される。 $${\displaystyle Y=g\left(\int _{\mathcal {T}}X^{c}(t)\beta _{1}(t)\,dt,\ldots ,\int _{\mathcal {T}}X^{c}(t)\beta _{p}(t)\,dt\right)+\varepsilon .}$$ 取${\displaystyle p=1}$機能的な単一インデックスモデルが得られます。ただし、${\displaystyle p>1}$このモデルは次元の呪いのために問題がある。${\displaystyle p>1}$また、サンプルサイズが比較的小さい場合、このモデルで得られる推定値はしばしば大きな分散を持つ。^{[ 15 ]}代替案${\displaystyle p}$-コンポーネント機能多重指標モデルは次のように表現できます。 $${\displaystyle Y=g_{1}\left(\int _{\mathcal {T}}X^{c}(t)\beta _{1}(t)\,dt\right)+\cdots +g_{p}\left(\int _{\mathcal {T}}X^{c}(t)\beta _{p}(t)\,dt\right)+\varepsilon .}$$ 関数的な単一および複数の指標モデルの推定方法が利用可能です。^{[ 15 ] [ 16 ]}

関数共変量の展開が与えられた場合${\displaystyle X}$ドメイン付き${\displaystyle {\mathcal {T}}}$正規直交基底において${\displaystyle \{\phi _{k}\}_{k=1}^{\infty }}$:${\displaystyle X(t)=\sum _{k=1}^{\infty }x_{k}\phi _{k}(t)}$モデル（ 2 ）に示すスカラー応答を持つ関数線形モデルは次のように記述できます 。$${\displaystyle \mathbb {E} (Y|X)=\mathbb {E} (Y)+\sum _{k=1}^{\infty }\beta _{k}x_{k}.}$$ FAM の一形式は、線形関数を置き換えることによって得られます。${\displaystyle x_{k}}$つまり、${\displaystyle \beta _{k}x_{k}}$一般的な滑らかな関数によって${\displaystyle f_{k}}$、 $${\displaystyle \mathbb {E} (Y|X)=\mathbb {E} (Y)+\sum _{k=1}^{\infty }f_{k}(x_{k}),}$$ どこ${\displaystyle f_{k}}$満たす${\displaystyle \mathbb {E} (f_{k}(x_{k}))=0}$のために${\displaystyle k\in \mathbb {N} }$[ ^{3 ] [ 17 ] FAMの別の形式は、}時間加算モデルのシーケンスで構成されています。 $${\displaystyle \mathbb {E} (Y|X(t_{1}),\ldots ,X(t_{p}))=\sum _{j=1}^{p}f_{j}(X(t_{j})),}$$ どこ${\displaystyle \{t_{1},\ldots ,t_{p}\}}$は密なグリッドです${\displaystyle {\mathcal {T}}}$サイズが大きくなるにつれて${\displaystyle p\in \mathbb {N} }$、 そして${\displaystyle f_{j}(x)=g(t_{j},x)}$と${\displaystyle g}$滑らかな関数、${\displaystyle j=1,\ldots ,p}$^{[ 3 ] [ 18 ]}