多項式回帰

統計学において、多項式回帰は回帰分析の一種であり、独立変数 xと従属変数 yの関係がxのn次多項式としてモデル化される。多項式回帰は、 xの値と対応するyの条件付き平均（E( y  | x )と表記）との間の非線形関係を当てはめる。多項式回帰はデータに非線形モデルを当てはめるが、統計的推定問題としては線形であり、回帰関数 E( y  |  x ) はデータから推定される未知のパラメータにおいて線形である。このため、多項式回帰は多重線型回帰の特殊なケースであると考えられる。^[1]

「ベースライン」変数の多項式展開から得られる説明変数（独立変数）は高次項として知られています。このような変数は分類設定でも使用されます。^[2]

多項式回帰モデルは、通常、最小二乗法を使用してフィッティングされます。最小二乗法は、ガウス・マルコフ定理の条件下で、係数の不偏推定値の分散を最小化します。最小二乗法は、1805年にルジャンドルによって、1809年にガウスによって発表されました。多項式回帰の最初の実験計画は、1815年のジェルゴンヌの論文に登場しました。^{[3] [4]} 20世紀には、多項式回帰は回帰分析の発展に重要な役割を果たし、設計と推論の問題に重点が置かれました。^[5] 最近では、多項式モデルの使用は他の方法によって補完されており、非多項式モデルはいくつかの種類の問題に対して利点があります。^[要出典]

回帰分析の目的は、従属変数yの期待値を独立変数（または独立変数のベクトル） xの値でモデル化することです。単回帰では、モデルは

${\displaystyle y=\beta _{0}+\beta _{1}x+\varepsilon ,\,}$

が使用されます。ここで、 ε はスカラー変数x を条件とする平均ゼロの観測されないランダム誤差です。このモデルでは、 xの値が 1 単位増加するごとに、 yの条件付き期待値はβ ₁単位増加します。

多くの状況では、このような線形関係は成り立たないかもしれません。たとえば、化学合成の収率を合成が行われる温度でモデル化する場合、温度が1単位上昇するごとに収率が向上することがわかるかもしれません。この場合、次の形式の2次モデルを提案するかもしれません。

${\displaystyle y=\beta _{0}+\beta _{1}x+\beta _{2}x^{2}+\varepsilon .\,}$

このモデルでは、温度がxからx + 1 単位まで上昇すると 、期待される収量は次のように変化します(これは、この式のx をx +1 に置き換え、 xの式をx +1の式から減算することで確認できます)。xの無限小変化に対して、 yへの影響はxに関する全導関数で与えられます。収量の変化がxに依存するという事実は、モデルが推定されるパラメータに関して線形であるにもかかわらず、 xとyの関係を非線形にするものです。${\displaystyle \beta _{1}+\beta _{2}(2x+1).}$${\displaystyle \beta _{1}+2\beta _{2}x.}$

一般的に、 yの期待値をn次の多項式としてモデル化することができ、一般的な多項式回帰モデルが得られる。

${\displaystyle y=\beta _{0}+\beta _{1}x+\beta _{2}x^{2}+\beta _{3}x^{3}+\cdots +\beta _{n}x^{n}+\varepsilon .\,}$

都合のよいことに、これらのモデルは推定の観点からはすべて線形です。これは、回帰関数が未知のパラメータβ ₀、β ₁ 、...に関して線形であるためです。したがって、最小二乗分析では、多項式回帰の計算および推論の問題は、多重回帰の手法を使用して完全に解決できます。これは、 x、  x ²、... を多重回帰モデル内の異なる独立変数として 扱うことによって行われます。

多項式回帰モデル

${\displaystyle y_{i}\,=\,\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+\cdots +\beta _{m}x_{i}^{m}+\varepsilon _{i}\ (i=1,2,\dots ,n)}$

は、計画行列、応答ベクトル、パラメータベクトル、およびランダム誤差ベクトルの形で行列形式で表現できます。 および のi番目の行には、i番目のデータサンプルのx値とy値が含まれます。次に、モデルは線形方程式のシステムとして記述できます。 ${\displaystyle \mathbf {X} }$${\displaystyle {\vec {y}}}$${\displaystyle {\vec {\beta }}}$${\displaystyle {\vec {\varepsilon }}}$${\displaystyle \mathbf {X} }$${\displaystyle {\vec {y}}}$

${\displaystyle {\begin{bmatrix}y_{1}\\y_{2}\\y_{3}\\\vdots \\y_{n}\end{bmatrix}}={\begin{bmatrix}1&x_{1}&x_{1}^{2}&\dots &x_{1}^{m}\\1&x_{2}&x_{2}^{2}&\dots &x_{2}^{m}\\1&x_{3}&x_{3}^{2}&\dots &x_{3}^{m}\\\vdots &\vdots &\vdots &\ddots &\vdots \\1&x_{n}&x_{n}^{2}&\dots &x_{n}^{m}\end{bmatrix}}{\begin{bmatrix}\beta _{0}\\\beta _{1}\\\beta _{2}\\\vdots \\\beta _{m}\end{bmatrix}}+{\begin{bmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\varepsilon _{3}\\\vdots \\\varepsilon _{n}\end{bmatrix}},}$

純粋な行列表記法を用いると、次のように表される。

${\displaystyle {\vec {y}}=\mathbf {X} {\vec {\beta }}+{\vec {\varepsilon }}.\,}$

推定された多項式回帰係数のベクトル（通常の最小二乗 推定を使用）は、

${\displaystyle {\widehat {\vec {\beta }}}=(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )^{-1}\;\mathbf {X} ^{\mathsf {T}}{\vec {y}},\,}$

m < nと仮定すると、これは行列が可逆であるための条件です。 はヴァンデルモンド行列なので、すべての値が異なる場合、可逆条件が満たされることが保証されます。 これは唯一の最小二乗解です。 ${\displaystyle \mathbf {X} }$${\displaystyle x_{i}}$

上記の行列方程式は多項式回帰の挙動をよく説明しています。しかし、xy点のペアのセットに対して多項式回帰を物理的に実装するには、より詳細な情報が必要です。以下の多項式係数の行列方程式は、回帰理論から導出なしで展開されており、簡単に実装できます。^{[6] [7] [8]}

${\displaystyle {\begin{bmatrix}\sum _{i=1}^{n}x_{i}^{0}&\sum _{i=1}^{n}x_{i}^{1}&\sum _{i=1}^{n}x_{i}^{2}&\cdots &\sum _{i=1}^{n}x_{i}^{m}\\\sum _{i=1}^{n}x_{i}^{1}&\sum _{i=1}^{n}x_{i}^{2}&\sum _{i=1}^{n}x_{i}^{3}&\cdots &\sum _{i=1}^{n}x_{i}^{m+1}\\\sum _{i=1}^{n}x_{i}^{2}&\sum _{i=1}^{n}x_{i}^{3}&\sum _{i=1}^{n}x_{i}^{4}&\cdots &\sum _{i=1}^{n}x_{i}^{m+2}\\\vdots &\vdots &\vdots &\ddots &\vdots \\\sum _{i=1}^{n}x_{i}^{m}&\sum _{i=1}^{n}x_{i}^{m+1}&\sum _{i=1}^{n}x_{i}^{m+2}&\dots &\sum _{i=1}^{n}x_{i}^{2m}\\\end{bmatrix}}{\begin{bmatrix}\beta _{0}\\\beta _{1}\\\beta _{2}\\\cdots \\\beta _{m}\\\end{bmatrix}}={\begin{bmatrix}\sum _{i=1}^{n}y_{i}x_{i}^{0}\\\sum _{i=1}^{n}y_{i}x_{i}^{1}\\\sum _{i=1}^{n}y_{i}x_{i}^{2}\\\cdots \\\sum _{i=1}^{n}y_{i}x_{i}^{m}\\\end{bmatrix}}}$

上記の線形方程式系を解いた後、回帰多項式は次のように構築されます。 ${\displaystyle \beta _{0}{\text{ through }}\beta _{m}}$

${\displaystyle {\begin{aligned}&\qquad {\widehat {y}}=\beta _{0}x^{0}+\beta _{1}x^{1}+\beta _{2}x^{2}+\cdots +\beta _{m}x^{m}\\&\qquad \\&\qquad {\text{Where:}}\\&\qquad n={\text{number of }}x_{i}y_{i}{\text{ variable pairs in the data}}\\&\qquad m={\text{order of the polynomial to be used for regression}}\\&\qquad \beta _{(0-m)}={\text{polynomial coefficient for each corresponding }}x^{(0-m)}\\&\qquad {\widehat {y}}={\text{estimated y variable based on the polynomial regression calculations.}}\end{aligned}}}$

多項式回帰は技術的には多重線形回帰の特殊なケースですが、近似多項式回帰モデルの解釈には多少異なる観点が必要です。多項式回帰近似における個々の係数の解釈は、基礎となる単項式が高度に相関している可能性があるため、難しいことがよくあります。たとえば、 x が区間 (0, 1) に均一に分布している場合、 xとx ^{2 の}相関は約 0.97 です。直交多項式を使用することで相関を減らすことができますが、一般的には近似回帰関数を全体として考慮する方が有益です。その後、点単位または同時信頼帯を使用して、回帰関数の推定値の不確実性を把握できます。

多項式回帰は、基底関数を使用して2 つの数量間の関数関係をモデル化する回帰分析の一例です。より具体的には、線型回帰を多項式基底に置き換えます(例)。多項式基底の欠点は、基底関数が「非局所的」であることです。つまり、特定の値x  =  x _0でのyの適合値は、 xがx ₀から遠いデータ値に大きく依存します。^{[9]現代の統計では、多項式基底関数は、}スプライン、ラジアル基底関数、ウェーブレットなどの新しい基底関数とともに使用されます。これらの基底関数ファミリーは、多くの種類のデータに対してより簡潔な適合を提供します。 ${\displaystyle x\in \mathbb {R} ^{d_{x}}}$${\displaystyle \varphi (x)\in \mathbb {R} ^{d_{\varphi }}}$${\displaystyle [1,x]{\mathbin {\stackrel {\varphi }{\rightarrow }}}[1,x,x^{2},\ldots ,x^{d}]}$

多項式回帰の目的は、独立変数と従属変数（厳密には、独立変数と従属変数の条件付き平均）間の非線形関係をモデル化することです。これは、非線形回帰関係を捉えることを目的とするノンパラメトリック回帰の目的に似ています。したがって、平滑化などのノンパラメトリック回帰アプローチは、多項式回帰の有用な代替手段となり得ます。これらの方法の中には、古典的な多項式回帰の局所的な形式を利用するものもあります。^[10] 従来の多項式回帰の利点は、多重回帰の推論フレームワークを使用できることです（これは、スプラインなどの他の基底関数ファミリーを使用する場合にも当てはまります）。

最後の選択肢は、多項式カーネルを使用したサポートベクター回帰などのカーネル化モデルを使用することです。

残差が不等分散である場合、加重最小二乗推定量を使用してそれを考慮することができます。^[11]

• 曲線フィッティング
• 直線回帰
• 局所多項式回帰
• 多項式と有理関数のモデリング
• 多項式補間
• 応答曲面法
• スムージングスプライン

• Microsoft Excelは、XY散布図上のデータポイントにトレンドラインを当てはめる際に多項式回帰を利用します。^[12]

• カーブフィッティング、PhETインタラクティブシミュレーション、コロラド大学ボルダー校