加重最小二乗法

加重最小二乗法（WLS ）は、加重線形回帰法としても知られ、^{[1] [2]}通常の最小二乗法と線形回帰法を一般化したもので、観測値の不等分散（異分散性）の知識が回帰に組み込まれています。WLSは、誤差の 共分散行列の非対角要素がすべてヌルである場合の一般化最小二乗法の特殊化でもあります。

データ ポイントへのモデルの適合度は、従属変数の測定値とモデルによって予測された値との差として定義される残差によって測定されます。 ${\displaystyle r_{i}}$${\displaystyle y_{i}}$${\displaystyle f(x_{i},{\boldsymbol {\beta }})}$$${\displaystyle r_{i}({\boldsymbol {\beta }})=y_{i}-f(x_{i},{\boldsymbol {\beta }}).}$$

誤差が無相関で等分散である場合、関数は で最小化され、 となります。 $${\displaystyle S({\boldsymbol {\beta }})=\sum _{i}r_{i}({\boldsymbol {\beta }})^{2},}$$${\displaystyle {\boldsymbol {\hat {\beta }}}}$${\displaystyle {\frac {\partial S}{\partial \beta _{j}}}({\hat {\boldsymbol {\beta }}})=0}$

ガウス・マルコフ定理によれば、これが成り立つ場合、は最良線形不偏推定量（BLUE ）となる。しかし、測定値が無相関であっても不確実性が異なる場合は、修正されたアプローチが採用される可能性がある。エイトケンは、重み付けされた二乗残差の合計が最小化されるとき、各重みが測定値の分散の逆数に等しい場合、は BLUEとなることを示した。${\displaystyle {\hat {\boldsymbol {\beta }}}}$${\displaystyle {\hat {\boldsymbol {\beta }}}}$$${\displaystyle {\begin{aligned}S&=\sum _{i=1}^{n}W_{ii}{r_{i}}^{2},&W_{ii}&={\frac {1}{{\sigma _{i}}^{2}}}\end{aligned}}}$$

この平方和の勾配方程式は $${\displaystyle -2\sum _{i}W_{ii}{\frac {\partial f(x_{i},{\boldsymbol {\beta }})}{\partial \beta _{j}}}r_{i}=0,\quad j=1,\ldots ,m}$$

これは線形最小二乗法では修正正規方程式を与えます。 上記の 行列は線形最小二乗法の対応する説明で定義されているとおりです。 $${\displaystyle \sum _{i=1}^{n}\sum _{k=1}^{m}X_{ij}W_{ii}X_{ik}{\hat {\beta }}_{k}=\sum _{i=1}^{n}X_{ij}W_{ii}y_{i},\quad j=1,\ldots ,m\,.}$$${\displaystyle X}$

観測誤差が無相関で重み行列W = Ω −1^が対角行列である場合、これらは次のように表される。 $${\displaystyle \mathbf {\left(X^{\textsf {T}}WX\right){\hat {\boldsymbol {\beta }}}=X^{\textsf {T}}Wy} .}$$

誤差が相関している場合、重み行列が観測値の 分散共分散行列の逆行列に等しいと、結果として得られる推定値はBLUEになります。

誤差が相関していない場合は、計算を簡略化して重み行列を として因数分解すると便利です。すると、正規方程式は通常の最小二乗法と同じ形式で記述できます。 ${\displaystyle w_{ii}={\sqrt {W_{ii}}}}$$${\displaystyle \mathbf {\left(X'^{\textsf {T}}X'\right){\hat {\boldsymbol {\beta }}}=X'^{\textsf {T}}y'} \,}$$

ここで、次のスケールされた行列とベクトルを定義します。 $${\displaystyle {\begin{aligned}\mathbf {X'} &=\operatorname {diag} \left(\mathbf {w} \right)\mathbf {X} ,\\\mathbf {y'} &=\operatorname {diag} \left(\mathbf {w} \right)\mathbf {y} =\mathbf {y} \oslash \mathbf {\sigma } .\end{aligned}}}$$

これは白色化変換の一種であり、最後の式にはエントリごとの除算が含まれます。

非線形最小二乗システムの場合、同様の議論から、正規方程式は次のように修正する必要があることがわかります。 $${\displaystyle \mathbf {\left(J^{\textsf {T}}WJ\right)\,{\boldsymbol {\Delta }}\beta =J^{\textsf {T}}W\,{\boldsymbol {\Delta }}y} .\,}$$

経験的テストの場合、適切なW は確実にはわからないため、推定する必要があることに注意してください。このために、実行可能な一般化最小二乗法(FGLS) 技術を使用できます。この場合、対角共分散行列に特化されているため、実行可能な加重最小二乗法ソリューションが生成されます。

観測値の不確実性が外部情報源から分からない場合は、与えられた観測値から重みを推定することができます。これは、例えば外れ値を識別するのに役立ちます。外れ値がデータセットから除去された後、重みは1にリセットされるべきです。^[3]

場合によっては、観測値に重みが付けられることがあります。たとえば、観測値の信頼性が等しくない場合があります。この場合、重み付き二乗和を最小化することができます。 ここで、 w _i > 0 はi番目の観測値の重みであり、Wはそのような重みの対角行列です。 $${\displaystyle {\underset {\boldsymbol {\beta }}{\operatorname {arg\ min} }}\,\sum _{i=1}^{n}w_{i}\left|y_{i}-\sum _{j=1}^{m}X_{ij}\beta _{j}\right|^{2}={\underset {\boldsymbol {\beta }}{\operatorname {arg\ min} }}\,\left\|W^{\frac {1}{2}}\left(\mathbf {y} -X{\boldsymbol {\beta }}\right)\right\|^{2}.}$$

理想的には、重みは測定の分散の逆数に等しくなるはずです。（これは観測値が無相関であることを意味します。観測値が相関している場合、式が適用されます。この場合、重み行列は理想的には観測値の分散共分散行列の逆数に等しくなります）。 ^[3] 正規方程式は次のようになります。 ${\textstyle S=\sum _{k}\sum _{j}r_{k}W_{kj}r_{j}\,}$$${\displaystyle \left(X^{\textsf {T}}WX\right){\hat {\boldsymbol {\beta }}}=X^{\textsf {T}}W\mathbf {y} .}$$

この方法は、反復的に再重み付けされた最小二乗法で使用されます。

推定パラメータ値は観測値の線形結合である $${\displaystyle {\hat {\boldsymbol {\beta }}}=(X^{\textsf {T}}WX)^{-1}X^{\textsf {T}}W\mathbf {y} .}$$

したがって、パラメータ推定値の推定分散共分散行列の式は、観測値の誤差からの誤差伝播によって得られる。観測値の分散共分散行列をM、推定パラメータの分散共分散行列をM ^βとすると、 $${\displaystyle M^{\beta }=\left(X^{\textsf {T}}WX\right)^{-1}X^{\textsf {T}}WMW^{\textsf {T}}X\left(X^{\textsf {T}}W^{\textsf {T}}X\right)^{-1}.}$$

W = M ⁻¹のとき、これは次のように単純化される。 $${\displaystyle M^{\beta }=\left(X^{\textsf {T}}WX\right)^{-1}.}$$

単位重み（W = I、単位行列）が使用される場合、実験誤差は相関がなく、すべて等しいことが暗黙的に示されます。M = σ ² I、ここでσ ^{2 は}観測値の事前分散です。いずれの場合も、σ 2^は縮小カイ2乗で近似されます。 ${\displaystyle \chi _{\nu }^{2}}$$${\displaystyle {\begin{aligned}M^{\beta }&=\chi _{\nu }^{2}\left(X^{\textsf {T}}WX\right)^{-1},\\\chi _{\nu }^{2}&=S/\nu ,\end{aligned}}}$$

ここで、Sは重み付き目的関数の最小値です。 $${\displaystyle S=r^{\textsf {T}}Wr=\left\|W^{\frac {1}{2}}\left(\mathbf {y} -X{\hat {\boldsymbol {\beta }}}\right)\right\|^{2}.}$$

分母は自由度の数です。相関のある観測値の場合の一般化については、 有効自由度を参照してください。${\displaystyle \nu =n-m}$

いずれの場合も、パラメータ推定値の分散は で与えられ、パラメータ推定値と間の共分散は で与えられます。標準偏差は分散 の平方根であり、相関係数は で与えられます。これらの誤差推定値は、測定におけるランダム誤差のみを反映しています。パラメータの真の不確実性は、定義上定量化できない系統的誤差の存在により大きくなります。観測値は相関がない場合でも、パラメータは通常 で相関していることに注意してください。 ${\displaystyle {\hat {\beta }}_{i}}$${\displaystyle M_{ii}^{\beta }}$${\displaystyle {\hat {\beta }}_{i}}$${\displaystyle {\hat {\beta }}_{j}}$${\displaystyle M_{ij}^{\beta }}$${\displaystyle \sigma _{i}={\sqrt {M_{ii}^{\beta }}}}$${\displaystyle \rho _{ij}=M_{ij}^{\beta }/(\sigma _{i}\sigma _{j})}$

具体的な証拠がないために中心極限定理（正規分布#発生と応用を参照）に頼って、各観測値の誤差は平均 0 で標準偏差 の正規分布に属すると仮定されることがよくあります。この仮定の下では、推定標準誤差（ここでは ）に関して、単一のスカラーパラメータ推定値に対して次の確率を導くことができます。 ${\displaystyle \sigma }$${\displaystyle se_{\beta }}$

• 68% 区間が真の係数値を包含している${\displaystyle {\hat {\beta }}\pm se_{\beta }}$
• 95%の確率で、区間は真の係数値を含む${\displaystyle {\hat {\beta }}\pm 2se_{\beta }}$
• 99%の確率で、区間は真の係数値を含む${\displaystyle {\hat {\beta }}\pm 2.5se_{\beta }}$

n  >>  mの場合にはこの仮定は不合理ではない。実験誤差が正規分布している場合、パラメータは自由度n  −  mのスチューデントt分布に属する 。n ≫  mの場合、スチューデントt分布は正規分布に近似する。ただし、これらの信頼限界は系統的誤差を考慮に入れられないことに注意する。また、パラメータ誤差は標本誤差の影響を受けるため、1つの有効数字のみで引用する必要がある。^[4]

観測数が比較的少ない場合、実験誤差の分布に関する仮定に関係なく、チェビシェフの不等式を確率の上限として使用できます。パラメータが期待値から 1、2、または 3 標準偏差以上離れる最大確率は、それぞれ 100%、25%、11% です。

残差は 観測値と関連しており、 $${\displaystyle \mathbf {\hat {r}} =\mathbf {y} -X{\hat {\boldsymbol {\beta }}}=\mathbf {y} -H\mathbf {y} =(I-H)\mathbf {y} ,}$$

ここで、Hはハット行列と呼ばれるべき等行列です。 $${\displaystyle H=X\left(X^{\textsf {T}}WX\right)^{-1}X^{\textsf {T}}W,}$$

Iは単位行列である。残差の分散共分散行列M ^rは次のように与えられる。 $${\displaystyle M^{\mathbf {r} }=(I-H)M(I-H)^{\textsf {T}}.}$$

したがって、観測値が相関していなくても、残差は相関しています。

いつ、 ${\displaystyle W=M^{-1}}$$${\displaystyle M^{\mathbf {r} }=(I-H)M.}$$

モデル関数に定数項が含まれている場合、加重残差値の合計はゼロになります。残差の式にX ^T W ^Tを左乗算します。 $${\displaystyle X^{\textsf {T}}W{\hat {\mathbf {r} }}=X^{\textsf {T}}W\mathbf {y} -X^{\textsf {T}}WX{\hat {\boldsymbol {\beta }}}=X^{\textsf {T}}W\mathbf {y} -\left(X^{\rm {T}}WX\right)\left(X^{\textsf {T}}WX\right)^{-1}X^{\textsf {T}}W\mathbf {y} =\mathbf {0} .}$$

例えば、モデルの最初の項が定数で、すべてのiに対してとなるとします。その場合、 ${\displaystyle X_{i1}=1}$$${\displaystyle \sum _{i}^{m}X_{i1}W_{i}{\hat {r}}_{i}=\sum _{i}^{m}W_{i}{\hat {r}}_{i}=0.}$$

したがって、上記の動機付けの例では、残差値の合計がゼロに等しいという事実は偶然ではなく、モデル内に定数項 α が存在する結果です。

実験誤差が正規分布に従う場合、残差と観測値の間には線形関係があるため、残差も正規分布に従うはずですが、^[5]観測値はすべての可能な観測値の母集団のサンプルにすぎないため、残差はスチューデントのt分布に属するはずです。スチューデント化残差は、特定の残差が過度に大きいと思われる場合に、 外れ値に対する統計的検定を行うのに役立ちます。

• 反復的に再重み付けされた最小二乗法
• 不均一分散性整合標準誤差
• 加重平均