リッジ回帰

リッジ回帰は、独立変数の相関が高いシナリオで多重回帰モデルの係数を推定する方法です。 ^[1]計量経済学、化学、工学など多くの分野で使用されています。^[2]アンドレイ・ティホノフにちなんでティホノフ正則化とも呼ばれるリッジ回帰は、不適切設定問題の正則化手法です。^[a]特に、多数のパラメータを持つモデルでよく発生する、線形回帰の多重共線性の問題を軽減するのに役立ちます。 ^{[3]一般に、この方法は、許容できる量の}バイアスと引き換えに、パラメータ推定の問題の効率を向上させます（バイアスと分散のトレードオフを参照）。^[4]

この理論は、1970年にホーレルとケナードがテクノメトリクスの論文「リッジ回帰：非直交問題の偏りのある推定」と「リッジ回帰：非直交問題への応用」で初めて紹介されました。 ^{[5] [6] [1]}

リッジ回帰は、線形回帰モデルに多重共線性（相関の高い）独立変数がある場合に、最小二乗推定値の不正確さを解消するために、リッジ回帰推定値（RR）を作成することで開発されました。これにより、分散と平均二乗推定値が以前に導出された最小二乗推定値よりも小さくなることが多いため、より正確なリッジパラメータ推定値が得られます。^{[7] [2]}

最も単純なケースでは、対角要素に正の要素を追加することで、特異に近い モーメント行列の問題が緩和され、それによって 条件数が減少します。通常の最小二乗推定量と同様に、単純なリッジ推定量は次のように定義されます。 ここで、は回帰係数、は計画行列、は単位行列、リッジパラメータはモーメント行列の対角要素をシフトする定数として機能します。^{[8]この推定量は、}制約に従う最小二乗問題の解であることが示され、これはラグランジアンとして表現できます。 これは、が制約のラグランジュ乗数に他ならないこと を示しています。 ^[9]通常、はヒューリスティックな基準に従って選択されるため、制約は正確には満たされません。特に、制約が非拘束 である の場合、リッジ推定量は通常の最小二乗に簡約されます。以下では、より一般的な Tikhonov 正則化のアプローチについて説明します。 ${\displaystyle \mathbf {X} ^{\mathsf {T}}\mathbf {X} }$$${\displaystyle {\hat {\beta }}_{R}=\left(\mathbf {X} ^{\mathsf {T}}\mathbf {X} +\lambda \mathbf {I} \right)^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {y} }$$${\displaystyle \mathbf {y} }$${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {I} }$${\displaystyle \lambda \geq 0}$ ${\displaystyle \beta ^{\mathsf {T}}\beta =c}$$${\displaystyle \min _{\beta }\,\left(\mathbf {y} -\mathbf {X} \beta \right)^{\mathsf {T}}\left(\mathbf {y} -\mathbf {X} \beta \right)+\lambda \left(\beta ^{\mathsf {T}}\beta -c\right)}$$${\displaystyle \lambda }$${\displaystyle \lambda }$${\displaystyle \lambda =0}$

ティホノフ正則化は、さまざまな文脈で独立に発明されました。アンドレイ・ティホノフ^{[10] [11] [ 12] [ 13] [14]}とデイビッド・L・フィリップス^[15]の著作における積分方程式への応用を通じて広く知られるようになりました。一部の著者は、ティホノフ・フィリップス正則化という用語を使用しています。有限次元のケースは、統計的アプローチを採用したアーサー・E・ホエル^{[16]と、この方法を}ウィーナー・コルモゴロフ (クリギング)フィルターとして解釈したマヌス・フォスターによって説明されました。 ^[17]ホエルに倣って、統計文献ではリッジ回帰^[18]として知られており、リッジ分析にちなんで名付けられています (「リッジ」は、制約された最大値からのパスを指します)。^[19]

既知の実数行列 とベクトルに対して、と が異なるサイズであったり 非正方形であったりする 可能性がある ベクトル を見つけたいとします。${\displaystyle A}$${\displaystyle \mathbf {b} }$${\displaystyle \mathbf {x} }$$${\displaystyle A\mathbf {x} =\mathbf {b} ,}$$${\displaystyle \mathbf {x} }$${\displaystyle \mathbf {b} }$${\displaystyle A}$

標準的なアプローチは、通常の最小二乗線形回帰です。^{[説明が必要]}しかし、 が方程式を満たさないか、複数の が方程式を満たしている場合、つまり解が一意でない場合、問題は不適切であると言われます。このような場合、通常の最小二乗推定では、過剰決定、または多くの場合、不十分な方程式系になります。ほとんどの現実世界の現象は、がにマッピングされる順方向にローパスフィルタ^{[説明が必要]}の効果があります。したがって、逆問題を解く際に、逆マッピングは、ノイズを増幅するという望ましくない傾向を持つハイパスフィルタとして機能します（固有値/特異値は、順マッピングで最小だったところを逆マッピングで最大になります）。さらに、通常の最小二乗は、のヌル空間にある の再構築バージョンのすべての要素を暗黙的にゼロにし、モデルを の事前分布として使用できるようにします。通常の最小二乗法は、残差の二乗和を最小化することを目指します。これは、次のように簡潔に記述できます。 ここで、はユークリッドノルムです。 ${\displaystyle \mathbf {x} }$${\displaystyle \mathbf {x} }$${\displaystyle A}$${\displaystyle \mathbf {x} }$${\displaystyle \mathbf {b} }$${\displaystyle \mathbf {x} }$${\displaystyle A}$${\displaystyle \mathbf {x} }$$${\displaystyle \left\|A\mathbf {x} -\mathbf {b} \right\|_{2}^{2},}$$${\displaystyle \|\cdot \|_{2}}$

望ましい特性を持つ特定の解を優先するために、この最小化に正則化項を含めることができます 。 これは、適切に選ばれたティホノフ行列に対してです。多くの場合、この行列は単位行列( )のスカラー倍として選ばれ、より小さいノルムを持つ解が優先されます。これはL ₂正則化として知られています。^[20]その他の場合では、基になるベクトルがほぼ連続していると考えられる場合、高域通過演算子 (たとえば、差分演算子または重み付きフーリエ演算子) を使用して滑らかさを強制することができます。この正則化により問題の条件が改善され、直接数値解法が可能になります。 で表される明示的な解は、次のように与えられます 。 正則化の効果は、行列 のスケールによって変化します。これは、 ( A ^T A ) ⁻¹が存在するという条件で、正則化されていない最小二乗解に簡約されます。複素行列の場合、通常どおり転置をエルミート行列に置き換える必要があることに注意してください。 $${\displaystyle \left\|A\mathbf {x} -\mathbf {b} \right\|_{2}^{2}+\left\|\Gamma \mathbf {x} \right\|_{2}^{2}}$$ ${\displaystyle \Gamma }$${\displaystyle \Gamma =\alpha I}$${\displaystyle {\hat {x}}}$$${\displaystyle {\hat {x}}=\left(A^{\mathsf {T}}A+\Gamma ^{\mathsf {T}}\Gamma \right)^{-1}A^{\mathsf {T}}\mathbf {b} .}$$${\displaystyle \Gamma }$${\displaystyle \Gamma =0}$ ${\displaystyle A}$${\displaystyle A^{\mathsf {T}}}$ ${\displaystyle A^{\mathsf {H}}}$

L2正則化は線形回帰以外にもロジスティック回帰_やサポートベクターマシンによる分類^[21]や行列分解^{[22]など多くの場面で使用されています。}

チホノフ正則化は、最適化問題における目的関数に 2 次項を追加するだけなので、正則化されていない最適化が行われた後にこれを行うことができます。たとえば、上の問題でという解が得られる場合、 の存在下での解は次のように表すことができます。 で、 「正則化行列」 を使用します。 ${\displaystyle \Gamma =0}$${\displaystyle {\hat {x}}_{0}}$${\displaystyle \Gamma \neq 0}$$${\displaystyle {\hat {x}}=B{\hat {x}}_{0},}$$${\displaystyle B=\left(A^{\mathsf {T}}A+\Gamma ^{\mathsf {T}}\Gamma \right)^{-1}A^{\mathsf {T}}A}$

パラメータ適合に推定パラメータ不確実性の共分散行列が伴う場合、正規化行列はとなり 、正規化された結果は新しい共分散を持つ。 ${\displaystyle V_{0}}$$${\displaystyle B=(V_{0}^{-1}+\Gamma ^{\mathsf {T}}\Gamma )^{-1}V_{0}^{-1},}$$$${\displaystyle V=BV_{0}B^{\mathsf {T}}.}$$

任意の尤度近似の文脈では、尤度関数の2次近似が有効である限り、これは有効です。つまり、正規化されていない結果からの摂動が小さい限り、共分散行列を使用して最適な適合点として提示された結果を正規化できます。基礎となる尤度関数の詳細な知識は必要ありません。^[23]

およびデータ誤差に対する一般的な多変量正規分布の場合、変数の変換を適用して、上の場合を縮小することができます。同様に、 を 最小化するように を求めることもできます。ここで、 は重み付きノルムの二乗を表します（マハラノビス距離と比較してください）。ベイズ解釈では、は の逆共分散行列、はの期待値、は の逆共分散行列です。ティホノフ行列は、行列の因数分解（たとえば、コレスキー分解）として与えられ、白色化フィルタと見なされます。 ${\displaystyle \mathbf {x} }$${\displaystyle \mathbf {x} }$$${\displaystyle \left\|A\mathbf {x} -\mathbf {b} \right\|_{P}^{2}+\left\|\mathbf {x} -\mathbf {x} _{0}\right\|_{Q}^{2},}$$${\displaystyle \left\|\mathbf {x} \right\|_{Q}^{2}}$${\displaystyle \mathbf {x} ^{\mathsf {T}}Q\mathbf {x} }$${\displaystyle P}$${\displaystyle \mathbf {b} }$${\displaystyle \mathbf {x} _{0}}$${\displaystyle \mathbf {x} }$${\displaystyle Q}$${\displaystyle \mathbf {x} }$${\displaystyle Q=\Gamma ^{\mathsf {T}}\Gamma }$

この一般化された問題には、 Q がヌル行列 でない 場合は次の式または同等の式を使用して明示的に記述できる 最適解があります。${\displaystyle \mathbf {x} ^{*}}$$${\displaystyle \mathbf {x} ^{*}=\left(A^{\mathsf {T}}PA+Q\right)^{-1}\left(A^{\mathsf {T}}P\mathbf {b} +Q\mathbf {x} _{0}\right),}$$$${\displaystyle \mathbf {x} ^{*}=\mathbf {x} _{0}+\left(A^{\mathsf {T}}PA+Q\right)^{-1}\left(A^{\mathsf {T}}P\left(\mathbf {b} -A\mathbf {x} _{0}\right)\right).}$$

状況によっては、ミハイル・ラヴレンチェフが提案したように、転置 の使用を避けることができる。^[24]例えば、が対称正定値、すなわち である場合、その逆関数 も であるため、これを使用して一般化ティホノフ正規化における 重み付きノルムの2乗を設定することができ、 を最小化する か、または等価的に定数項まで、 ${\displaystyle A^{\mathsf {T}}}$${\displaystyle A}$${\displaystyle A=A^{\mathsf {T}}>0}$${\displaystyle A^{-1}}$${\displaystyle \left\|\mathbf {x} \right\|_{P}^{2}=\mathbf {x} ^{\mathsf {T}}A^{-1}\mathbf {x} }$$${\displaystyle \left\|A\mathbf {x} -\mathbf {b} \right\|_{A^{-1}}^{2}+\left\|\mathbf {x} -\mathbf {x} _{0}\right\|_{Q}^{2}}$$$${\displaystyle \mathbf {x} ^{\mathsf {T}}\left(A+Q\right)\mathbf {x} -2\mathbf {x} ^{\mathsf {T}}\left(\mathbf {b} +Q\mathbf {x} _{0}\right).}$$

この最小化問題には、一般化ティホノフ問題の解に他ならない式を使って明示的に記述できる 最適解がある。${\displaystyle \mathbf {x} ^{*}}$$${\displaystyle \mathbf {x} ^{*}=\left(A+Q\right)^{-1}\left(\mathbf {b} +Q\mathbf {x} _{0}\right),}$$${\displaystyle A=A^{\mathsf {T}}=P^{-1}.}$

ラヴレンチェフ正則化は、適用可能な場合、元のティホノフ正則化よりも有利である。これは、ラヴレンチェフ行列は、ティホノフ行列と比較して、より条件付けが優れている、すなわち、条件数がより小さいためである。${\displaystyle A+Q}$${\displaystyle A^{\mathsf {T}}A+\Gamma ^{\mathsf {T}}\Gamma .}$

典型的には、離散線形悪条件問題は積分方程式の離散化から生じ、元の無限次元のコンテキストでティホノフ正則化を定式化することができます。上記では、 をヒルベルト空間上のコンパクト演算子として解釈でき、 およびをの領域と値域の要素として解釈できます。この場合、演算子は自己随伴の有界可逆演算子 です。${\displaystyle A}$${\displaystyle x}$${\displaystyle b}$${\displaystyle A}$${\displaystyle A^{*}A+\Gamma ^{\mathsf {T}}\Gamma }$

を用いると、この最小二乗解は、特異値分解を用いた特別な方法で解析することができる。 特異値 を用いた特異値分解が与えられると 、ティホノフ正規化解は と表すことができる 。ここで は対角値を持ち 、それ以外の 場所ではゼロである。これは、正規化問題の条件数 に対するティホノフパラメータの影響を示している。一般化されたケースでは、一般化特異値分解を用いて同様の表現を導くことができる。^[25]${\displaystyle \Gamma =\alpha I}$$${\displaystyle A=U\Sigma V^{\mathsf {T}}}$$${\displaystyle \sigma _{i}}$$${\displaystyle {\hat {x}}=VDU^{\mathsf {T}}b,}$$${\displaystyle D}$$${\displaystyle D_{ii}={\frac {\sigma _{i}}{\sigma _{i}^{2}+\alpha ^{2}}}}$$

最後に、これはウィーナーフィルタに関連します。 ここで、ウィーナー重みは であり、は のランクです。 $${\displaystyle {\hat {x}}=\sum _{i=1}^{q}f_{i}{\frac {u_{i}^{\mathsf {T}}b}{\sigma _{i}}}v_{i},}$$${\displaystyle f_{i}={\frac {\sigma _{i}^{2}}{\sigma _{i}^{2}+\alpha ^{2}}}}$${\displaystyle q}$${\displaystyle A}$

最適な正則化パラメータは通常は未知であり、実際の問題ではアドホックな方法で決定されることが多い。可能なアプローチは、以下に説明するベイズ解釈に依存する。他のアプローチには、矛盾原理、交差検証、L曲線法、^[26]制限付き最大尤度、不偏予測リスク推定量などがある。グレース・ワーバは、 1つ抜き交差検証の意味での最適パラメータが^{[27] [28]}を最小化することを証明した。 ここで、は残差二乗和、は有効自由度の数である。 ${\displaystyle \alpha }$ $${\displaystyle G={\frac {\operatorname {RSS} }{\tau ^{2}}}={\frac {\left\|X{\hat {\beta }}-y\right\|^{2}}{\left[\operatorname {Tr} \left(I-X\left(X^{\mathsf {T}}X+\alpha ^{2}I\right)^{-1}X^{\mathsf {T}}\right)\right]^{2}}},}$$${\displaystyle \operatorname {RSS} }$${\displaystyle \tau }$

前述のSVD分解を使用すると、上記の式を簡略化できます 。 $${\displaystyle \operatorname {RSS} =\left\|y-\sum _{i=1}^{q}(u_{i}'b)u_{i}\right\|^{2}+\left\|\sum _{i=1}^{q}{\frac {\alpha ^{2}}{\sigma _{i}^{2}+\alpha ^{2}}}(u_{i}'b)u_{i}\right\|^{2},}$$ $${\displaystyle \operatorname {RSS} =\operatorname {RSS} _{0}+\left\|\sum _{i=1}^{q}{\frac {\alpha ^{2}}{\sigma _{i}^{2}+\alpha ^{2}}}(u_{i}'b)u_{i}\right\|^{2},}$$$${\displaystyle \tau =m-\sum _{i=1}^{q}{\frac {\sigma _{i}^{2}}{\sigma _{i}^{2}+\alpha ^{2}}}=m-q+\sum _{i=1}^{q}{\frac {\alpha ^{2}}{\sigma _{i}^{2}+\alpha ^{2}}}.}$$

逆問題の確率的定式化では（すべての不確実性がガウス分布である場合）、モデルパラメータの事前不確実性を表す共分散行列と、観測パラメータの不確実性を表す共分散行列が導入される。^[29]これら2つの行列が対角かつ等方性である特殊なケースでは、およびであり、この場合、逆理論の方程式は、 を含む上記の方程式に簡約される。^{[30] [31]}${\displaystyle C_{M}}$${\displaystyle C_{D}}$${\displaystyle C_{M}=\sigma _{M}^{2}I}$${\displaystyle C_{D}=\sigma _{D}^{2}I}$${\displaystyle \alpha ={\sigma _{D}}/{\sigma _{M}}}$

一見、この正規化された問題に対する解の選択は人為的に見えるかもしれないし、実際行列はかなり恣意的に見えるが、そのプロセスはベイズの観点から正当化できる。^[32]不適切設定問題の場合、一意の解を得るためには必然的にいくつかの追加の仮定を導入する必要があることに注意されたい。統計的には、の事前確率分布は多変量正規分布であるとみなされることがある。^[33]ここでは簡単にするために、平均はゼロ、成分は独立、成分の標準偏差は同じであると仮定する。データも誤差の影響を受けやすく、 の誤差も平均ゼロ、標準偏差 で独立していると仮定する。これらの仮定の下では、ベイズの定理によれば、データとの事前分布が与えられた場合、ティホノフ正規化解が最も可能性の高い解となる。^[34]${\displaystyle \Gamma }$${\displaystyle x}$ ${\displaystyle \sigma _{x}}$${\displaystyle b}$${\displaystyle \sigma _{b}}$${\displaystyle x}$

正規性の仮定を等分散性と誤差の無相関性の仮定に置き換え、それでも平均がゼロであると仮定すると、ガウス・マルコフの定理によれば、解は最小の不偏線形推定量となる。^[35]

• LASSO 推定量は、統計における別の正規化方法です。
• 弾性ネット正規化
• 行列の正則化

• グルーバー、マーヴィン (1998)。縮小による効率の改善: ジェームズ・スタイン回帰とリッジ回帰推定法。ボカラトン: CRC プレス。ISBN 0-8247-0156-9。
• クレス、ライナー (1998)。「ティホノフ正規化」。数値解析。ニューヨーク: シュプリンガー。pp.  86– 90。ISBN 0-387-98408-9。
• Press, WH; Teukolsky, SA; Vetterling, WT; Flannery, BP (2007)。「セクション 19.5. 線形正規化法」。数値レシピ: 科学計算の技法(第 3 版)。ニューヨーク: Cambridge University Press。ISBN 978-0-521-88068-8。
• Saleh, AK Md. Ehsanes; Arashi, Mohammad; Kibria, BM Golam (2019). リッジ回帰推定の理論とその応用。ニューヨーク: John Wiley & Sons. ISBN 978-1-118-64461-4。
• Taddy, Matt (2019)。「正規化」。ビジネスデータサイエンス：機械学習と経済学を組み合わせてビジネス上の意思決定を最適化、自動化、加速する。ニューヨーク：McGraw-Hill。pp.  69– 104。ISBN 978-1-260-45277-8。