ラッソ（統計）

統計学と機械学習において、Lasso（最小絶対収縮および選択演算子、LassoまたはLASSOとも呼ばれる）は、結果として得られる統計モデルの予測精度と解釈可能性を高めるために変数選択と正則化の両方を実行する回帰分析手法です。Lasso法では、線形モデルの係数がスパースであること、つまりゼロ以外の値はほとんどないことを前提としています。この手法はもともと地球物理学で導入され、^[1]、後にRobert Tibshirani ^[2]によってこの用語が作られました。

Lasso はもともと線形回帰モデル用に策定されました。この単純なケースから、推定量についてかなりのことがわかります。これには、リッジ回帰や最適なサブセット選択との関係、Lasso 係数推定値といわゆるソフトしきい値設定の関係などが含まれます。また、(標準的な線形回帰のように)共変量が共線的である場合、係数推定値は一意である必要がないこともわかります。

もともと線型回帰のために定義されたLASSO正則化は、一般化線型モデル、一般化推定方程式、比例ハザードモデル、M推定量などの他の統計モデルにも簡単に拡張できます。^{[2] [3]} LASSOのサブセット選択機能は制約の形式に依存しており、幾何学、ベイズ統計、凸解析などさまざまな解釈が可能です。

LASSO は基底追求ノイズ除去と密接に関連しています。

Lassoは回帰モデルの予測精度と解釈可能性を向上させるために導入されました。これはモデルで使用するために既知の共変量の縮小セットを選択します。^{[2] [1]}

Lassoは、係数のフィッティングとペナルティの両方にペナルティを使用した先行研究に基づいて、1986年に地球物理学の文献で独自に開発されました。統計学者のロバート・ティブシラニは、ブレイマンの非負ガロットに基づいて、1996年に独自にLassoを再発見し、普及させました。 ^{[1] [4]}${\displaystyle \ell^{1}}$

Lasso 以前は、共変量を選択するために最も広く使用されていた方法は、段階的選択でした。このアプローチでは、結果と強い関係を持つ共変量が少数の場合など、特定のケースでのみ予測精度が向上します。ただし、他のケースでは、予測誤差が増加する可能性があります。

当時、リッジ回帰は予測精度を向上させるための最も一般的な手法でした。リッジ回帰は、過剰適合を減らすために回帰係数の二乗の合計を固定値未満に縮小することで予測誤差を改善しますが、共変量選択は実行しないため、モデルの解釈可能性を高めるのに役立ちません。

Lasso は、回帰係数の絶対値の合計を固定値未満に強制することで、これらの目標の両方を達成します。これにより、特定の係数が 0 になり、予測に影響を与えなくなります。この考え方は、係数のサイズを縮小するリッジ回帰に似ていますが、リッジ回帰では係数が 0 に設定されません (したがって、変数選択は実行されません)。

N個のケースからなるサンプルを考えます。各ケースはp個の 共変量と 1 つの結果から構成されます。を結果とし、 をi^番目のケースの共変量ベクトルとします。この場合、Lasso の目的は ^{[2]を解くことです。}${\displaystyle y_{i}}$${\displaystyle x_{i}:=(x_{1},x_{2},\ldots,x_{p})_{i}^{T}}$ $${\displaystyle \min _{\beta _{0},\beta }{\biggl \{}\sum _{i=1}^{N}{\bigl (}y_{i}-\beta _{0}-x_{i}^{T}\beta {\bigr )}^{2}{\biggr \}}{\text{ ただし }}\sum _{j=1}^{p}|\beta _{j}|\leq t に従う。}$$

ここで、は定数係数、は係数ベクトル、は正規化の度合いを決定する事前に指定された自由パラメータです。 ${\displaystyle \beta _{0}}$${\displaystyle \beta :=(\beta _{1},\beta _{2},\ldots ,\beta _{p})}$${\displaystyle t}$

を共変量行列とし、 が の i 番目の行であるとすると、式は次の^ようにより簡潔に記述できます 。 ここでは標準ノルムです。 ${\displaystyle X}$${\displaystyle X_{ij}=(x_{i})_{j}}$${\displaystyle x_{i}^{T}}$ ${\displaystyle X}$$${\displaystyle \min _{\beta _{0},\beta }\left\{\left\|y-\beta _{0}-X\beta \right\|_{2}^{2}\right\}{\text{ subject to }}\|\beta \|_{1}\leq t,}$$${\displaystyle \|u\|_{p}={\biggl (}\sum _{i=1}^{N}|u_{i}|^{p}{\biggr )}^{1/p}}$${\displaystyle \ell ^{p}}$

データ ポイントのスカラー平均を、応答変数の平均を と表すと、 の推定値はとなり、 となり、したがって、平均がゼロにされた変数を扱うのが標準です。さらに、共変量は、解が測定スケールに依存しないように、 通常標準化されます。${\displaystyle x_{i}}$${\displaystyle {\bar {x}}}$${\displaystyle y_{i}}$${\displaystyle {\bar {y}}}$${\displaystyle \beta _{0}}$${\displaystyle {\hat {\beta }}_{0}={\bar {y}}-{\bar {x}}^{T}\beta }$$${\displaystyle y_{i}-{\hat {\beta }}_{0}-x_{i}^{T}\beta =y_{i}-({\bar {y}}-{\bar {x}}^{T}\beta )-x_{i}^{T}\beta =(y_{i}-{\bar {y}})-(x_{i}-{\bar {x}})^{T}\beta ,}$$ ${\textstyle {\bigl (}\sum _{i=1}^{N}x_{i}^{2}=1{\bigr )}}$

と の間の正確な関係がデータに依存する、 いわゆるラグランジアン形式 で書き直すと役立つ場合があります 。 $${\displaystyle \min _{\beta \in \mathbb {R} ^{p}}\left\{{\frac {1}{N}}\left\|y-X\beta \right\|_{2}^{2}\right\}{\text{ subject to }}\|\beta \|_{1}\leq t.}$$$${\displaystyle \min _{\beta \in \mathbb {R} ^{p}}\left\{{\frac {1}{N}}\left\|y-X\beta \right\|_{2}^{2}+\lambda \|\beta \|_{1}\right\}}$$${\displaystyle t}$${\displaystyle \lambda }$

ここで、Lasso 推定量のいくつかの基本的な特性を考慮することができます。

まず共変量が正規直交で、ここで はクロネッカーのデルタ、または同等に であると仮定すると、サブグラディエント法を使用すると、^{[2] は}ソフトしきい値演算子と呼ばれることが示されます。これは、ハードしきい値演算子(と表記されることが多い) のように小さい値をゼロに設定し、大きい値はそのまま残すのではなく、値をゼロに向かって変換する (十分に小さい場合は値をゼロにする)ためです。 ${\displaystyle x_{i}^{T}x_{j}=\delta _{ij}}$${\displaystyle \delta _{ij}}$${\displaystyle X^{T}X=I}$ $${\displaystyle {\begin{aligned}{\hat {\beta }}_{j}={}&S_{N\lambda }({\hat {\beta }}{}_{j}^{\!\;{\text{OLS}}})={\hat {\beta }}{}_{j}^{\!\;{\text{OLS}}}\max {\Biggl (}0,1-{\frac {N\lambda }{{\bigl |}{\hat {\beta }}{}_{j}^{\!\;{\text{OLS}}}{\bigr |}}}{\Biggr )}\\&{\text{ where }}{\hat {\beta }}{}_{j}^{\!\;{\text{OLS}}}=(X^{T}X)^{-1}X^{T}y=X^{T}y\end{aligned}}}$$ ${\displaystyle S_{\alpha }}$${\displaystyle H_{\alpha }}$

リッジ回帰の目的は、 $${\displaystyle \min _{\beta \in \mathbb {R} ^{p}}\left\{{\frac {1}{N}}\|y-X\beta \|_{2}^{2}+\lambda \|\beta \|_{2}^{2}\right\}}$$

リッジ回帰式^[5]と用いると次の式が得られる。 ${\displaystyle X^{T}X=I}$${\displaystyle {\hat {\beta }}=\left((X^{T}X)+N\lambda I\right)^{-1}X^{T}y}$$${\displaystyle {\hat {\beta }}_{j}=(1+N\lambda )^{-1}{\hat {\beta }}{}_{j}^{\!\;{\text{OLS}}}.}$$

リッジ回帰はすべての係数を均一な係数で縮小し、どの係数もゼロに設定しません。^[6]${\displaystyle (1+N\lambda )^{-1}}$

これは、最適なサブセット選択による回帰と比較することもできます。この回帰の目標は、 を最小化することです 。 ここで、 は「ノルム」であり、これは、z のちょうど m 個のコンポーネントがゼロでないかのように定義されます。この場合、 がいわゆるハードしきい値関数であり、 がインジケータ関数であることが示されます (引数が true の場合は 1、そうでない場合は 0 になります)。 $${\displaystyle \min _{\beta \in \mathbb {R} ^{p}}\left\{{\frac {1}{N}}\left\|y-X\beta \right\|_{2}^{2}+\lambda \|\beta \|_{0}\right\}}$$${\displaystyle \|\cdot \|_{0}}$${\displaystyle \ell ^{0}}$${\displaystyle \|z\|=m}$$${\displaystyle {\hat {\beta }}_{j}=H_{\sqrt {N\lambda }}\left({\hat {\beta }}{}_{j}^{\!\;{\text{OLS}}}\right)={\hat {\beta }}{}_{j}^{\!\;{\text{OLS}}}\mathrm {I} \left({\bigl |}{\hat {\beta }}{}_{j}^{\!\;{\text{OLS}}}{\bigr |}\geq {\sqrt {N\lambda }}\right)}$$${\displaystyle H_{\alpha }}$${\displaystyle \mathrm {I} }$

したがって、Lasso 推定は、リッジ回帰とベスト サブセット選択回帰の両方の特徴を共有します。これは、どちらもリッジ回帰のようにすべての係数の大きさを縮小し、ベスト サブセット選択の場合のように、係数の一部をゼロに設定するためです。さらに、リッジ回帰ではすべての係数が定数倍でスケーリングされますが、Lasso では代わりに係数が一定値でゼロに向かって変換され、ゼロに達した場合はゼロに設定されます。

特別なケースとして、各観測値に対して 2 つの共変量、たとえばjとk が同一であるため、 となり、 となる。この場合、Lasso 目的関数を最小化するとの値は一意に決定されない。実際、 となる のいくつかの場合、をおよび で置き換え、他はすべて固定すると、新しい解が得られる。そのため、Lasso 目的関数には有効な最小化関数の連続体が存在する。^{[7]この欠点に対処するために、} Elastic net 正則化 を含む Lasso のいくつかの変種が設計されている。 ${\displaystyle x_{(j)}=x_{(k)}}$${\displaystyle x_{(j),i}=x_{(k),i}}$${\displaystyle \beta _{j}}$${\displaystyle \beta _{k}}$${\displaystyle {\hat {\beta }}}$${\displaystyle {\hat {\beta }}_{j}{\hat {\beta }}_{k}\geq 0}$${\displaystyle s\in [0,1]}$${\displaystyle {\hat {\beta }}_{j}}$${\displaystyle s({\hat {\beta }}_{j}+{\hat {\beta }}_{k})}$${\displaystyle {\hat {\beta }}_{k}}$${\displaystyle (1-s)({\hat {\beta }}_{j}+{\hat {\beta }}_{k})}$${\displaystyle {\hat {\beta }}_{i}}$

LASSO正則化は、一般化線型モデル、一般化推定方程式、比例ハザードモデル、M推定量などの他の目的関数にも拡張できます。^{[2] [3]}目的関数が与えられた 場合、 推定量のLASSO正則化バージョンは の解 であり、 のみがペナルティを課され、 は基本ケースでペナルティが課されなかったのと同様に、任意の許容値を自由に取ることができます。 $${\displaystyle {\frac {1}{N}}\sum _{i=1}^{N}f(x_{i},y_{i},\alpha ,\beta )}$$$${\displaystyle \min _{\alpha ,\beta }{\frac {1}{N}}\sum _{i=1}^{N}f(x_{i},y_{i},\alpha ,\beta ){\text{ subject to }}\|\beta \|_{1}\leq t}$$${\displaystyle \beta }$${\displaystyle \alpha }$${\displaystyle \beta _{0}}$

Lasso は係数をゼロに設定できますが、表面上は似ているリッジ回帰では設定できません。これは、制約境界の形状が異なるためです。Lasso とリッジ回帰はどちらも、同じ目的関数を 異なる制約に関して最小化するものとして解釈できます。Lassoの場合は 、リッジの場合は です。この図は、ノルムによって定義される制約領域が、角が軸上にくるように回転した正方形 (一般に交差多面体) であるのに対し、ノルムによって定義される領域は円 (一般にn球) であり、回転不変であるため角がないことを示しています。図に見られるように、境界に接する凸オブジェクト (示されている線など) は、一部のコンポーネントが常にゼロである超立方体のコーナー (またはより高次元の同等物) に遭遇する可能性があります。一方、 n球面の場合、一部のコンポーネントがゼロである境界上の点は他の点と区別されず、凸オブジェクトが一部のコンポーネントがゼロである点に接触する可能性は、すべてのコンポーネントがゼロでない点に接触する可能性よりも高くありません。 $${\displaystyle \min _{\beta _{0},\beta }\left\{{\frac {1}{N}}\left\|y-\beta _{0}-X\beta \right\|_{2}^{2}\right\}}$$${\displaystyle \|\beta \|_{1}\leq t}$${\displaystyle \|\beta \|_{2}^{2}\leq t}$${\displaystyle \ell ^{1}}$${\displaystyle \ell ^{2}}$ ${\displaystyle \beta }$${\displaystyle \beta }$${\displaystyle \beta }$

Lasso は再スケール化できるため、特定の の値に関連する収縮の度合いを予測して影響を与えることが容易になります。^{[8] は}z スコアで標準化され、 は中心化 (平均ゼロ) されていると仮定します。 は仮定された回帰係数を表し、 はデータ最適化された通常の最小二乗解を参照します。次に、データ最適化解のサンプル内精度と仮定値に固執する単純さの間のトレードオフとしてラグランジアンを定義できます。 ^[9]この結果、 は 以下の ように指定され、「プライム」記号は転置を表します。最初の分数は相対的な精度を表し、2 番目の分数は相対的な単純さを表し、 は2 つの間のバランスを表します。 ${\displaystyle \lambda }$${\displaystyle X}$${\displaystyle y}$${\displaystyle \beta _{0}}$${\displaystyle b_{\text{OLS}}}$$${\displaystyle \min _{\beta \in \mathbb {R} ^{p}}\left\{{\frac {(y-X\beta )'(y-X\beta )}{(y-X\beta _{0})'(y-X\beta _{0})}}+2\lambda \sum _{i=1}^{p}{\frac {|\beta _{i}-\beta _{0,i}|}{q_{i}}}\right\}}$$${\displaystyle q_{i}}$${\displaystyle \lambda }$

単一の回帰変数が与えられた場合、相対的な単純さは、の場合の からの最大偏差である をとして指定することによって定義できます。 と仮定すると、ソリューション パスは に関して定義できます。 の場合、通常の最小二乗解 (OLS) が使用されます。が より大きい場合、の仮定値が選択されます。さらに、 の場合、 はの比例的な影響を表します。言い換えると、 は、データ最適化された OLS ソリューションに対する仮定値の影響の最小量をパーセンテージで測定します。 ${\displaystyle q_{i}}$${\displaystyle |b_{\text{OLS}}-\beta _{0}|}$${\displaystyle \beta _{0}}$${\displaystyle \lambda =0}$${\displaystyle \beta _{0}=0}$${\displaystyle R^{2}}$$${\displaystyle b_{\ell _{1}}={\begin{cases}(1-\lambda /R^{2})b_{\text{OLS}}&{\mbox{if }}\lambda \leq R^{2},\\0&{\mbox{if }}\lambda >R^{2}.\end{cases}}}$$${\displaystyle \lambda =0}$${\displaystyle \beta _{0}=0}$${\displaystyle \lambda }$${\displaystyle R^{2}}$${\displaystyle R^{2}=1}$${\displaystyle \lambda }$${\displaystyle \beta _{0}=0}$${\displaystyle \lambda \times 100\%}$

単一の回帰変数がある場合に、ゼロからの偏差にペナルティを課すために -ノルムが使用されると、解の経路は で与えられます 。と 同様に、がゼロに近づくと は点の方向に移動しますが、 とは異なり、 が増加するとの影響はで減少します(図を参照)。複数の回帰変数がある場合、パラメータがアクティブになる (つまり から逸脱できる) 瞬間も、回帰変数の精度への寄与によって決まります。まず、 Anが 75% であるということは、仮説値の代わりに無制限の OLS 解を使用すると、サンプル内精度が 75% 向上することを意味します。 各仮説からの個々の寄与は、 のx行列 を使用して計算できます。 が計算される場合、の対角要素の合計は になります。 対角値は 0 より小さいか、まれに 1 より大きくなることがあります。 回帰変数に相関がない場合、 の対角要素はとの間の値に単純に対応します。 ${\displaystyle \ell _{2}}$$${\displaystyle b_{\ell _{2}}=\left(1+{\frac {\lambda }{R^{2}(1-\lambda )}}\right)^{-1}b_{\text{OLS}}.}$$${\displaystyle b_{\ell _{1}}}$${\displaystyle b_{\ell _{2}}}$${\displaystyle (\lambda =R^{2},b=0)}$${\displaystyle \lambda }$${\displaystyle b_{\ell _{1}}}$${\displaystyle R^{2}}$${\displaystyle b_{\ell _{2}}}$${\displaystyle \lambda }$
${\displaystyle \beta _{0}}$${\displaystyle R^{2}}$$${\displaystyle R^{2}=1-{\frac {(y-Xb)'(y-Xb)}{(y-X\beta _{0})'(y-X\beta _{0})}}.}$$${\displaystyle R^{2}}$${\displaystyle \beta _{0}}$${\displaystyle p}$${\displaystyle p}$$${\displaystyle R^{\otimes }=(X'{\tilde {y}}_{0})(X'{\tilde {y}}_{0})'(X'X)^{-1}({\tilde {y}}_{0}'{\tilde {y}}_{0})^{-1},}$$${\displaystyle {\tilde {y}}_{0}=y-X\beta _{0}}$${\displaystyle b=b_{\text{OLS}}}$${\displaystyle R^{2}}$${\displaystyle R^{\otimes }}$${\displaystyle R^{2}}$${\displaystyle R^{\otimes }}$${\displaystyle i^{th}}$${\displaystyle R^{\otimes }}$${\displaystyle r^{2}}$${\displaystyle x_{i}}$${\displaystyle y}$

の適応型ラッソの再スケール版は、 を設定することで得ることができます。^[10]回帰変数が無相関の場合、パラメータがアクティブになる瞬間はの対角要素によって与えられます。便宜上 がゼロのベクトルであると仮定すると、 つまり、回帰変数が無相関の場合、は再び の最小の影響を指定します。回帰変数が相関している場合でも、回帰パラメータがアクティブになる最初の瞬間は、 が の最高の対角要素に等しいときです。 ${\displaystyle q_{{\mbox{adaptive lasso}},i}=|b_{{\text{OLS}},i}-\beta _{0,i}|}$${\displaystyle i^{th}}$${\displaystyle i^{th}}$${\displaystyle R^{\otimes }}$${\displaystyle \beta _{0}}$$${\displaystyle b_{i}={\begin{cases}(1-\lambda /R_{ii}^{\otimes })b_{{\text{OLS}},i}&{\text{if }}\lambda \leq R_{ii}^{\otimes },\\0&{\text{if }}\lambda >R_{ii}^{\otimes }.\end{cases}}}$$${\displaystyle \lambda }$${\displaystyle \beta _{0}}$${\displaystyle \lambda }$${\displaystyle R^{\otimes }}$

これらの結果は、 （からの平均絶対偏差）を定義することで、ラッソの再スケール版と比較することができます。回帰変数が無相関であると仮定すると、回帰変数の活性化の瞬間は次のように与えられます。 ${\displaystyle q_{{\mbox{lasso}},i}={\frac {1}{p}}\sum _{l}|b_{{\text{OLS}},l}-\beta _{0,l}|}$${\displaystyle b_{\text{OLS}}}$${\displaystyle \beta _{0}}$${\displaystyle i^{th}}$$${\displaystyle {\tilde {\lambda }}_{{\text{lasso}},i}={\frac {1}{p}}{\sqrt {R_{i}^{\otimes }}}\sum _{l=1}^{p}{\sqrt {R_{l}^{\otimes }}}.}$$

の場合、活性化の瞬間は で再び定義されます。がゼロのベクトルで、関連するパラメータのサブセットが の完全な適合に等しく関与している場合、このサブセットは の値で活性化されます。関連する回帰変数の活性化の瞬間は に等しくなります。言い換えれば、無関係な回帰変数を含めると、この再スケールされた Lasso によって関連する回帰変数が活性化される瞬間が遅れます。適応 Lasso と Lasso は、「1ASTc」推定量の特殊なケースです。後者は、回帰変数間の絶対相関がユーザー指定の値よりも大きい場合にのみパラメータをグループ化します。^[8]${\displaystyle p=1}$${\displaystyle {\tilde {\lambda }}_{{\text{lasso}},i}=R^{2}}$${\displaystyle \beta _{0}}$${\displaystyle p_{B}}$${\displaystyle R^{2}=1}$${\displaystyle \lambda }$${\displaystyle {\frac {1}{p}}}$${\displaystyle {\frac {1}{p}}{\frac {1}{\sqrt {p_{B}}}}p_{B}{\frac {1}{\sqrt {p_{B}}}}={\frac {1}{p}}}$

リッジ回帰が係数に正規事前分布が割り当てられた線型回帰として解釈できるのと同様に、LASSO は係数にラプラス事前分布が割り当てられた線型回帰として解釈できます。^[11]ラプラス分布はゼロで鋭くピークに達し（その最初の導関数はゼロで不連続です）、その確率質量は正規分布よりもゼロに近いところに集中しています。これは、LASSO が一部の係数をゼロに設定する傾向があるのに対し、リッジ回帰はそうしない理由の別の説明を提供します。^[2]

Lasso は、最適なサブセット選択回帰問題の凸緩和と見ることもできます。最適なサブセット選択回帰問題は、ある固定された に対して目的関数の最小値をもたらす共変量のサブセットを見つけることです。ここで、n は共変量の合計数です。「ノルム」、（ベクトルの非ゼロのエントリの数）は、「ノルム」の極限ケースであり、形式は次のようになります（引用符は、 は に対して凸ではないため、これらは実際には に対するノルムではないことを示しています。したがって、p = 1 は「ノルム」が凸である（したがって実際にはノルムである）最小値であるため、Lasso は、ある意味では最適なサブセット選択問題に対する最適な凸近似です。これは、 によって定義される領域が に対してによって定義される領域の凸包であるためです。 ${\displaystyle \leq k}$${\displaystyle k\leq n}$${\displaystyle \ell ^{0}}$${\displaystyle \|\cdot \|_{0}}$${\displaystyle \ell ^{p}}$${\displaystyle \textstyle \|x\|_{p}=\left(\sum _{i=1}^{n}|x_{j}|^{p}\right)^{1/p}}$${\displaystyle p<1}$${\displaystyle \|\cdot \|_{p}}$${\displaystyle p<1}$${\displaystyle \ell ^{p}}$${\displaystyle \|x\|_{1}\leq t}$${\displaystyle \|x\|_{p}\leq t}$${\displaystyle p<1}$

Lasso のバリエーションは、元の手法の限界を克服し、特定の問題に対してこの手法をより有用なものにするために作成されました。これらのほとんどは、共変量間の依存関係を尊重または活用することに重点を置いています。

弾性ネット正則化はリッジ回帰のようなペナルティを追加し、予測変数の数がサンプルサイズより大きい場合にパフォーマンスを向上させ、相関の強い変数を一緒に選択できるようにし、全体的な予測精度を向上させます。^[7]

グループラッソは、関連する共変量のグループを単一のユニットとして選択することを可能にする。これは、他の共変量なしで一部の共変量を含めることが意味をなさない設定で有用である。^[12]グループラッソのさらなる拡張は、個々のグループ内で変数選択を実行し（スパースグループラッソ）、グループ間の重複を可能にする（オーバーラップグループラッソ）。^{[13] [14]}

融合LASSOは問題の空間的または時間的特性を考慮することができ、システム構造により適合した推定値を得ることができます。^[15] LASSO正規化モデルは、サブグラディエント法、最小角回帰（LARS）、近位勾配法などの手法を使用して適合できます。正規化パラメータの最適値を決定することは、モデルが適切に機能することを保証する上で重要な部分であり、通常はクロスバリデーションを使用して選択されます。

2005年に、ZouとHastieは弾性ネットを導入しました。^[7] p  >  n（共変量の数がサンプルサイズより大きい）の場合、 Lassoはn個の共変量しか選択できず（結果にさらに多くの共変量が関連している場合でも）、相関の高い共変量セットから1つの共変量を選択する傾向があります。さらに、 n  >  pの場合でも、相関の強い共変量があればリッジ回帰の方がパフォーマンスが向上する傾向があります。

弾性ネットは、ラッソにペナルティ項を追加することで拡張され、 次の式 を解くことと同等となる。 ${\displaystyle \ell ^{2}}$$${\displaystyle \min _{\beta \in \mathbb {R} ^{p}}\left\{\left\|y-X\beta \right\|_{2}^{2}+\lambda _{1}\|\beta \|_{1}+\lambda _{2}\|\beta \|_{2}^{2}\right\},}$$$${\displaystyle {\begin{aligned}\min _{\beta _{0},\beta }\left\{\left\|y-\beta _{0}-X\beta \right\|_{2}^{2}\right\}&{\text{ subject to }}(1-\alpha )\|\beta \|_{1}+\alpha \|\beta \|_{2}^{2}\leq t,\\&{\text{ where }}\alpha ={\frac {\lambda _{2}}{\lambda _{1}+\lambda _{2}}}.\end{aligned}}}$$

この問題は、単純な投げ 縄形式で記述することができ 、$${\displaystyle \min _{\beta ^{*}\in \mathbb {R} ^{p}}\left\{\left\|y^{*}-X^{*}\beta ^{*}\right\|_{2}^{2}+\lambda ^{*}\|\beta ^{*}\|_{1}\right\}}$$$${\displaystyle X_{(n+p)\times p}^{*}=(1+\lambda _{2})^{-1/2}{\binom {X}{\lambda _{2}^{1/2}I_{p\times p}}},}$$ $${\displaystyle y_{(n+p)}^{*}={\binom {y}{0^{p}}},\qquad \lambda ^{*}={\frac {\lambda _{1}}{\sqrt {1+\lambda _{2}}}},}$$ $${\displaystyle \beta ^{*}={\sqrt {1+\lambda _{2}}}\beta .}$$

すると、共変量が互いに直交しているとき、 ${\displaystyle {\hat {\beta }}={\frac {{\hat {\beta }}^{*}}{\sqrt {1+\lambda _{2}}}}}$$${\displaystyle {\hat {\beta }}_{j}={\frac {{\hat {\beta }}{}_{j}^{\!\;*,{\text{OLS}}}}{\sqrt {1+\lambda _{2}}}}\max {\Biggl (}0,1-{\frac {\lambda ^{*}}{{\bigl |}{\hat {\beta }}{}_{j}^{\!\;*,{\text{OLS}}}{\bigr |}}}{\Biggr )}={\frac {{\hat {\beta }}{}_{j}^{\!\;{\text{OLS}}}}{1+\lambda _{2}}}\max {\Biggl (}0,1-{\frac {\lambda _{1}}{{\bigl |}{\hat {\beta }}{}_{j}^{\!\;{\text{OLS}}}{\bigr |}}}{\Biggr )}=(1+\lambda _{2})^{-1}{\hat {\beta }}{}_{j}^{\text{lasso}}.}$$

したがって、弾性ネット ペナルティの結果は、Lasso ペナルティとリッジ ペナルティの効果を組み合わせたものになります。

一般的なケースに戻ると、ペナルティ関数が厳密に凸であるという事実は、の場合、 となることを意味し、これはlassoからの変更です。^[7]一般に、は正規化されている ため、 の場合、 はサンプル相関行列です。 ${\displaystyle x_{(j)}=x_{(k)}}$${\displaystyle {\hat {\beta }}_{j}={\hat {\beta }}_{k}}$${\displaystyle {\hat {\beta }}_{j}{\hat {\beta _{k}}}>0}$ $${\displaystyle {\frac {|{\hat {\beta }}_{j}-{\hat {\beta _{k}}}|}{\|y\|}}\leq \lambda _{2}^{-1}{\sqrt {2(1-\rho _{jk})}},{\text{ where }}\rho =X^{t}X,}$$${\displaystyle x}$

したがって、相関の強い共変量は類似した回帰係数を持つ傾向があり、類似度の度合いは と の両方に依存し、この点が Lasso とは異なります。相関の強い共変量が類似した回帰係数を持つこの現象は、グループ化効果と呼ばれます。グループ化が望ましいのは、遺伝子と疾患を結び付けるなどの用途では、相関する共変量セットから 1 つを選択する (Lasso でよく行われる) よりも、関連する共変量をすべて見つけることが望ましいためです。^[7]さらに、各グループから 1 つだけを選択すると、モデルの堅牢性が低下するため、通常は予測誤差が増加します (このため、リッジ回帰は Lasso よりも優れたパフォーマンスを発揮します)。 ${\displaystyle \|y\|_{1}}$${\displaystyle \lambda _{2}}$

2006 年に Yuan と Lin は、定義済みの共変量グループをモデルに共同で選択したりモデルから除外したりできるようにするグループ Lasso を導入しました。^[12]これは多くの設定で役立ちますが、おそらく最も明白なのはカテゴリ変数がバイナリ共変量のコレクションとしてコード化されている場合です。この場合、グループ Lasso により、カテゴリ共変量をエンコードするすべての変数が一緒に含まれるか除外されることを保証できます。グループ化が自然である別の設定は、生物学研究です。遺伝子とタンパク質は既知の経路にあることが多いため、どの経路が結果に関連しているかは、個々の遺伝子が関連しているかどうかよりも重要な場合があります。グループ Lasso の目的関数は、標準 Lasso 目的関数の自然な一般化であり 、設計行列と共変量ベクトルが、J グループごとに 1 つずつ、設計行列と共変量ベクトルのコレクションに置き換えられています。さらに、ペナルティ項は、正定値行列 によって定義されるノルムの合計になりました。各共変量が独自のグループにあり、 である場合、これは標準の Lasso に簡約されますが、グループが 1 つしかなく、 である場合、これはリッジ回帰に簡約されます。ペナルティは各グループによって定義されたサブスペースのノルムに簡約されるため、リッジ回帰と同様に、グループから共変量の一部だけを選択することはできません。ただし、ペナルティは標準の Lasso と同様に、異なるサブスペース ノルムの合計であるため、制約にはいくつかの非微分点があり、これは一部のサブスペースがまったくゼロであることに対応します。したがって、一部のサブスペースに対応する係数ベクトルをゼロに設定し、他の部分スペースのみを縮小することができます。ただし、グループ Lasso を、各グループサブスペースに追加のペナルティを追加することで、グループ内の個々の共変量を選択できる、いわゆるスパース グループ Lasso に拡張することは可能です。^[13]もう 1 つの拡張である、オーバーラップのあるグループ Lasso では、たとえば、遺伝子が 2 つの経路で発生する場合など、グループ間で共変量を共有できます。^[14]$${\displaystyle \min _{\beta \in \mathbb {R} ^{p}}{\biggl \{}{\biggl \|}y-\sum _{j=1}^{J}X_{j}\beta _{j}{\biggr \|}_{2}^{2}+\lambda \sum _{j=1}^{J}\|\beta _{j}\|_{K_{j}}{\biggr \}},\qquad \|z\|_{K_{j}}=(z^{t}K_{j}z)^{1/2}}$$ ${\displaystyle X}$${\displaystyle \beta }$${\displaystyle X_{j}}$${\displaystyle \beta _{j}}$${\displaystyle \ell ^{2}}$${\displaystyle K_{j}}$${\displaystyle K_{j}=I}$${\displaystyle K_{1}=I}$${\displaystyle \ell ^{2}}$${\displaystyle \ell ^{1}}$

Rの「gglasso」パッケージは、Group LASSOの高速かつ効率的な実装を可能にします。^[16]

場合によっては、研究対象の現象には、時系列データや画像ベースのデータなど、分析中に考慮しなければならない重要な空間的または時間的構造がある可能性があります。2005年に、Tibshiraniと同僚は、この種のデータにLassoの使用を拡張するために、Fused Lassoを導入しました。^[15] Fused Lassoの目的関数は、 $${\displaystyle {\begin{aligned}&\min _{\beta }{\biggl \{}{\frac {1}{N}}\sum _{i=1}^{N}\left(y_{i}-x_{i}^{T}\beta \right)^{2}{\biggr \}}\\[4pt]&{\text{ subject to }}\sum _{j=1}^{p}|\beta _{j}|\leq t_{1}{\text{ and }}\sum _{j=2}^{p}|\beta _{j}-\beta _{j-1}|\leq t_{2}.\end{aligned}}}$$

最初の制約は Lasso 制約であり、2 番目は時間的または空間的な構造に関する大きな変化に直接ペナルティを課し、係数がシステムの基礎となるロジックを反映するように滑らかに変化するように強制します。クラスター化 Lasso ^{[17] は}、効果 (係数) に基づいて関連する共変量を識別してグループ化する融合 Lasso の一般化です。基本的な考え方は、係数間の差にペナルティを課して、ゼロ以外の係数がクラスター化されるようにすることです。これは、次の正規化を使用してモデル化できます。 $${\displaystyle \sum _{i<j}^{p}|\beta _{i}-\beta _{j}|\leq t_{2}.}$$

対照的に、変数は相関性の高いグループにクラスター化することができ、その後、各クラスターから単一の代表的な共変量を抽出できます。^[18]

融合ラッソ問題とその一般化を解決するアルゴリズムが存在する。アルゴリズムは有限回数の操作で正確にそれを解決することができる。^[19]

Lasso、エラスティックネット、グループ、融合Lassoは、およびノルム（必要に応じて重み付き）からペナルティ関数を構築します。ブリッジ回帰は、一般ノルム（）と準ノルム（）を利用します。^[21]たとえば、p =1/2の場合、Lasso目的関数のラグランジアン形式での類似物は、 次の 式を解くことです 。${\displaystyle \ell ^{1}}$${\displaystyle \ell ^{2}}$${\displaystyle \ell ^{p}}$${\displaystyle p\geq 1}$${\displaystyle 0<p<1}$$${\displaystyle \min _{\beta \in \mathbb {R} ^{p}}\left\{{\frac {1}{N}}\left\|y-X\beta \right\|_{2}^{2}+\lambda {\sqrt {\|\beta \|_{1/2}}}\right\},}$$$${\displaystyle \|\beta \|_{1/2}={\biggl (}\sum _{j=1}^{p}{\sqrt {|\beta _{j}|}}{\biggr )}^{2}}$$

分数準ノルム（）は、理論的にも経験的にも、データ分析においてより有意義な結果をもたらすと主張されている。^[22]これらの準ノルムの非凸性は、最適化問題を複雑にする。この問題を解決するために、関数 を最小化 する期待値最小化手順が開発され^[23]、実装されている^[20]。 ここで、 は任意の凹単調増加関数である（たとえば、は Lasso ペナルティを与え、 はペナルティを与える）。 ${\displaystyle \ell ^{p}}$${\displaystyle 0<p<1}$$${\displaystyle \min _{\beta \in \mathbb {R} ^{p}}\left\{{\frac {1}{N}}\left\|y-X\beta \right\|_{2}^{2}+\lambda \sum _{j=1}^{p}\vartheta (\beta _{j}^{2})\right\},}$$${\displaystyle \vartheta (\gamma )}$${\displaystyle \vartheta (\gamma )={\sqrt {\gamma }}}$${\displaystyle \vartheta (\gamma )=\gamma ^{1/4}}$${\displaystyle \ell ^{1/2}}$

最小化のための効率的なアルゴリズムは、部分二次成長の区分的二次近似（PQSQ）に基づいています。^[23]

適応型Lassoは、2006年にZouによって線形回帰^[10]のために導入され、2007年にZhangとLuによって比例ハザード回帰^{[24]のために導入されました。}

事前ラッソは、2016年にJiangらによって一般化線型モデルに導入され、特定の共変量の重要度などの事前情報を組み込むことができる。^[25]事前ラッソでは、そのような情報は疑似応答（事前応答と呼ばれる）にまとめられ、その後、ラッソペナルティを伴う追加の基準関数が通常の目的関数に追加される。一般性を失うことなく、線形回帰では、新しい目的関数は次のように記述でき、 これは次と同等である。 ${\displaystyle {\hat {y}}^{\mathrm {p} }}$$${\displaystyle \min _{\beta \in \mathbb {R} ^{p}}\left\{{\frac {1}{N}}\left\|y-X\beta \right\|_{2}^{2}+{\frac {1}{N}}\eta \left\|{\hat {y}}^{\mathrm {p} }-X\beta \right\|_{2}^{2}+\lambda \|\beta \|_{1}\right\},}$$$${\displaystyle \min _{\beta \in \mathbb {R} ^{p}}\left\{{\frac {1}{N}}\left\|{\tilde {y}}-X\beta \right\|_{2}^{2}+{\frac {\lambda }{1+\eta }}\|\beta \|_{1}\right\},}$$

通常の Lasso 目的関数では、応答は観測された応答と以前の応答(以前の情報によって調整された応答値と呼ばれる) の加重平均に置き換えられます。 ${\displaystyle y}$${\displaystyle {\tilde {y}}=(y+\eta {\hat {y}}^{\mathrm {p} })/(1+\eta )}$

事前 Lasso では、パラメータは、データと事前情報の相対的な重要性のバランスをとるという意味で、バランスパラメータと呼ばれます。 の極端なケースでは、事前 Lasso は Lasso に縮小されます。 の場合、事前 Lasso は、モデルを適合するために事前情報のみに依存します。 さらに、バランスパラメータには、ベイズの観点から、事前分布における の分散を制御するという別の魅力的な解釈があります。${\displaystyle \eta }$${\displaystyle \eta =0}$${\displaystyle \eta =\infty }$${\displaystyle \eta }$${\displaystyle \beta }$

事前 Lasso は、事前情報の品質が高い場合、パラメータ推定と予測においてより効率的であり (推定誤差と予測誤差が小さくなります)、バランスパラメータを適切に選択することで、事前情報の品質が低い場合でも堅牢です。 ${\displaystyle \eta }$

Lasso の損失関数は微分可能ではありませんが、Lasso の解のパスを計算するために、凸解析と最適化理論からのさまざまな手法が開発されています。これらには、座標降下法、^[26]劣勾配法、最小角回帰(LARS)、および近位勾配法が含まれます。^{[27]劣勾配法は、} 勾配降下法や確率的勾配降下法などの従来の方法を、目的関数がすべての点で微分可能ではない場合に自然に一般化したものです。 LARS は Lasso モデルと密接に結びついた手法であり、多くの場合、Lasso モデルを効率的に適合させることができますが、すべての状況でうまく機能するとは限りません。 LARS は完全な解のパスを生成します。^[27]近位法は、その柔軟性とパフォーマンスのために人気が高まり、活発に研究されている分野です。方法の選択は、特定の Lasso バリアント、データ、および利用可能なリソースによって異なります。ただし、近位法は一般にうまく機能します。

Rの「glmnet」パッケージ（「glm」は「一般化線形モデル」への参照、「net」は「弾性ネット」の「net」を参照）は、LASSOとその変種のいくつかを実装するための非常に効率的な方法を提供します。^{[28] [29] [30]}

Pythonの「celer」パッケージは、Lasso問題に対する非常に効率的なソルバーを提供し、特に高次元データセットでは、特定のシナリオでscikit-learnなどの従来のソルバーを最大100倍も上回ることがよくあります。このパッケージは、デュアル外挿技術を活用してパフォーマンスを向上させます。^{[31] [32]} celerパッケージはGitHubで入手できます。

正則化パラメータ ( ) の選択は、Lasso の基本的な部分です。Lasso のパフォーマンスには、適切な値が不可欠です。これは、この値が縮小と変数選択の強さを制御し、適度であれば予測精度と解釈可能性の両方を向上させることができるためです。ただし、正則化が強くなりすぎると、重要な変数が省略され、係数が過度に縮小される可能性があり、予測能力と推論の両方に悪影響を与える可能性があります。正則化パラメータを見つけるために、クロスバリデーションがよく使用されます。 ${\displaystyle \lambda }$

ベイズ情報量基準(BIC) や赤池情報量基準(AIC)などの情報量基準は、計算が速く、サンプル数が少ない場合でもパフォーマンスが変動しにくいため、交差検証よりも好ましい場合があります。^[33]情報量基準は、モデルのサンプル内精度を最大化しながら、有効なパラメータ数/自由度にペナルティを課すことで、推定量の正則化パラメータを選択します。Zou らは、ゼロから外れたパラメータの数を数えることで有効な自由度を測定することを提案しました。^[34] Kaufman と Rosset ^[35]および Janson ら^[36]は、モデルの自由度は正則化パラメータによってより厳しくペナルティが課されても増加する可能性があるため、自由度のアプローチに欠陥があると考えました。代わりに、上で定義した相対的な単純さの尺度を使用して、有効なパラメータ数を数えることができます。^[33]ラッソの場合、この尺度は次のように与えられ、 正則化パラメータが0から0に減少するにつれて 0から単調に増加します。 $${\displaystyle {\hat {\mathcal {P}}}=\sum _{i=1}^{p}{\frac {|\beta _{i}-\beta _{0,i}|}{{\frac {1}{p}}\sum _{l}|b_{{\text{OLS}},l}-\beta _{0,l}|}},}$$${\displaystyle p}$${\displaystyle \infty }$

^{LASSOは経済学や金融学の分野で応用されており、企業倒産予測の文献[37]}や高成長企業の予測^[38]などで予測精度を向上させ、時には無視される変数を選択することが分かっている。

• 最小絶対偏差
• モデルの選択
• ノンパラメトリック回帰
• チホノフ正規化