弾性ネット正規化

統計学、特に線形回帰モデルやロジスティック回帰モデルのフィッティングにおいて、弾性ネットはラッソ法とリッジ法のL 1 ペナルティとL 2 ペナルティを_線形に組み合わせ_た正規化回帰法です。しかし、弾性ネット正規化は、再構築に関しては通常、両方の方法よりも正確です。[ ^1]

弾性ネット法は、以下の式に基づくペナルティ関数を使用する LASSO （最小絶対収縮および選択演算子）法の限界を克服する。

${\displaystyle \|\beta \|_{1}=\textstyle \sum _{j=1}^{p}|\beta _{j}|.}$

このペナルティ関数の使用にはいくつかの制限がある。^[2]たとえば、「pが大きく、nが小さい」場合（高次元データで例が少ない場合）、LASSO は飽和する前に最大でn個の変数を選択する。また、相関の高い変数のグループがある場合、LASSO はグループから 1 つの変数を選択し、他の変数を無視する傾向がある。これらの制限を克服するために、弾性ネットはペナルティに二次部分 ( ) を追加する。これは単独で使用されるとリッジ回帰（ティホノフ正則化とも呼ばれる）になる。弾性ネット法による推定値は次のように定義される。 ${\displaystyle \|\beta \|^{2}}$

${\displaystyle {\hat {\beta }}\equiv {\underset {\beta }{\operatorname {argmin} }}(\|yX\beta \|^{2}+\lambda _{2}\|\beta \|^{2}+\lambda _{1}\|\beta \|_{1}).}$

二次ペナルティ項は損失関数を強く凸にするため、一意の最小値を持ちます。弾性ネット法には、LASSO とリッジ回帰が含まれます。言い換えると、それぞれがまたは の特殊なケースです。一方、弾性ネット法のナイーブバージョンでは、2 段階の手順で推定値を見つけます。まず、各固定値に対してリッジ回帰係数を見つけ、次に LASSO タイプの縮小を実行します。この種の推定では、2 倍の縮小が発生し、バイアスが増加し、予測が不正確になります。予測のパフォーマンスを向上させるために、弾性ネットのナイーブバージョンの係数が、推定された係数に を乗じて再スケールされることがあります。^[2]${\displaystyle \lambda _{1}=\lambda ,\lambda _{2}=0}$${\displaystyle \lambda _{1}=0,\lambda _{2}=\lambda }$${\displaystyle \lambda_{2}}$${\displaystyle (1+\lambda _{2})}$

弾性ネット方式が適用された例は次のとおりです。

• サポートベクターマシン^[3]
• メトリック学習^[4]
• ポートフォリオ最適化^[5]
• 癌の予後^[6]

2014年に、弾性ネットは線形サポートベクターマシンに縮小できることが証明されました。^[7] 同様の縮小は、2014年にLASSOに対しても証明されています。^{[8]著者らは、弾性ネットのすべてのインスタンスに対して、線形}サポートベクターマシン（SVM） の超平面解が（再スケーリング後の）解と同一になるように人工的なバイナリ分類問題を構築できることを示しました。縮小により、弾性ネット問題に高度に最適化されたSVMソルバーをすぐに使用できるようになります。また、大規模なSVMソルバーですでによく使用されているGPUアクセラレーションも使用できるようになります。 ^[9]縮小は、元のデータと正則化定数の単純な変換です。 ${\displaystyle \beta}$

${\displaystyle X\in {\mathbb {R} }^{n\times p},y\in {\mathbb {R} }^{n},\lambda _{1}\geq 0,\lambda _{ 2}\geq 0}$

バイナリ分類問題とSVM正則化定数を指定する新しい人工データインスタンスと正則化定数に

${\displaystyle X_{2}\in {\mathbb {R} }^{2p\times n},y_{2}\in \{-1,1\}^{2p},C\geq 0.}$

ここで、はバイナリ ラベル で構成されます。 の場合、通常はプライマリで線形 SVM を解く方が高速ですが、それ以外の場合はデュアル定式化の方が高速です。 一部の著者は、この変換をサポート ベクター エラスティック ネット (SVEN) と呼び、次の MATLAB 疑似コードを提供しています。 ${\displaystyle y_{2}}$${\displaystyle {-1,1}}$${\displaystyle 2p>n}$

関数 β = SVEN ( X, y, t, λ2 ); 
[ n , p ] = size ( X ); X2 = [ bsxfun (@ minus , X , y ./ t ); bsxfun (@ plus , X , y ./ t )] ' ; Y2 = [ ones ( p , 1 ); - ones ( p , 1 )]; 2 p > nの場合、w = SVMPrimal ( X2 , Y2 , C = 1 / ( 2 * λ2 )); α = C * max ( 1 - Y2 .* ( X2 * w ), 0 );それ以外の場合、 α = SVMDual ( X2 , Y2 , C = 1 / ( 2 * λ2 )); end if β = t * ( α ( 1 : p ) - α ( p + 1 : 2 p )) / sum ( α );       
           
      
         
              
              
    
               
     
            

• 「Glmnet: Lasso および elastic-net 正規化一般化線形モデル」は、Rソース パッケージおよびMATLABツールボックスとして実装されているソフトウェアです。^{[10] [11]}これには、正規化パスに沿って計算された巡回座標降下法を使用して、ℓ ₁ (Lasso)、ℓ ₂ (リッジ回帰)、および 2 つのペナルティの混合 (elastic net) を使用した一般化線形モデルを推定する高速アルゴリズムが含まれています。
• JMP Pro 11には、適合モデルによる一般化回帰パーソナリティを使用した弾性ネット正則化が含まれています。
• 「pensim: 高次元データと並列化された反復ペナルティ回帰のシミュレーション」は、ℓパラメータの代替の並列化された「2D」チューニング方法を実装しており、この方法により予測精度が向上すると言われています。^{[12] [13]}
• scikit-learn には、弾性ネット正則化による線形回帰とロジスティック回帰が含まれています。
• SVENは、サポートベクターエラスティックネットのMatlab実装です。このソルバーは、エラスティックネット問題をSVMバイナリ分類のインスタンスに縮小し、Matlab SVMソルバーを使用してソリューションを見つけます。SVMは簡単に並列化できるため、コードは最新のハードウェア上でGlmnetよりも高速になります。^[14]
• SpaSMは、弾性ネット正規化回帰を含むスパース回帰、分類、主成分分析のMatlab実装である。 ^[15]
• Apache SparkはMLlib機械学習ライブラリでElastic Net Regressionをサポートしています。このメソッドは、より一般的なLinearRegressionクラスのパラメータとして利用できます。^[16]
• SAS（ソフトウェア） SASプロシージャGlmselect ^[17]とSAS ViyaプロシージャRegselect ^[18]は、モデル選択のための弾性ネット正則化の使用をサポートしています。

• ハスティー、トレバー、ティブシラニ、ジェローム、フリードマン(2017)。「シュリンク法」(PDF)。統計学習の要素: データマイニング、推論、予測(第 2 版)。ニューヨーク: シュプリンガー。pp. 61–79。ISBN 978-0-387-84857-0。

• 弾性ネットによる正則化と変数選択（プレゼンテーション）