最小角回帰

統計学において、最小角回帰（LARS）は、ブラッドリー・エフロン、トレバー・ハスティー、イアン・ジョンストン、ロバート・ティブシラニによって開発された、高次元データに線形回帰モデルを当てはめるアルゴリズムです。^[1]

応答変数が、潜在的な共変量のサブセットの線形結合によって決定されると想定します。この場合、LARS アルゴリズムは、含める変数とその係数の推定値を生成する手段を提供します。

LARS ソリューションは、ベクトル結果を与える代わりに、パラメータ ベクトルのL1 ノルムの各値のソリューションを示す曲線で構成されます。このアルゴリズムは、前向きステップワイズ回帰に​​似ていますが、各ステップで変数を含める代わりに、推定パラメータは、残差との相関関係に等角の方向に増加します。

LARS メソッドの利点は次のとおりです。

1. 計算的には前方選択と同じくらい高速です。
2. これは完全な区分線形ソリューション パスを生成し、クロス検証や同様のモデル調整の試みに役立ちます。
3. 2 つの変数が応答とほぼ等しく相関している場合、それらの係数はほぼ同じ割合で増加するはずです。したがって、アルゴリズムは直感どおりに動作し、より安定しています。
4. これは簡単に変更でき、 Lassoや前向き段階的回帰など、同様の結果を生成する他の方法に対して効率的なアルゴリズムを作成できます。
5. これは、 p  ≫  n（すなわち、予測変数の数pが点の数nよりも大幅に大きい場合）のコンテキストで効果的です^[2]

LARS 方式の欠点は次のとおりです。

1. 従属変数にノイズが少しでも含まれていて、独立変数が高次元の多重共線性を持つ場合、選択された変数が実際の根本的な原因変数である可能性が高いと考える理由はありません。この問題は LARS に固有のものではなく、根本的な決定論的要素を見つけようとする変数選択アプローチに共通する問題です。しかし、LARS は残差の反復的な再適合に基づいているため、ノイズの影響に特に敏感であるように見えます。この問題は、Efron ら (2004) Annals of Statistics の記事の考察セクションで Weisberg によって詳細に説明されています。^[3] Weisberg は、LARS を検証するために最初に使用されたデータの再分析に基づく実証例を示し、変数選択では相関の高い変数で問題があるようだと述べています。
2. 現実世界のほぼすべての高次元データは、偶然にも、少なくともいくつかの変数間である程度の共線性を示すため、相関変数に関する LARS の問題により、高次元データへの適用が制限される可能性があります。

最小角度回帰アルゴリズムの基本的な手順は次のとおりです。

• すべての係数がゼロの状態で開始します。${\displaystyle \beta }$
• 最も相関のある予測子を見つけます。${\displaystyle x_{j}}$${\displaystyle y}$
• 係数をとの相関の符号の方向に増加します。途中で残差を取ります。他の予測変数がと同程度の相関を持つようになったら停止します。${\displaystyle \beta _{j}}$${\displaystyle y}$${\displaystyle r=y-{\hat {y}}}$${\displaystyle x_{k}}$${\displaystyle r}$${\displaystyle x_{j}}$
• 他の予測変数が残差 と同程度の相関を持つようになるまで、 ( 、 ) をそれらの結合最小二乗方向に増加させます。${\displaystyle \beta _{j}}$${\displaystyle \beta _{k}}$${\displaystyle x_{m}}$${\displaystyle r}$
• 他の予測変数が残差 と同程度の相関を持つようになるまで、 ( 、、 ) をそれらの結合最小二乗方向に増加させます。${\displaystyle \beta _{j}}$${\displaystyle \beta _{k}}$${\displaystyle \beta _{m}}$${\displaystyle x_{n}}$${\displaystyle r}$
• すべての予測変数がモデルに含まれるまで続ける。^[4]

最小角回帰は、Rではlars パッケージ、Pythonではscikit-learn パッケージ、SASではGLMSELECT プロシージャーを介して実装されます。

• 高次元統計
• ラッソ（統計）
• 回帰分析
• モデルの選択