ロバスト回帰

ロバスト統計学において、ロバスト回帰は従来の回帰分析のいくつかの限界を克服しようとします。回帰分析は、1 つ以上の独立変数と従属変数の関係をモデル化します。通常の最小二乗法などの標準的なタイプの回帰は、基礎となる仮定が正しい場合は好ましい特性を持ちますが、そうでない場合は誤解を招く結果をもたらす可能性があります (つまり、仮定違反に対してロバストではありません)。ロバスト回帰法は、基礎となるデータ生成プロセスによる仮定違反が回帰推定値に与える影響を制限するように設計されています。

たとえば、回帰モデルの最小二乗推定値は外れ値に非常に敏感です。典型的な観測値の 2 倍の誤差を持つ外れ値は、二乗誤差損失に 4 倍 (2 の二乗) 寄与するため、回帰推定値に対する影響力が大きくなります。Huber損失関数は、標準の二乗誤差損失に代わる堅牢な代替手段であり、二乗誤差損失への外れ値の寄与を減らして、回帰推定値への影響を制限します。

ロバスト推定を検討すべき例の 1 つは、異分散性が強く疑われる場合です。等分散モデルでは、誤差項の分散はxのすべての値に対して一定であると想定されます。異分散性により、分散はxに依存でき、多くの実際のシナリオでより正確になります。たとえば、支出の分散は、収入が高い個人の方が収入が低い個人よりも大きくなることがよくあります。ソフトウェア パッケージは通常、等分散モデルをデフォルトとしますが、そのようなモデルは異分散モデルよりも正確性が低い場合があります。1 つの簡単な方法 (Tofallis、2008) は、パーセンテージ誤差に最小二乗法を適用することです。これにより、通常の最小二乗法と比較して、従属変数の大きい値の影響が軽減されます。

ロバスト推定が使用されるもう 1 つの一般的な状況は、データに外れ値が含まれている場合です。外れ値が他のデータと同じデータ生成プロセスから発生していない場合は、最小二乗推定は非効率的で、偏りが生じる可能性があります。最小二乗予測は外れ値に引き寄せられ、推定値の分散は人為的に膨らませられるため、外れ値が隠される可能性があります (地質統計学や医療統計学の一部の分野を含む多くの状況では、外れ値こそが重要なのです)。

最小二乗法（または一般的な古典的な統計手法）は堅牢であると主張されることもありますが、堅牢であるというのは、モデル違反があってもタイプ I の誤り率が増加しないという意味でのみです。実際、外れ値が存在する場合、タイプ I の誤り率は名目値よりも低くなる傾向があり、タイプ II の誤り率が劇的に増加することがよくあります。タイプ I の誤り率の低減は、古典的な手法の 保守性と呼ばれています。

ロバスト回帰法は、多くの状況で最小二乗推定よりも優れた性能を発揮するにもかかわらず、いまだに広く使用されていません。この方法が不評な理由はいくつか考えられます (Hampel ら、1986、2005)。考えられる理由の 1 つは、競合する方法が複数あり^[要出典]、この分野が何度も誤ったスタートを切ったことです。また、ロバスト推定値の計算は、最小二乗推定値よりもはるかに計算量が多くなります。ただし、近年では、計算能力が大幅に向上したため、この反論はそれほど重要ではなくなりました。もう 1 つの理由は、人気のある統計ソフトウェア パッケージの一部でこの方法が実装されていないことです (Stromberg、2004)。ロバスト回帰法が不評な最も重要な理由は、誤差分散が非常に大きいか存在しない場合、任意のデータセットに対して、サンプルが非常に大きくない限り、ロバストであるかどうかにかかわらず、回帰係数の推定値は実質的に役に立たない可能性が高いことです。

ロバストな手法の普及は遅いものの、現代の主流の統計教科書には、これらの手法に関する説明が含まれていることが多い（例えば、SeberとLeeの本、Farawayの本^[曖昧]。さまざまなロバスト回帰手法が互いにどのように発展してきたかについての一般的な説明については、Andersenの本^{[曖昧]を参照）。また、} R、Statsmodels、Stata、S-PLUSなどの現代の統計ソフトウェアパッケージには、ロバスト推定のためのかなりの機能が含まれている（例えば、VenablesとRipleyの本、Maronnaらの本^[曖昧]を参照）。

最小二乗推定値よりも外れ値の影響が少ない回帰モデルのパラメータを推定する最も簡単な方法は、最小絶対偏差を使用することです。それでも、大きな外れ値はモデルにかなりの影響を及ぼす可能性があるため、さらに堅牢なアプローチの研究が求められています。

1964 年、Huber は回帰分析にM 推定法を導入しました。M 推定法の M は「最大尤度型」を意味します。この方法は応答変数の外れ値に対しては堅牢ですが、説明変数(てこポイント) の外れ値に対しては耐性がないことが判明しました。実際、説明変数に外れ値がある場合、この方法は最小二乗法よりも有利ではありません。

1980 年代には、耐性の欠如を克服する試みとして、M 推定の代替案がいくつか提案されました。非常に実用的なレビューについては、Rousseeuwと Leroy ^[不明瞭]の書籍を参照してください。最小二乗法(LTS) は実行可能な代替案であり、現在 (2007 年) Rousseeuw と Ryan (1997、2008) が推奨する選択肢です。Theil –Sen 推定量はLTS よりもブレークダウン ポイントが低くなりますが、統計的に効率的で人気があります。提案されたもう 1 つの解決策は S 推定でした。この方法は、残差のスケール (方法の名前の S の由来) の堅牢な推定値を最小化する線 (平面または超平面) を見つけます。この方法は、てこ比ポイントに対して非常に耐性があり、応答の外れ値に対して堅牢です。ただし、この方法は非効率的であることもわかりました。

MM 推定は、S 推定の堅牢性と耐性を維持しながら、M 推定の効率性を獲得しようとします。この方法は、残差のスケールの M 推定値 (方法名の最初の M) を最小化する、堅牢性と耐性に優れた S 推定値を見つけることによって進められます。推定されたスケールは、パラメータの近くの M 推定値 (2 番目の M) が特定されている間、一定に保たれます。

回帰モデルの堅牢な推定に対するもう 1 つのアプローチは、正規分布をヘビーテール分布に置き換えることです。自由度が 4 ～ 6 のt分布は、さまざまな実際の状況で適切な選択であることが報告されています。ベイジアン ロバスト回帰は完全にパラメトリックであるため、このような分布に大きく依存します。

t分布残差の仮定の下では、分布は位置スケール族です。つまり、t分布の自由度は尖度パラメータと呼ばれることもあります。Lange、Little、Taylor (1989) は、非ベイズの観点からこのモデルを詳細に説明しています。ベイズの説明は Gelman ら (2003) に記載されています。 ${\displaystyle x\leftarrow (x-\mu )/\sigma }$

代替のパラメトリックアプローチは、残差が正規分布の混合に従うと仮定することです(Daemi et al. 2019)。特に、観測値の大部分は指定された正規分布からのものですが、少数ははるかに高い分散を持つ正規分布からのものです。つまり、残差は、分散 （ は小さい）を持つ正規分布から来る確率と、（ ）の分散を持つ正規分布から来る確率を持ちます。 ${\displaystyle 1-\varepsilon }$${\displaystyle \sigma ^{2}}$${\displaystyle \epsilon }$${\displaystyle \epsilon }$${\displaystyle c\sigma ^{2}}$${\displaystyle c>1}$

${\displaystyle e_{i}\sim (1-\varepsilon )N(0,\sigma ^{2})+\varepsilon N(0,c\sigma ^{2}).}$

典型的には、。これは、汚染モデルと呼ばれることもあります。 ${\displaystyle \varepsilon <0.1}$${\displaystyle \epsilon }$

パラメトリック アプローチの利点は、尤度理論が推論に「既製の」アプローチを提供する (ただし、-汚染モデルなどの混合モデルでは、通常の規則性条件は適用されない可能性があります) ことと、適合からシミュレーション モデルを構築できることです。ただし、このようなパラメトリック モデルでは、基礎となるモデルが文字通り正しいと想定されています。そのため、歪んだ残差分布や有限の観測精度は考慮されません。 ${\displaystyle \epsilon }$

もう 1 つの堅牢な方法は、単位重みの使用です( Wainer & Thissen、1976)。これは、単一の結果に対して複数の予測因子がある場合に適用できる方法です。Ernest Burgess (1928) は、単位重みを使用して仮釈放の成功を予測しました。彼は、21 の肯定的な因子を、存在する (例: 「逮捕歴なし」 = 1) または存在しない (「逮捕歴」 = 0) としてスコア化し、それらを合計して予測スコアを算出しました。このスコアは、仮釈放の成功の有用な予測因子であることが示されました。Samuel S. Wilks (1938) は、ほぼすべての回帰重みセットの合計が、単位重みを含め、互いに非常に高い相関関係にある複合値になることを示しました。この結果は、Wilks の定理と呼ばれています(Ree、Carretta、Earles、1998)。Robyn Dawes (1979) は、応用設定での意思決定を調査し、単位重みを持つ単純なモデルが人間の専門家よりも優れている場合が多いことを示しました。 Bobko、Roth、およびBuster (2007) は、単位重みに関する文献をレビューし、数十年にわたる実証的研究により、単位重みはクロス検証において通常の回帰重みと同様のパフォーマンスを示すことが示されていると結論付けました。

BUPA肝臓データは、Breiman ( 2001) を含むさまざまな著者によって研究されています。データはクラシック データ セットページで参照でき、 Box–Cox 変換に関する記事にもいくつか説明があります。ALT のログと γGT のログのプロットを以下に示します。2 つの回帰線は、通常最小二乗法 (OLS) とロバスト MM 推定によって推定されたものです。分析は、 Venables と Ripley (2002) が提供したソフトウェアを使用してRで実行されました。

2 つの回帰線は非常に似ているように見えます (このサイズのデータ​​ セットでは珍しいことではありません)。ただし、残差スケールの推定値を考慮すると、ロバスト アプローチの利点が明らかになります。通常の最小二乗法の場合、スケールの推定値は 0.420 ですが、ロバスト法の場合は 0.373 です。したがって、この例では、通常の最小二乗法と MM 推定値の相対的な効率は 1.266 です。この非効率性により、仮説検定での検出力が低下し、推定パラメータの信頼区間が不必要に広くなります。

通常の最小二乗法の非効率性によるもう 1 つの結果は、残差スケールの推定値が誇張されるため、いくつかの外れ値が隠されることです。スケールされた残差は、より適切なスケールの推定値を使用した場合よりも 0 に近づきます。2 つのモデルからスケールされた残差のプロットを以下に示します。x軸の変数は、データ セットに表示された観測値の数です。Rousseeuw と Leroy (1986) には、このようなプロットが多数含まれています。

水平基準線は 2 と -2 にあるため、これらの境界を超えて観測されたスケール残差は外れ値と見なすことができます。明らかに、最小二乗法では多くの興味深い観測値が隠されてしまいます。

1 次元または 2 次元では、従来の方法を使用した外れ値検出は手動で実行できますが、大規模なデータ セットと高次元では、マスキングの問題により、多くの外れ値の識別が不可能になる可能性があります。堅牢な方法は、これらの観察を自動的に検出し、外れ値が存在する場合に従来の方法よりも大きな利点を提供します。

• 回帰

• 反復的に再重み付けされた最小二乗法
• M推定量
• ゆったりとした交差点
• ランサック
• 反復中央値回帰
• テイル・セン推定量、ロバストな単純線形回帰法

• Liu, J.; Cosman, PC; Rao, BD (2018). 「L0 正規化によるロバスト線形回帰」。IEEE Transactions on Signal Processing . 66 (3): 698–713. doi : 10.1109/TSP.2017.2771720 .
• Andersen, R. (2008)。ロバスト回帰の最新手法。Sage University 社会科学における定量的応用に関する論文シリーズ、07-152。
• Ben-Gal I.、「外れ値検出」、Maimon O. および Rockach L. (編) 『データ マイニングおよび知識発見ハンドブック: 実践者および研究者のための完全ガイド』、Kluwer Academic Publishers、2005 年、ISBN 0-387-24435-2。 
• Bobko, P.、Roth, PL、Buster, MA (2007)。「複合スコア作成における単位重みの有用性: 文献レビュー、内容妥当性への応用、メタ分析」。Organizational Research Methods、第 10 巻、689-709 ページ。doi : 10.1177 /1094428106294734
• Daemi、Atefeh、Hariprasad Kodamana、Biao Huang。「ガウス混合尤度によるガウス過程モデリング」Journal of Process Control 81 (2019): 209-220。doi :10.1016/ j.jprocont.2019.06.007
• Breiman, L. (2001). 「統計モデリング: 2つの文化」.統計科学. 16 (3): 199–231. doi : 10.1214/ss/1009213725 . JSTOR  2676681.
• バージェス、EW (1928)。「仮釈放の成功または失敗を決定する要因」。AA ブルース (編)、イリノイ州の不確定判決法と仮釈放の仕組み(pp. 205–249)。イリノイ州スプリングフィールド: イリノイ州仮釈放委員会。Google ブックス
• Dawes, Robyn M. (1979)。「意思決定における不適切線形モデルの堅牢な美しさ」。American Psychologist、第 34 巻、571-582 ページ。doi :10.1037/0003-066X.34.7.571。アーカイブ PDF
• Draper, David (1988). 「線形モデルのランクベースロバスト分析。I . 解説とレビュー」。統計科学。3 ( 2 ) : 239–257。doi : 10.1214/ss/1177012915。JSTOR  2245578 。
• Faraway, JJ (2004). R による線形モデル. Chapman & Hall/CRC.
• Fornalski, KW (2015). 「ロバストベイズ回帰分析の応用」International Journal of Society Systems Science . 7 (4): 314–333. doi :10.1504/IJSSS.2015.073223.
• Gelman, A.; JB Carlin; HS Stern; DB Rubin (2003)。ベイズデータ分析（第 2 版）。Chapman & Hall/CRC。
• ハンペル、フランス; EM ロンケッティ。 PJ・ルシーウ; WA シュターヘル (2005) [1986]。堅牢な統計: 影響関数に基づくアプローチ。ワイリー。
• Lange, KL; RJA Little; JMG Taylor (1989)。「t分布を用いたロバストな統計モデリング」。アメリカ統計学会誌。84 (408): 881–896。doi :10.2307/2290063。JSTOR  2290063。
• Lerman, G.; McCoy, M.; Tropp, JA; Zhang T. (2012)。「線形モデルの堅牢な計算、または干し草の山から針を見つける方法」、arXiv :1202.4044。
• Maronna, R.; D. Martin; V. Yohai (2006).ロバスト統計: 理論と方法. Wiley.
• McKean, Joseph W. (2004). 「線形モデルの堅牢な分析」.統計科学. 19 (4): 562–570. doi : 10.1214/088342304000000549 . JSTOR  4144426.
• Radchenko SG (2005)。統計モデル推定のためのロバストな方法:モノグラフ。(ロシア語)キエフ: РР «Sanspariel»。p. 504。ISBN 978-966-96574-0-4。
• Ree, MJ、Carretta, TR、Earles, JA (1998)。「トップダウンの決定では、変数の重み付けは重要ではない：Wilk の定理の結果」。Organizational Research Methods 、第 1 巻 (4)、407-420ページ。doi :10.1177/109442819814003
• Rousseeuw, PJ ; AM Leroy (2003) [1986].ロバスト回帰と外れ値検出. Wiley.
• Ryan, TP (2008) [1997].現代回帰分析法. Wiley.
• Seber, GAF; AJ Lee (2003).線形回帰分析(第 2 版). Wiley.
• Stromberg, AJ (2004). 「なぜ統計ソフトウェアを書くのか? 堅牢な統計手法の事例」Journal of Statistical Software . 10 (5). doi : 10.18637/jss.v010.i05 .
• Strutz, T. (2016).データフィッティングと不確実性（加重最小二乗法とその先への実践的な入門） . Springer Vieweg. ISBN 978-3-658-11455-8。
• Tofallis, Chris (2008). 「最小二乗パーセンテージ回帰」. Journal of Modern Applied Statistical Methods . 7 : 526–534. doi :10.2139/ssrn.1406472. hdl : 2299/965 . SSRN  1406472.
• Venables, WN; BD Ripley (2002). Modern Applied Statistics with S. Springer.
• Wainer, H.、Thissen, D. (1976)。「ロバスト回帰に向けた3つのステップ」Psychometrika、第41巻(1)、9～34ページ。doi :10.1007/ BF02291695
• Wilks, SS (1938)。「従属変数がない場合の相関変数の線形関数の重み付けシステム」Psychometrika、第 3 巻、23 ～ 40 ページ。doi :10.1007/ BF02287917

• Rプログラミングウィキブック
• Brian Ripley の堅牢な統計コースのノート。
• Nick Fieller の統計モデリングと計算に関するコースノートには、ロバスト回帰に関する資料が含まれています。
• オルファ・ナスラウイによるロバスト統計の概要
• Olfa Nasraoui によるロバスト クラスタリングの概要
• なぜ統計ソフトウェアを書くのか？ロバストな統計手法の事例、AJ Stromberg
• フリーソフトウェア (Fortran 95) L1 ノルム回帰。最小二乗法の代わりに絶対偏差の最小化を行います。
• 堅牢な非線形回帰のための無料のオープンソース Python 実装。