段階的回帰

統計学において、ステップワイズ回帰は、予測変数の選択が自動的な手順で行われる回帰モデルの適合方法である。 ^{[ 1 ] [ 2 ] [ 3 ] [ 4 ]}各ステップでは、事前に指定された基準に基づいて、説明変数のセットに追加または削除する変数が検討される。通常、これは、 F検定またはt検定の順方向、逆方向、または組み合わせたシーケンスの形式をとる。

最終的に選択されたモデルを適合させ、モデル構築プロセスを考慮して調整することなく推定値と信頼区間を報告するという慣行が頻繁に行われているため、段階的モデル構築の使用を完全に中止すべきだという声が上がっている^{[ 5 ] [ 6 ]}、あるいは少なくとも、事前に指定された自動基準と、バイアスのないより複雑な標準誤差推定値を使用して、モデルの不確実性が正しく反映されるようにすべきだという声が上がっている^{[ 7 ] [ 8 ]}。

段階的回帰分析の主な手法は以下のとおりです。

• 前方選択とは、モデルに変数を一切含めない状態から始め、選択したモデル適合基準を用いて各変数の追加をテストし、統計的に最も有意な適合度の改善をもたらす変数（もしあれば）を追加し、統計的に有意な程度にモデルを改善しない変数がなくなるまでこのプロセスを繰り返す手法である。
• 後方消去法とは、すべての候補変数から始めて、選択したモデル適合基準を使用して各変数の削除をテストし、削除してもモデル適合の統計的に有意な悪化が最も少ない変数（存在する場合）を削除し、統計的に有意な適合の損失なしにこれ以上変数を削除できなくなるまでこのプロセスを繰り返す方法です。
• 双方向消去法とは、上記の方法を組み合わせたもので、各ステップで変数を含めるか除外するかをテストする。

広く使われているアルゴリズムは、Efroymson (1960) によって最初に提案されました。^{[ 10 ]}これは、多数の潜在的な説明変数があり、モデル選択の根拠となる基礎理論がない場合の統計モデル選択の自動手順です。この手順は主に回帰分析で使用されますが、基本的なアプローチは多くの形式のモデル選択に適用できます。これは前方選択の変形です。プロセスの各段階で、新しい変数が追加された後、いくつかの変数を削除しても残差平方和( RSS) が著しく増加しないかどうかを確認するテストが行​​われます。この手順は、尺度が (局所的に) 最大化されるか、利用可能な改善が何らかの臨界値を下回ると終了します。

段階的回帰の主な問題点の1つは、可能なモデルの空間を広範囲にわたって探索することです。そのため、データに過剰適合しやすいという問題があります。言い換えれば、段階的回帰は、新しいサンプル外データよりもサンプル内のデータによく適合することがよくあります。極端なケースでは、乱数に基づいてモデルが統計的に有意になった例も報告されています。^{[ 11 ]}この問題は、変数を追加（または削除）する基準が十分に厳格であれば軽減できます。重要な境界線は、ボンフェローニ点、つまり、偶然のみに基づいて最良の偽変数がどの程度有意であるべきかという点にあります。t統計量スケールでは、これは約$\displaystyle {\sqrt {2\log p}}}$ここでpは予測変数の数です。残念ながら、これは実際にシグナルを伝える多くの変数が含まれないことを意味します。この境界は、過学習とシグナルの欠落の間の適切なトレードオフであることがわかります。異なるカットオフのリスクを見ると、この境界を使用することは、${\displaystyle 2\log p}$最良のリスク係数。他のカットオフでは、このようなリスクインフレがさらに大きくなる。^{[ 12 ] [ 13 ]}

ステップワイズ回帰に​​よって作成されたモデルのエラーをテストする方法は、モデルのF統計量、有意性、または多重 R に頼らず、代わりにモデルの作成に使用されていないデータセットに対してモデルを評価することです。^{[ 14 ]}これは多くの場合、利用可能なデータセットのサンプル (たとえば 70%) (「トレーニング セット」) に基づいてモデルを構築し、データセットの残りの部分 (たとえば 30%) を検証セットとして使用してモデルの精度を評価することによって行われます。精度は、多くの場合、ホールドアウト サンプルの予測値と実際の値の間の実際の標準誤差 (SE)、MAPE (平均絶対パーセント誤差)、または平均誤差として測定されます。^{[ 15 ]}この方法は、データが異なる設定 (たとえば、異なる時間、社会的状況と単独の状況) で収集された場合、またはモデルが一般化可能であると想定される場合に特に価値があります。

段階的回帰分析はデータマイニングで用いられる手法だが、議論の的となっている。いくつかの批判点が指摘されている。

• これらの検定自体が同じデータに基づいているため、偏りがあります。^{[ 16 ] [ 17 ]}ウィルキンソンとダラル（1981）^{[ 18 ]は}、シミュレーションによって多重相関係数のパーセンテージポイントを計算し、F手順によって0.1%で有意であるとされた前方選択によって得られた最終的な回帰が、実際には5%でのみ有意であることを示しました。
• 自由度を推定する際、選択された最良適合から候補となる独立変数の数が最終モデルの変数の総数よりも少ない場合があり、自由度の数に合わせてr ²値を調整すると、適合度が実際よりも良く見えることがあります。結果として得られた適合における独立変数の数を数えるだけでなく、モデル全体で使用された自由度の数を考慮することが重要です。^{[ 19 ]}
• 作成されたモデルは、データの実際のモデルを過度に単純化したものである可能性がある。^{[ 20 ]}

モデルと手順、およびモデルに適合させるために使用されるデータセットとの関係の限界に基づくこのような批判は、通常、PRESS手順のように、独立したデータセットでモデルを検証することによって対処されます。

批評家たちは、この手順をデータマイニングの典型的な例と見ており、集中的な計算は主題分野の専門知識の不十分な代替手段となることが多い。さらに、ステップワイズ回帰の結果は、モデル選択の発生を考慮して調整することなく、誤って使用されることが多い。特に、モデル選択が行われなかったかのように最終的に選択されたモデルを適合させ、最小二乗理論がそれらに有効であるかのように推定値と信頼区間を報告する慣行は、スキャンダルであるとされている。^{[ 7 ]}広範な誤った使用と、アンサンブル学習、モデルにすべての変数を残す、または専門家の判断を使用して関連する変数を特定するなどの代替手段が利用可能であることから、ステップワイズモデル選択を完全に避けるべきだという声が上がっている。^{[ 5 ]}

• フリードマンのパラドックス
• ロジスティック回帰
• 最小角度回帰
• オッカムの剃刀
• 回帰検証
• ラッソ（統計）