マロウズCP

統計学において、コリン・リングウッド・マローズにちなんで名付けられたマローズ の^{[1] [2] は}、通常の最小二乗法を使用して推定された回帰モデルの適合度を評価するために使用されます。これは、いくつかの予測変数が何らかの結果を予測するために利用可能であり、これらの予測変数のサブセットを含む最適なモデルを見つけることが目標であるモデル選択のコンテキストに適用されます。の値が小さいということは、モデルが比較的正確であることを意味します。 ${\textstyle {\boldsymbol {C_{p}}}}$${\textstyle C_{p}}$

マローズのC _pは、ガウス線形回帰の特殊なケースにおいて赤池情報量基準と同等であることが示されている。^[3]

マローズのC _pは、モデルに変数が追加されるにつれて残差平方和などのモデル選択統計が常に小さくなるという過剰適合の問題に対処します。したがって、残差平方和が最小となるモデルを選択することを目指す場合、すべての変数を含むモデルが常に選択されます。代わりに、データのサンプルで計算されたC _p統計は、母集団のターゲット として予測誤差の平方和（SSPE）を推定します。

${\displaystyle E\sum _{i}({\hat {Y}}_{i}-E(Y_{i}\mid X_{i}))^{2}/\sigma ^{2},}$

ここで、はi番目のケースの回帰モデルからの適合値、E ( Y _i  |  X _i ) はi番目のケースの期待値、 σ ^{2 は}誤差分散（ケース全体で一定と仮定）です。平均二乗予測誤差（MSPE）は、変数を追加しても自動的に小さくなるわけではありません。この基準での最適なモデルは、サンプル サイズ、さまざまな予測子の効果サイズ、およびそれらの間の共線性の程度によって影響を受ける妥協案です。 ${\displaystyle {\hat {Y}}_{i}}$

K > PのセットからP 個の 回帰変数が選択された場合、その特定の回帰変数セットのC _p統計量は次のように定義されます。

${\displaystyle C_{p}={SSE_{p} \over S^{2}}-N+2(P+1),}$

どこ

• ${\displaystyle SSE_{p}=\sum _{i=1}^{N}(Y_{i}-{\hat {Y}}_{pi})^{2}}$はP回帰変数を持つモデルの誤差二乗和であり、
• Y _{pi は}P回帰変数からのYのi番目の観測値の予測値であり、
• S ^{2 は}K回帰変数の完全なセットでの回帰後の残差分散の推定値であり、^[4]によって推定できる。 ${\displaystyle {1 \over NK}\sum _{i=1}^{N}(Y_{i}-{\hat {Y}}_{i})^{2}}$
• N はサンプルサイズです。

次のような線形モデルがあるとします。

${\displaystyle Y=\beta _{0}+\beta _{1}X_{1}+\cdots +\beta _{p}X_{p}+\varepsilon }$

どこ：

• ${\displaystyle \beta _{0},\ldots ,\beta _{p}}$予測変数の係数である${\displaystyle X_{1},\ldots ,X_{p}}$
• ${\displaystyle \epsilon }$エラーを表す

C _pの別のバージョンは次のように定義することもできる: ^[5]

${\displaystyle C_{p}={\frac {1}{n}}(\operatorname {RSS} +2p{\hat {\sigma }}^{2})}$

どこ

• RSSは、トレーニングデータセットの残差平方和である。
• pは予測変数の数である
• 線形モデルの各応答に関連する分散の推定値を指します（すべての予測変数を含むモデルで推定されます）。${\displaystyle {\hat {\sigma }}^{2}}$

このバージョンのC _{p は}以前のバージョンと同等の値を与えないことに注意してください。ただし、この定義からの最小のC _{p を}持つモデルは、以前の定義からの最小のC _{p を}持つモデルと同じになります。

C p基準に_は2つの主な制限がある^[6]

1. C _p近似はサンプルサイズが大きい場合にのみ有効です。
2. Cpは変数選択（または特徴選択）問題のような複雑なモデルの集合を扱うこと_ができない。^[6]

C _p統計量は、ステップワイズ回帰のさまざまな形式の停止規則としてよく使用されます。Mallows は、多くの代替サブセット回帰から選択するための基準としてこの統計量を提案しました。明らかな適合度の欠如 (バイアス) の影響を受けていないモデルでは、C p_の期待値はPにほぼ等しくなります。それ以外の場合、期待値はおおよそPに正のバイアス項を加えた値になります。ただし、期待値がP以上であっても、 C _p < P、または極端な場合にはC _p < 0 になることを防ぐことはできません。[7] 上記のように、 P が増加する順に並べられたサブセットのリストでは、 C p が P に近づくサブセットを選択することが推奨されます。実際には、 C _p < 2 P_となる^ように、順序付けられたサブセットのリストからモデルを選択することで、正のバイアスを調整できます。

サンプルベースのC _p統計は MSPE の推定値であるため、モデル選択にC _{p を}使用しても、過剰適合を完全に防ぐことはできません。たとえば、サンプルC _{p が}MSPE を特に大幅に過小評価した モデルが選択される可能性もあります。

C _pなどのモデル選択統計は、通常、盲目的に使用されるのではなく、適用分野、モデルの用途、およびデータ内の既知のバイアスに関する情報がモデル選択プロセスで考慮されます。

• 適合度: 回帰分析
• 決定係数

• チョウ、グレゴリー C. (1983)。計量経済学。ニューヨーク：マグロウヒル。pp. 291–293。ISBN 978-0-07-010847-9。
• Hocking, RR (1976). 「線形回帰における変数の分析と選択」.バイオメトリクス. 32 (1): 1–50. CiteSeerX  10.1.1.472.4742 . doi :10.2307/2529336. JSTOR  2529336.
• ジャッジ, ジョージ G.; グリフィス, ウィリアム E.; ヒル, R. カーター; リー, ツォンチャオ (1980).計量経済学の理論と実践. ニューヨーク: ワイリー. pp. 417–423. ISBN 978-0-471-05938-7。