決定係数

統計学において、決定係数はR ²またはr ²と表記され、「R の二乗」と発音され、独立変数から予測可能な従属変数の変動の割合です。

これは、他の関連情報に基づいて将来の結果を予測したり仮説を検証したりすることを主な目的とする統計モデルのコンテキストで使用される統計です。モデルによって説明される結果の総変動の割合に基づいて、観測された結果がモデルによってどの程度再現されているかの尺度を提供します。^{[1] [2] [3]}

R ²には、たまにしか等価でない定義がいくつかあります。そのようなケースの1つに、 R ^{2 の}代わりにr ²が使用される単純線形回帰があります。切片のみが含まれる場合、r ²は、観測された結果と観測された予測値の間の標本相関係数（つまり、r ）の2乗に過ぎません。 ^[4]追加の回帰変数が含まれる場合、 R ^{2 は}多重相関係数の2乗です。どちらの場合も、決定係数は通常0から1の範囲です。

R ^{2 が}負の値になる場合もあります。これは、対応する結果と比較されている予測が、それらのデータを使用したモデルフィッティング手順から導き出されていない場合に発生します。モデルフィッティング手順が使用されている場合でも、R ^{2 が}負になる場合があります。たとえば、切片を含めずに線形回帰が実行された場合、^[5]または非線形関数を使用してデータをフィッティングした場合です。^[6]負の値が発生する場合、この特定の基準によれば、データの平均は、フィッティングされた関数値よりも結果に適合します。

決定係数は、回帰分析の評価において、 MAE、MAPE、MSE、RMSEよりも直感的に有益である。前者はパーセンテージで表すことができるのに対し、後者は任意の範囲で表すことができるからである。また、特定のテストデータセットでは、SMAPEと比較して適合度の低さに対してより堅牢であることが証明されている。 ^[7]

シミュレーション値 ( Y _pred ) と測定値 ( Y _obs )の適合度を評価する場合、線形回帰のR ^{2 (つまり、} Y _obs = m · Y _pred + b)に基づいて評価するのは適切ではありません。^[要出典] R ^{2 は}Y obs_とY pred_間の線形相関の度合いを定量化しますが、適合度評価では、特定の線形相関のみを考慮する必要があります。Y _obs = 1 · Y _pred + 0 (つまり、1:1 の直線)。^[8] [ ^9]

データ セットには、 y ₁、...、y _{n で}マークされたn 個の値(まとめてy _iまたはベクトルy = [ y ₁、...、y _n ] ^Tと呼ばれる)があり、それぞれに適合された (またはモデル化された、または予測された) 値f ₁、...、f _n (ベクトルfとしてf _iまたはŷ _iと呼ばれることもあります) が関連付けられています。

残差をe _i = y _i − f _i（ベクトルeを形成）と定義します。

が観測データの平均である 場合、 データセットの変動性は 2 つの二乗和の式で測定できます。 ${\displaystyle {\bar {y}}}$$${\displaystyle {\bar {y}}={\frac {1}{n}}\sum _{i=1}^{n}y_{i}}$$

• 残差の二乗和、残差二乗和とも呼ばれます。$${\displaystyle SS_{\text{res}}=\sum _{i}(y_{i}-f_{i})^{2}=\sum _{i}e_{i}^{2}\,}$$
• 総二乗和（データの分散に比例）:$${\displaystyle SS_{\text{tot}}=\sum _{i}(y_{i}-{\bar {y}})^{2}}$$

決定係数の最も一般的な定義は $${\displaystyle R^{2}=1-{SS_{\rm {res}} \over SS_{\rm {tot}}}}$$

最良のケースでは、モデル化された値は観測値と完全に一致し、R ² = 1になります。常にy を予測するベースライン モデルでは、 R ² = 0になります。 ${\displaystyle SS_{\text{res}}=0}$

一般的な形式では、R ^{2 は}説明できない分散の割合 (FVU) に関連していると考えられます。これは、2 番目の項が説明できない分散 (モデルのエラーの分散) と合計分散 (データの) を比較するためです。 $${\displaystyle R^{2}=1-{\text{FVU}}}$$

R ²の値が大きいほど、回帰モデルがより成功していることを意味します。^{[4] : 463} R ² = 0.49 と仮定します。これは、データセット内の従属変数の変動性の49%が考慮され、残りの51%の変動性はまだ考慮されていないことを意味します。回帰モデルの場合、回帰平方和（説明平方和とも呼ばれます）は次のように定義されます。

${\displaystyle SS_{\text{reg}}=\sum _{i}(f_{i}-{\bar {y}})^{2}}$

単純な線形回帰の場合のように、総二乗和が上で定義した他の 2 つの二乗和の合計と等しくなる場合もあります。

${\displaystyle SS_{\text{res}}+SS_{\text{reg}}=SS_{\text{tot}}}$

この関係が成り立つ場合の1つの例については、一般的なOLSモデルの分割を参照してください。この関係が成り立つ場合、上記のR ²の定義は次と同等です。

${\displaystyle R^{2}={\frac {SS_{\text{reg}}}{SS_{\text{tot}}}}={\frac {SS_{\text{reg}}/n}{SS_{\text{tot}}/n}}}$

ここで、n は変数の観測値（ケース）の数です。

この形式では、R ^{2 は}説明分散（モデルの予測値の分散、SS _reg / n）と総分散（従属変数のサンプル分散、SS _tot / n ）の比として表されます。

この平方和の分割は、例えばモデル値ƒ _{i が}線形回帰によって得られた場合に成立する。より緩やかな十分条件は次のようになる。モデルは次の形式を持つ。

${\displaystyle f_{i}={\widehat {\alpha }}+{\widehat {\beta }}q_{i}}$

ここで、q _{i は}iまたは他の自由パラメータに依存する場合も依存しない場合もある任意の値です(一般的な選択であるq _i  =  x _iは 1 つの特殊なケースにすぎません)。係数推定値と は残差二乗和を最小化することで得られます。 ${\displaystyle {\widehat {\alpha }}}$${\displaystyle {\widehat {\beta }}}$

この一連の条件は重要であり、適合された残差とモデル化された値の特性に多くの影響を及ぼします。特に、以下の条件下では、

${\displaystyle {\bar {f}}={\bar {y}}.\,}$

線形最小二乗多重回帰（適合切片と傾きを使用）では、R ^{2 は}従属変数の 観測データ値とモデル化（予測）データ値間のピアソン相関係数の二乗に等しくなります。${\displaystyle \rho ^{2}(y,f)}$${\displaystyle y}$${\displaystyle f}$

単一の説明変数（切片と傾きが適合されている）を持つ線形最小二乗回帰では、これは従属変数と説明変数間のピアソン相関係数の二乗にも等しくなります 。 ${\displaystyle \rho ^{2}(y,x)}$${\displaystyle y}$${\displaystyle x}$

これは、2つの説明変数間の相関係数と混同してはならない。相関係数は次のように定義される。

${\displaystyle \rho _{{\widehat {\alpha }},{\widehat {\beta }}}={\operatorname {cov} \left({\widehat {\alpha }},{\widehat {\beta }}\right) \over \sigma _{\widehat {\alpha }}\sigma _{\widehat {\beta }}},}$

ここで、2つの係数推定値間の共分散とそれらの標準偏差は、係数推定値の共分散行列から得られます。 ${\displaystyle (X^{T}X)^{-1}}$

より一般的なモデリング条件では、予測値が線形最小二乗回帰とは異なるモデルから生成される場合、R ²値は、元のデータ値とモデル化されたデータ値間の相関係数の二乗として計算できます。この場合、値はモデル化された値がどれほど優れているかを直接示す尺度ではなく、モデル化された値から予測子をどれほど適切に構築できるかを示す尺度です ( α + βƒ _iの形式の修正予測子を作成することにより)。^[要出典] Everitt によると、^[10]この用法は、特に「決定係数」という用語の定義、つまり 2 つの (一般的な) 変数間の相関の二乗です。 ${\displaystyle y}$${\displaystyle f}$

R ^{2 は}モデルの適合度を測る指標です。 ^[11]回帰分析において、R ²決定係数は回帰予測が実際のデータポイントにどれだけ近似しているかを統計的に測る指標です。R 2が¹の場合、回帰予測がデータに完全に適合していることを示します。

R ²の値が0 から 1 の範囲外になるのは、モデルがデータに適合する度合いが、最悪の最小二乗予測子 (観測データの平均の高さに等しい水平超平面に相当) よりも悪い場合です。これは、間違ったモデルが選択された場合、または無意味な制約が誤って適用された場合に発生します。Kvålseth ^[12]の式 1が使用される場合 (これは最も頻繁に使用される式です)、R ^{2 は}ゼロ未満になる可能性があります。Kvålseth の式 2 が使用される場合、R ^{2 は}1 より大きくなる可能性があります。

R ²が使用されるすべての場合において、予測子は通常の最小二乗回帰によって、つまりSS _{res を}最小化することによって計算されます。この場合、モデル内の変数の数が増加するにつれて、R ^{2 が増加します (} R ^{2 は}含まれる変数の数とともに単調に増加し、決して減少しません)。これは、R ²値を増加させるために変数を追加し続ける可能性がある (キッチンシンク回帰) R ²の使用法の1 つに欠点があることを示しています。たとえば、車の燃費、価格、エンジン出力からあるモデルの売上を予測しようとする場合、モデル名の最初の文字や車を設計する主任エンジニアの身長など、おそらく無関係な要因を含めることができます。これは、変数が追加されてもR ²が減少することはなく、偶然のみによって増加する可能性が高いためです。

これにより、調整済み R2 を調べるという代替アプローチが生まれます。この統計の説明はR ²とほぼ同じですが、モデルに追加の変数が含まれるため、統計にペナルティが課せられます。通常の最小二乗法によるフィッティング以外のケースでは、R ²統計は上記のように計算でき、依然として有用な尺度となる可能性があります。加重最小二乗法または一般化最小二乗法によるフィッティングの場合は、それらの統計フレームワークに適したR ²の代替バージョンを計算できますが、「生の」R ^{2は、より簡単に解釈できる場合}は依然として有用です。R ²の値は、統計的根拠を必要としないあらゆる種類の予測モデルに対して計算できます。

複数の説明変数を持つ次のような線形モデルを考える。

${\displaystyle Y_{i}=\beta _{0}+\sum _{j=1}^{p}\beta _{j}X_{i,j}+\varepsilon _{i},}$

ここで、i番目のケースでは、は応答変数、はp回帰変数、 は平均ゼロ誤差項です。これらの量は未知の係数であり、その値は最小二乗法によって推定されます。決定係数R ^{2 は}、モデルの全体的な適合度の尺度です。具体的には、R ^{2 は}[0, 1] の要素であり、Xの回帰変数 (説明変数)の線形結合に起因する可能性のあるY _iの変動の割合を表します。^[13]${\displaystyle {Y_{i}}}$${\displaystyle X_{i,1},\dots ,X_{i,p}}$${\displaystyle \varepsilon _{i}}$${\displaystyle \beta _{0},\dots ,\beta _{p}}$

R ^{2 は}、モデル内の回帰変数によって「説明される」応答変動の割合として解釈されることが多い。したがって、R ²  = 1 は、適合モデルが のすべての変動を説明することを示し、R ²  = 0 は「線形」関係がないことを示す (直線回帰の場合、直線モデルは応答変数 と回帰変数の間の一定線 (傾き = 0、切片 = ) であることを意味する)。R 2 = 0.7 などの内部値は、次^の ように解釈できる。「応答変数の分散の 70 パーセントは、説明変数によって説明できる。残りの 30 パーセントは、未知の潜在変数または固有の変動による可能性がある。」 ${\displaystyle y}$${\displaystyle {\bar {y}}}$

相関関係と関連性の他の統計的記述と同様に、R ²にも適用される注意は、「相関関係は因果関係を意味しない」ということです。言い換えれば、相関関係は変数間の因果関係を明らかにする上で貴重な手がかりとなる場合がありますが、2 つの変数間の相関関係の推定値がゼロでないことは、それ自体では、1 つの変数の値を変更すると他の変数の値も変更されるという証拠にはなりません。たとえば、マッチ (またはライター) を持ち歩く習慣は肺がんの発生率と相関していますが、マッチを持ち歩くことはがんの原因にはなりません (「原因」の標準的な意味で)。

最小二乗法で近似された単一の回帰変数の場合、R ^{2 は}回帰変数と応答変数を関連付けるピアソンの積率相関係数の二乗です。より一般的には、 R ^{2 は}構築された予測変数と応答変数間の相関の二乗です。複数の回帰変数がある場合、R ^{2 は}多重決定係数と呼ばれることがあります。

一般的なデータを使用した最小二乗回帰では、モデル内の回帰変数の数が増えると、 R 2 は少なくとも弱く増加します。回帰変数の数が増えると R 2 の値が増加するため、独立^変数の^数が大きく異なるモデルを有意義に比較するには、R ^{2のみを使用することはできません。2 つのモデルを有意義に比較するには、}残差二乗和に対してグレンジャー因果関係の F 検定と同様に F 検定を実行できます^[要出典]が、これは常に適切であるとは限りません^{[さらなる説明が必要] 。このことを念頭に置いて、一部の著者は}R ^{2 を}R _q ²と表記します。ここで、 q はXの列数(定数を含む説明変数の数) です。

この性質を証明するために、まず最小二乗線形回帰の目的が

${\displaystyle \min _{b}SS_{\text{res}}(b)\Rightarrow \min _{b}\sum _{i}(y_{i}-X_{i}b)^{2}\,}$

ここで、X _{i は}ケースiの説明変数の値の行ベクトルであり、b はX _iの各要素の係数の列ベクトルです。

制約の少ない最小化では、制約の多い最小化よりも最適コストが弱く小さくなるため、説明変数が追加され、（i 番目の行が X i である説明データ行列）の列が追加さ_れるにつれて、目的関数の最適値は弱く小さくなります。前の結論と、 がyのみに依存することを考慮すると、 R ²の非減少特性は上記の定義から直接導かれます。 ${\displaystyle X}$${\displaystyle SS_{tot}}$

追加の説明変数を使用してもR ^{2 を}下げることができないという直感的な理由は、最小化はR ^{2 を}最大化することと同等であるためです。追加の変数が含まれている場合、データには常に推定係数をゼロにするオプションがあり、予測値とR ^{2 は変更されません。最適化問題がゼロ以外の係数を与える唯一の方法は、そうすることで}R ^{2 が}向上する場合です 。 ${\displaystyle SS_{\text{res}}}$

上記はR2^のインフレーションの解析的な説明である。次に、幾何学的観点から通常の最小二乗法に基づく例を以下に示す。^[14]

最初に検討すべき簡単なケース:

${\displaystyle Y=\beta _{0}+\beta _{1}\cdot X_{1}+\varepsilon \,}$

この式は、 1 つの回帰変数を持つ通常の最小二乗回帰モデルを表します。予測値は、右の図の赤いベクトルとして表示されます。幾何学的には、真の値を(切片なし) のモデル空間に投影したものです。残差は赤い線で表示されます。 ${\displaystyle \mathbb {R} }$

${\displaystyle Y=\beta _{0}+\beta _{1}\cdot X_{1}+\beta _{2}\cdot X_{2}+\varepsilon \,}$

この方程式は、2 つの回帰変数を持つ通常の最小二乗回帰モデルに対応します。予測値は、右の図の青いベクトルとして示されています。幾何学的には、真の値を のより大きなモデル空間 (切片なし) に投影したものです。注目すべきことに、との値は、と がゼロ ベクトルでない限り、より小さなモデル空間の方程式と同じではありません。したがって、方程式は異なる予測値を生成することが予想されます (つまり、青いベクトルは赤いベクトルと異なることが予想されます)。最小二乗回帰基準により、残差が最小化されます。図では、残差を表す青い線は のモデル空間に直交しており、空間からの最小距離を示しています。 ${\displaystyle \mathbb {R} ^{2}}$${\displaystyle \beta _{0}}$${\displaystyle \beta _{0}}$${\displaystyle X_{1}}$${\displaystyle X_{2}}$${\displaystyle \mathbb {R} ^{2}}$

小さい方のモデル空間は大きい方のモデルのサブスペースであり、したがって小さい方のモデルの残差は必ず大きくなります。図の赤い線と青い線を比較すると、青い線は空間に直交しており、他の線は青い線よりも大きくなります。R 2 の計算を考慮すると、^の値が小さいほどR ²の値は大きくなります。つまり、回帰変数を追加するとR ²が増大することになります。 ${\displaystyle SS_{tot}}$

R ^{2 は}次のことを示しません:

• 独立変数は従属変数の変化の原因となる。
• 省略変数バイアスが存在する。
• 正しい回帰が使用された。
• 最も適切な独立変数のセットが選択された。
• 説明変数のデータに共線性が存在する。
• 既存の独立変数セットの変換バージョンを使用することでモデルが改善される可能性がある。
• 確固たる結論を出すのに十分なデータポイントがある。
• それ以外は良好なサンプルですが、いくつかの外れ値が存在します。

調整済みR ²（一般的な表記法は で、「Rバースクエアード」と発音されます。またはまたは とも呼ばれます）の使用は、モデルに追加の説明変数が追加されるとR ²が自動的に増加する現象を説明する試みです。調整方法にはさまざまなものがあります。 ^{[15]これまでで最もよく使用されているのは、調整済み}Rと呼ばれることが多い、モルデカイ・エゼキエルによって提案された補正です。^{[15] [16] [17]} 調整済みR ²は次のように定義されます。 ${\displaystyle {\bar {R}}^{2}}$${\displaystyle R_{\text{a}}^{2}}$${\displaystyle R_{\text{adj}}^{2}}$

${\displaystyle {\bar {R}}^{2}={1-{SS_{\text{res}}/{\text{df}}_{\text{res}} \over SS_{\text{tot}}/{\text{df}}_{\text{tot}}}}}$

ここで、df _{res は}モデル周辺の母分散の推定値の自由度であり、df _{tot は}平均周辺の母分散の推定値の自由度です。df _{res は}、サンプル サイズnとモデル内の変数の数pで表され、 df _res = n − p − 1となります。df _totも同様に表されますが、平均のpは 0 となり、 df _tot = n − 1となります。

自由度を挿入し、R ²の定義を使用すると、次のように書き直すことができます。

${\displaystyle {\bar {R}}^{2}=1-(1-R^{2}){n-1 \over n-p-1}}$

ここで、pはモデル内の説明変数の総数（切片を除く）、n はサンプル サイズです。

調整済みR ^{2 は負になる場合があり、その値は常に}R ²の値以下になります。R 2 とは異なり、^調整済みR ^{2 は、} R ²の増加(新しい説明変数の追加による) が偶然に予想されるよりも大きい場合にのみ増加します。事前に決定された重要度の階層を持つ説明変数のセットを 1 つずつ回帰に導入し、調整済みR ^{2 をそのたびに計算すると、調整済み}R ^{2 が}最大に達し、その後減少するレベルが、余分な項や不要な項がなく、最もよく適合する理想的な組み合わせの回帰になります。

調整済みR ^2は、バイアスと分散のトレードオフの例として解釈できます。モデルのパフォーマンスを考えるとき、エラーが低いほどパフォーマンスが良いことを示します。モデルが複雑になると、分散は増加する一方でバイアスの二乗は減少し、これら 2 つの指標が合計されて合計エラーになります。これら 2 つの傾向を組み合わせると、バイアスと分散のトレードオフは、モデルのパフォーマンスと複雑さの関係を表します。これは、右側の U 字型の曲線として表示されます。調整済みR ²については特に、モデルの複雑さ (つまり、パラメーターの数) がR ²と項 / frac に影響し、それによってモデルの全体的なパフォーマンスにおけるそれらの属性が反映されます。

R ^{2 は}モデルの分散として解釈でき、モデルの複雑さによって影響を受けます。R ^{2が高いということ}は、モデルが予測子による Y の変化をより適切に説明できるため、バイアス エラーが低いことを示します。このため、（誤った）仮定が少なくなり、バイアス エラーが低くなります。一方、仮定を少なくするために、モデルはより複雑になる傾向があります。バイアスと分散のトレードオフに基づくと、複雑さが高くなるとバイアスが減少し、パフォーマンスが向上します（最適なラインより下）。R ²では、項（1 − R ²）は複雑さが高くなると低くなり、R ^{2 が}高くなり、一貫してパフォーマンスが向上することを示します。

一方、項/frac 項はモデルの複雑さによって逆の影響を受けます。項/frac は回帰変数を追加すると増加し (つまり、モデルの複雑さが増す)、パフォーマンスが低下します。バイアスと分散のトレードオフに基づいて、モデルの複雑さが増すと (最適なラインを超えると)、エラーが増加し、パフォーマンスが低下します。

R ²の計算を考慮すると、パラメータが増えるとR ^{2 が増加し、} R ²の増加につながります。ただし、パラメータを追加すると項/分数が増加し、R ^{2が減少します。これらの 2 つの傾向は、モデルの複雑さと}R ²の間に逆 U 字型の関係を構築します。これは、モデルの複雑さと全体的なパフォーマンスの U 字型傾向と一致しています。モデルの複雑さが増すと常に増加するR ^{2とは異なり、} R ^{2 は、追加された回帰変数によって除去されるバイアスが同時に導入される分散よりも大きい場合にのみ増加します。R} 2^の代わりにR ^{2 を}使用すると、オーバーフィッティングを防ぐことができます。

同じ論理に従うと、調整済みR ^{2 は}母集団R ²のより偏りの少ない推定値として解釈できますが、観測されたサンプルR ^{2 は}母集団の値の正の偏りのある推定値です。^[18]調整済みR ^{2 は、モデルの適合性（独立変数によって説明される従属変数の分散）を評価する場合や、モデル構築の}特徴選択段階で代替モデルを比較する場合に適しています。^[18]

調整されたR ²統計量の原理は、通常のR ^{2 を}次のよう に書き直すことでわかる。

${\displaystyle R^{2}={1-{{\text{VAR}}_{\text{res}} \over {\text{VAR}}_{\text{tot}}}}}$

ここで、 およびはそれぞれ推定残差と従属変数の標本分散であり、誤差と従属変数の母分散の偏りのある推定値として考えることができます。これらの推定値は、統計的に偏りのないバージョンおよびに置き換えられます。 ${\displaystyle {\text{VAR}}_{\text{res}}=SS_{\text{res}}/n}$${\displaystyle {\text{VAR}}_{\text{tot}}=SS_{\text{tot}}/n}$${\displaystyle {\text{VAR}}_{\text{res}}=SS_{\text{res}}/(n-p)}$${\displaystyle {\text{VAR}}_{\text{tot}}=SS_{\text{tot}}/(n-1)}$

誤差と従属変数の母分散に不偏推定量を使用しているにもかかわらず、調整済みR ^{2 は}、^誤差と従属変数の母分散を推定するのではなく使用することで得られる 母集団R ^{2の不偏推定量ではありません。Ingram} OlkinとJohn W. Pratt は、母集団R ^2の最小分散不偏推定量を導きました。^[19]これは Olkin–Pratt 推定量として知られています。調整済みR ²のさまざまなアプローチを比較した結果、ほとんどの場合、近似バージョンの Olkin–Pratt 推定量^[18]または正確な Olkin–Pratt 推定量 ^{[20]のいずれかが、（Ezekiel）調整済み}R ²よりも優先されるべきであるという結論に達しました。

部分決定係数は、縮小モデルでは説明できないが、より完全なモデルで指定された予測変数によって説明できる変動の割合として定義できます。^{[21] [22] [23]}この係数は、1つ以上の追加予測変数が、より完全に指定された回帰モデルで有用であるかどうかについての洞察を提供するために使用されます。

2つのモデルを推定し、それらの分散分析表を作成した後、部分R ²の計算は比較的簡単です。部分R ²の計算は次のとおりです。

${\displaystyle {\frac {SS_{\text{ res, reduced}}-SS_{\text{ res, full}}}{SS_{\text{ res, reduced}}}},}$

これは通常の決定係数に類似している。

${\displaystyle {\frac {SS_{\text{tot}}-SS_{\text{res}}}{SS_{\text{tot}}}}.}$

上で説明したように、調整R ²基準やF検定などのモデル選択ヒューリスティックは、新しい回帰変数をモデルに追加する必要があるかどうかを判断するために、合計R 2 が十分に増加するかどうかを検査します。^{すでにモデルに含まれている他の回帰変数と高い相関関係にある回帰変数をモデルに追加した場合、新しい回帰変数が関連している場合でも、合計}R ²はほとんど増加しません。その結果、上記のヒューリスティックは、相互相関が高い場合、関連する回帰変数を無視します。^[24]

あるいは、 R ²の一般化バージョンを分解して、仮説からの逸脱の関連性を定量化することもできます。^[24] Hoornweg (2018) が示すように、ベイジアン線形回帰、リッジ回帰、（適応型）Lassoなどのいくつかの収縮推定量は、パラメータを無制限 OLS 解から仮説値に向かって徐々に縮小するときに、 R ²のこの分解を利用します。まず、線形回帰モデルを次のように定義します。

${\displaystyle y=X\beta +\varepsilon .}$

行列XはZスコアで標準化され、列ベクトルは平均がゼロになるように中心化されていると仮定します。列ベクトルは仮説回帰パラメータを参照し、列ベクトルは推定パラメータを表します。次に、次のように定義します 。${\displaystyle y}$${\displaystyle \beta _{0}}$${\displaystyle b}$

${\displaystyle R^{2}=1-{\frac {(y-Xb)'(y-Xb)}{(y-X\beta _{0})'(y-X\beta _{0})}}.}$

R ^{2が 75% の}場合、仮説値の代わりにデータ最適化されたbソリューションを使用すると、サンプル内の精度が 75% 向上することを意味します。 がゼロのベクトルである特殊なケースでは、従来のR ^{2 が}再び得られます。 ${\displaystyle \beta _{0}}$${\displaystyle \beta _{0}}$

仮説からの逸脱によるR ²への個々の影響は、('R-outer')で計算できます。この行列は次のように表されます。 ${\displaystyle R^{\otimes }}$${\displaystyle p}$${\displaystyle p}$

${\displaystyle R^{\otimes }=(X'{\tilde {y}}_{0})(X'{\tilde {y}}_{0})'(X'X)^{-1}({\tilde {y}}_{0}'{\tilde {y}}_{0})^{-1},}$

ここで です。 の対角要素はちょうどR ²になります。 回帰変数が無相関で がゼロのベクトルである場合、の対角要素は単にと の間のr ²値に対応します。 回帰変数と が相関している場合、が減少する代わりに が増加する可能性があります。 その結果、 の対角要素は0 より小さくなる可能性があり、さらに例外的なケースでは 1 より大きくなります。 このような不確実性に対処するため、いくつかの収縮推定量は暗黙的に の対角要素の加重平均を取り、仮説値からの逸脱の関連性を定量化します。^[24]例については、 囲み枠をクリックしてください。${\displaystyle {\tilde {y}}_{0}=y-X\beta _{0}}$${\displaystyle R^{\otimes }}$${\displaystyle \beta _{0}}$${\displaystyle j^{\text{th}}}$${\displaystyle R^{\otimes }}$${\displaystyle x_{j}}$${\displaystyle y}$${\displaystyle x_{i}}$${\displaystyle x_{j}}$${\displaystyle R_{ii}^{\otimes }}$${\displaystyle R_{jj}^{\otimes }}$${\displaystyle R^{\otimes }}$${\displaystyle R^{\otimes }}$

通常、最大尤度で近似するロジスティック回帰の場合、疑似R ²にはいくつかの選択肢があります。

1つは、CoxとSnellによって最初に提案された一般化されたR ^{2であり、 [25]} Mageeによって独立に提案されたものである。^[26]

${\displaystyle R^{2}=1-\left({{\mathcal {L}}(0) \over {\mathcal {L}}({\widehat {\theta }})}\right)^{2/n}}$

ここで、は切片のみのモデルの尤度、は推定モデル（つまり、与えられたパラメータ推定値のセットを持つモデル）の尤度、nはサンプル サイズです。これは簡単に次のように書き直すことができます。 ${\displaystyle {\mathcal {L}}(0)}$${\displaystyle {{\mathcal {L}}({\widehat {\theta }})}}$

${\displaystyle R^{2}=1-e^{{\frac {2}{n}}(\ln({\mathcal {L}}(0))-\ln({\mathcal {L}}({\widehat {\theta }})))}=1-e^{-D/n}}$

ここで、Dは尤度比検定の検定統計量です。

ニコ・ナーゲルケルケは、次のような特性があると指摘した。^{[27] [22]}

1. 両方を計算できる場合、これは古典的な決定係数と一致します。
2. その値はモデルの最大尤度推定によって最大化されます。
3. 漸近的にはサンプルサイズに依存しません。
4. 解釈は、モデルによって説明される変動の割合です。
5. 値は 0 から 1 の間で、0 はモデルが変動をまったく説明しないことを示し、1 はモデルが観測された変動を完全に説明することを示します。
6. 単位はありません。

しかし、ロジスティックモデルの場合、は1より大きくなることはできず、R ^2は0との間になります。したがって、Nagelkerkeは、スケールされたR ^2をR ² / R ² _maxとして定義する可能性を提案しました。^[22]${\displaystyle {\mathcal {L}}({\widehat {\theta }})}$${\displaystyle R_{\max }^{2}=1-({\mathcal {L}}(0))^{2/n}}$

残差統計は適合度を示すために使用されることがあります。残差のノルムは、残差の二乗和(SSR) の平方根として計算されます。

${\displaystyle {\text{norm of residuals}}={\sqrt {SS_{\text{res}}}}=\|e\|.}$

同様に、縮小カイ二乗はSSR を自由度で割って計算されます。

R ²と残差ノルムは、どちらも相対的なメリットがあります。最小二乗分析の場合、 R ^{2 は0 から 1 の間で変化し、数値}が大きいほど適合度が高く、1 は完全な適合を表します。残差ノルムは 0 から無限大の間で変化し、数値が小さいほど適合度が高く、0 は完全な適合を表します。R 2 の 1 つの利点と欠点は、この_{項が値を正規化する働きをする点です。y i}^値がすべて定数で乗算されると、残差ノルムもその定数で変化しますが、R ^{2 は}同じままです。基本的な例として、データ セットへの線形最小二乗適合の場合: ${\displaystyle SS_{\text{tot}}}$

R ² = 0.998、残差ノルム = 0.302。y のすべての値が 1000 倍になると (たとえば、SI 接頭辞の変更の場合)、R 2は^同じままですが、残差ノルム = 302 になります。

もう一つの単一パラメータの適合度指標は残差のRMSE、つまり残差の標準偏差である。上記の例では適合度が線形で切片が強制されていないため、この値は0.135となる。^[28]

決定係数の考案は遺伝学者セウォール・ライトによるものとされ、1921年に初めて発表された。^[29]

• アンスコムのカルテット
• 分散の割合は説明できない
• 適合性
• ナッシュ・サトクリフモデルの効率係数（水文学的応用）
• ピアソン積率相関係数
• 損失の比例削減
• 回帰モデルの検証
• 二乗平均平方根偏差
• ステップワイズ回帰

• グジャラーティ、ダモダール N. ;ポーター、ドーン C. (2009)。基礎計量経済学(第 5 版)。ニューヨーク: マグロウヒル/アーウィン。pp. 73–78。ISBN 978-0-07-337577-9。
• ヒューズ、アン、グラウォイグ、デニス (1971)。統計学: 分析の基礎。読み物: Addison-Wesley。pp. 344–348。ISBN 0-201-03021-7。
• クメンタ、ヤン(1986)。『計量経済学の要素』（第2版）。ニューヨーク：マクミラン。pp. 240–243。ISBN 978-0-02-365070-3。
• Lewis-Beck, Michael S. ; Skalaban, Andrew (1990). 「R -Squared: Some Straight Talk」.政治分析. 2 : 153–171. doi :10.1093/pan/2.1.153. JSTOR  23317769.
• チッコ、ダビデ。ウォーレンズ、マタイス J.ジャーマン、ジュゼッペ (2021)。 「決定係数 R 二乗は、回帰分析の評価において SMAPE、MAE、MAPE、MSE、RMSE よりも有益です。」PeerJ コンピュータ サイエンス。7 (e623): e623。ドイ: 10.7717/peerj-cs.623。PMC  8279135。PMID  34307865。