自由度（統計）

統計学において、自由度の数は、統計の最終計算において自由に変化できる値の数である。^[1]

統計パラメータの推定値は、さまざまな量の情報またはデータに基づくことができます。パラメータの推定値に含まれる独立した情報の数は、自由度と呼ばれます。一般に、パラメータの推定値の自由度は、推定値に含まれる独立したスコアの数から、パラメータ自体の推定の中間ステップとして使用されるパラメータの数を引いた値に等しくなります。たとえば、分散が独立したスコアのランダムサンプルから推定される場合、自由度は、独立したスコアの数 ( N ) から中間ステップとして推定されるパラメータの数 (1、つまりサンプル平均) を引いた値に等しく、したがって に等しくなります。^[2]${\textstyle N}$${\textstyle N-1}$

数学的には、自由度はランダムベクトルの領域の次元数、または本質的には「自由な」成分の数（ベクトルが完全に決定される前にいくつの成分を知る必要があるか）です。

この用語は、特定のランダム ベクトルが線形部分空間内に制約され、自由度の数が部分空間の次元となる線形モデル(線形回帰、分散分析)のコンテキストで最もよく使用されます。自由度は、このようなベクトルの長さの 2 乗 (または座標の「2 乗の合計」) や、関連する統計テストの問題で発生するカイ 2 乗分布やその他の分布のパラメーターとも一般的に関連付けられています。

入門書では、分布パラメータとして、または仮説検定を通じて自由度を紹介することがありますが、自由度を定義するのは基礎となる幾何学であり、概念を正しく理解するためには重要です。

自由度の基本概念は、ドイツの天文学者で数学者のカール・フリードリヒ・ガウスの著作の中で1821年にすでに認識されていましたが、^[3]その現代的な定義と使用法は、イギリスの統計学者ウィリアム・シーリー・ゴセットが1908年に「スチューデント」というペンネームで出版したバイオメトリカ^{の記事「平均の確率的誤差」で初めて詳しく説明されました。 [4]ゴセットは実際には「自由度」という用語は使用していませんでしたが、}スチューデントのt分布として知られるようになるものを開発する過程でその概念を説明しました。この用語自体は、イギリスの統計学者で生物学者のロナルド・フィッシャーが1922年にカイ二乗に関する研究を行ったことをきっかけに普及しました。^[5]

方程式では、自由度を表す一般的な記号はν（ギリシャ文字の小文字nu）です。テキストや表では、略語「df」が一般的に使用されます。RAフィッシャーは自由度を表すためにnを使用しましたが、現代の用法ではnは通常サンプルサイズを表します。統計的検定の結果を報告する場合、自由度は通常、検定統計量の横に下付き文字または括弧で示されます^[6]。

幾何学的には、自由度は特定のベクトル部分空間の次元として解釈することができます。まず、独立した正規分布の観測値のサンプルがあるとします。

${\displaystyle X_{1},\dots ,X_{n}.\,}$

これはn次元のランダムベクトルとして表すことができます。

${\displaystyle {\begin{pmatrix}X_{1}\\\vdots \\X_{n}\end{pmatrix}}.}$

このランダム ベクトルはn次元空間のどこにでも存在できるため、自由度は nです。

ここで、 を標本平均とします。ランダムベクトルは、標本平均と残差ベクトルの合計として分解できます。 ${\displaystyle {\bar {X}}}$

${\displaystyle {\begin{pmatrix}X_{1}\\\vdots \\X_{n}\end{pmatrix}}={\bar {X}}{\begin{pmatrix}1\\\vdots \\1\end{pmatrix}}+{\begin{pmatrix}X_{1}-{\bar {X}}\\\vdots \\X_{n}-{\bar {X}}\end{pmatrix}}.}$

右側の最初のベクトルは 1 のベクトルの倍数になるように制約されており、唯一の自由な量は です。したがって、自由度は 1 です。 ${\displaystyle {\bar {X}}}$

2 番目のベクトルは、関係 によって制約されます。このベクトルの最初のn − 1 個の成分は、任意の値を取ることができます。ただし、最初のn − 1 個の 成分がわかれば 、制約によってn番目の成分の値がわかります。したがって、このベクトルにはn  − 1 個の自由度 があります。${\textstyle \sum _{i=1}^{n}(X_{i}-{\bar {X}})=0}$

数学的には、最初のベクトルは、データ ベクトルを1 のベクトルが張る部分空間に斜めに投影したものです。自由度 1 はこの部分空間の次元です。2 番目の残差ベクトルは、この部分空間の ( n  − 1) 次元直交補空間への最小二乗投影であり、 自由度は n − 1 です。

統計的検定の応用では、成分ベクトルに直接関心があるのではなく、むしろその二乗長に関心があることが多い。上記の例では、残差二乗和は

${\displaystyle \sum _{i=1}^{n}(X_{i}-{\bar {X}})^{2}={\begin{Vmatrix}X_{1}-{\bar {X}}\\\vdots \\X_{n}-{\bar {X}}\end{Vmatrix}}^{2}.}$

データ ポイントが平均 0、分散 で正規分布している場合、残差平方和は、自由度がn − 1 のスケールカイ 2 乗分布(係数 でスケール) に従います 。自由度 (ここでは分布のパラメーター) は、基になるベクトル サブスペースの次元として解釈できます。 ${\displaystyle X_{i}}$${\displaystyle \sigma ^{2}}$${\displaystyle \sigma ^{2}}$

同様に、1サンプルt検定統計量、

${\displaystyle {\frac {{\sqrt {n}}({\bar {X}}-\mu _{0})}{\sqrt {\sum \limits _{i=1}^{n}(X_{i}-{\bar {X}})^{2}/(n-1)}}}}$

 仮定された平均値が正しい場合、自由度n − 1 のスチューデントの t分布に従います。この場合も、自由度は分母の残差ベクトルから生じます。 ${\displaystyle \mu _{0}}$

構造方程式モデル (SEM) の結果が提示されるとき、一般的には全体的なモデル適合の 1 つ以上の指標が含まれます。最も一般的な指標はχ ²統計です。これは、一般的に報告される他の指標の基礎となります。最も一般的に解釈されるのはこれらの他の統計ですが、χ ²の自由度は、モデル適合とモデル自体の性質を理解する上で不可欠です。

SEM の自由度は、分析の入力として使用される一意の情報の数 (既知とも呼ばれる) と一意に推定されるパラメータの数 (未知とも呼ばれる) の差として計算されます。たとえば、4 つの項目を持つ 1 因子の確認的因子分析では、自由度 2 に対して 10 の既知 (4 つの項目間の 6 つの一意の共分散と 4 つの項目分散) と 8 つの未知 (4 つの因子負荷と 4 つの誤差分散) があります。自由度は、他の条件が同じであれば、自由度が少ないほど、χ ²などの指標がより適切になるため、モデルの適合性を理解する上で重要です。

自由度は、SEM を含む論文の読者が、論文の著者が実際に正しいモデル適合統計を報告しているかどうかを判断するために使用できることが示されています。たとえば、組織科学では、トップジャーナルに掲載された論文のほぼ半数が、論文で説明されているモデルと一致しない自由度を報告しており、読者はどのモデルが実際にテストされたのか疑問に思うことになります。^[7]

自由度は、別の情報を推定するために利用できる独立した情報の数として考えるのが最適です。より具体的には、自由度の数は、サンプルが抽出された母集団のパラメータを推定するために利用できる、サンプルデータ内の独立した観測値の数です。たとえば、観測値が 2 つある場合、平均を計算するときは独立した観測値が 2 つあります。ただし、分散を計算するときは、2 つの観測値がサンプル平均から等しく離れているため、独立した観測値は 1 つしかありません。

統計モデルをデータに当てはめる際、残差のベクトルは、ベクトルの成分の数よりも小さい次元の空間に存在するように制約されます。その小さい次元は、誤差の自由度の数であり、残差自由度とも呼ばれます。

おそらく最も単純な例はこれです。

${\displaystyle X_{1},\dots ,X_{n}}$

はそれぞれ期待値μを持つ確率変数であり、

${\displaystyle {\overline {X}}_{n}={\frac {X_{1}+\cdots +X_{n}}{n}}}$

を「標本平均」とする。すると、数量は

${\displaystyle X_{i}-{\overline {X}}_{n}}$

は、誤差X _i  −  μの推定値と見なすことができる残差です。残差の合計は（誤差の合計とは異なり）必ず 0 になります。残差のn  − 1 の値がわかれば、最後の残差を見つけることができます。つまり、残差はn − 1 次元の空間に収まるように制約されます。誤差にはn  − 1 の自由度  があると言えます。

少しだけ単純でない例としては、モデルにおける aとbの最小二乗推定がある。

${\displaystyle Y_{i}=a+bx_{i}+e_{i}{\text{ for }}i=1,\dots ,n}$

ここで、x _{i は}与えられているが、e _iとY _{i は}ランダムである。aとbの最小二乗推定値をとすると、残差は ${\displaystyle {\widehat {a}}}$${\displaystyle {\widehat {b}}}$

${\displaystyle {\widehat {e}}_{i}=y_{i}-({\widehat {a}}+{\widehat {b}}x_{i})}$

2つの方程式によって定義される空間内に収まるように制約される

${\displaystyle {\widehat {e}}_{1}+\cdots +{\widehat {e}}_{n}=0,}$

${\displaystyle x_{1}{\widehat {e}}_{1}+\cdots +x_{n}{\widehat {e}}_{n}=0.}$

 誤差の自由度は n − 2であると言われています。

表記上、大文字のY はモデルの指定に使用され、小文字のy は残差の定義に使用されます。これは、前者が仮定されたランダム変数であり、後者が実際のデータであるためです。

これをp個のパラメータと共変量（例えばp  − 1個の予測変数と1つの平均（回帰における切片））を含む多重回帰に一般化することができる。その場合、適合の自由度のコストはpであり、誤差のための自由度は n - pとなる。

上記の1標本問題に対するt分布とカイ2乗分布のデモンストレーションは、自由度が生じる最も単純な例です。しかし、同様の幾何学とベクトル分解は、線形回帰や分散分析を含む線形モデルの理論の多くに根ざしています。ここでは、3つの平均の比較に基づく明示的な例を示します。線形モデルの幾何学については、Christensen (2002) でより詳細に説明されています。^[8]

3 つの母集団、、について独立した観測が行われたとします。3 つのグループと等しいサンプル サイズに制限することで表記が簡素化されますが、考え方は簡単に一般化できます。 ${\displaystyle X_{1},\ldots ,X_{n}}$${\displaystyle Y_{1},\ldots ,Y_{n}}$${\displaystyle Z_{1},\ldots ,Z_{n}}$

観察結果は次のように分解できる。

${\displaystyle {\begin{aligned}X_{i}&={\bar {M}}+({\bar {X}}-{\bar {M}})+(X_{i}-{\bar {X}})\\Y_{i}&={\bar {M}}+({\bar {Y}}-{\bar {M}})+(Y_{i}-{\bar {Y}})\\Z_{i}&={\bar {M}}+({\bar {Z}}-{\bar {M}})+(Z_{i}-{\bar {Z}})\end{aligned}}}$

ここで、は個々のサンプルの平均であり、は 3n個の観測値すべての平均である。ベクトル表記では、この分解は次のように書ける。 ${\displaystyle {\bar {X}},{\bar {Y}},{\bar {Z}}}$${\displaystyle {\bar {M}}=({\bar {X}}+{\bar {Y}}+{\bar {Z}})/3}$

${\displaystyle {\begin{pmatrix}X_{1}\\\vdots \\X_{n}\\Y_{1}\\\vdots \\Y_{n}\\Z_{1}\\\vdots \\Z_{n}\end{pmatrix}}={\bar {M}}{\begin{pmatrix}1\\\vdots \\1\\1\\\vdots \\1\\1\\\vdots \\1\end{pmatrix}}+{\begin{pmatrix}{\bar {X}}-{\bar {M}}\\\vdots \\{\bar {X}}-{\bar {M}}\\{\bar {Y}}-{\bar {M}}\\\vdots \\{\bar {Y}}-{\bar {M}}\\{\bar {Z}}-{\bar {M}}\\\vdots \\{\bar {Z}}-{\bar {M}}\end{pmatrix}}+{\begin{pmatrix}X_{1}-{\bar {X}}\\\vdots \\X_{n}-{\bar {X}}\\Y_{1}-{\bar {Y}}\\\vdots \\Y_{n}-{\bar {Y}}\\Z_{1}-{\bar {Z}}\\\vdots \\Z_{n}-{\bar {Z}}\end{pmatrix}}.}$

左側の観測ベクトルには、3 nの自由度があります。右側の最初のベクトルには、全体の平均に対する 1 つの自由度 (または次元) があります。2 番目のベクトルは、3 つのランダム変数、、およびに依存します。ただし、これらの合計は 0 になる必要があるため、制約があります。したがって、ベクトルは 2 次元のサブスペースに存在する必要があり、自由度は 2 です。残りの 3 n  − 3 の自由度は、残差ベクトルにあります ( 各母集団内の n − 1 の自由度で構成されます)。${\displaystyle {\bar {X}}-{\bar {M}}}$${\displaystyle {\bar {Y}}-{\bar {M}}}$${\displaystyle {\overline {Z}}-{\overline {M}}}$

統計的検定問題では、通常、成分ベクトル自体ではなく、その長さの二乗、つまり二乗和が重要になります。二乗和に関連付けられた自由度は、対応する成分ベクトルの自由度です。

上記の3母集団の例は、一元配置分散分析の例です。モデルまたは処理の平方和は、2番目のベクトルの長さの2乗です。

${\displaystyle {\text{SST}}=n({\bar {X}}-{\bar {M}})^{2}+n({\bar {Y}}-{\bar {M}})^{2}+n({\bar {Z}}-{\bar {M}})^{2}}$

自由度は2です。残差、つまり誤差の二乗和は

${\displaystyle {\text{SSE}}=\sum _{i=1}^{n}(X_{i}-{\bar {X}})^{2}+\sum _{i=1}^{n}(Y_{i}-{\bar {Y}})^{2}+\sum _{i=1}^{n}(Z_{i}-{\bar {Z}})^{2}}$

自由度は 3( n −1) です。もちろん、ANOVA の入門書では、通常、ベクトルを示さずに式が述べられていますが、この基礎となる幾何学こそが SS 式を生み出し、与えられた状況で自由度を明確に決定する方法を示しています。

母平均に差がないという帰無仮説（および標準的な分散分析の規則性仮定が満たされていると仮定）では、平方和は対応する自由度を持つ尺度化されたカイ二乗分布を持ちます。F 検定統計量は、自由度で尺度化された後の比率です。母平均に差がない場合、この比率は自由度が 2 および 3 n  − 3 のF分布に従います。

不均衡な分割プロット設計などの複雑な設定では、平方和はスケール化されたカイ二乗分布を持たなくなります。平方和と自由度の比較はもはや意味がなく、このような場合にはソフトウェアが特定の分数の「自由度」を報告することがあります。このような数値には真の自由度の解釈はなく、対応する平方和のおおよそのカイ二乗分布を提供しているだけです。このような近似値の詳細については、このページの範囲外です。

よく見られる統計分布（スチューデントのt、カイ二乗、F）には、一般に自由度と呼ばれるパラメータがあります。この用語は、これらの分布が発生する多くのアプリケーションで、パラメータが前述のANOVAの例のように、基礎となるランダムベクトルの自由度に対応することを反映しています。もう1つの簡単な例は次のとおりです。が独立した正規ランダム変数である場合、統計量は ${\displaystyle X_{i};i=1,\ldots ,n}$${\displaystyle (\mu ,\sigma ^{2})}$

${\displaystyle {\frac {\sum _{i=1}^{n}(X_{i}-{\bar {X}})^{2}}{\sigma ^{2}}}}$

は、自由度がn − 1のカイ2乗分布に従います 。ここで、自由度は分子の残差二乗和から生じ、今度は 基礎となる残差ベクトルのn − 1の自由度から生じます。 ${\displaystyle \{X_{i}-{\bar {X}}\}}$

これらの分布を線形モデルに適用する場合、自由度パラメータは整数値のみを取ることができます。分布の基礎となるファミリーでは、自由度パラメータに小数値が許可されており、より高度な用途で発生する可能性があります。一例を挙げると、有効自由度に基づくカイ二乗近似が使用される問題です。裾の重いデータのモデリングなどの他の用途では、 t 分布またはF分布が経験モデルとして使用されることがあります。これらの場合、用語が引き続き使用される場合でも、分布パラメータに対する特定の自由度の解釈はありません。

正規化最小二乗法（リッジ回帰など）、線形スムージング、スムージングスプライン、セミパラメトリック回帰など、多くの非標準回帰法は、通常の最小二乗投影ではなく、正規化（一般化および/またはペナルティ付き）最小二乗に基づいているため、次元で定義される自由度は、これらの手順では一般的に役に立ちません。ただし、これらの手順は観測値に対して依然として線形であり、回帰の適合値は次の形式で表すことができます。

${\displaystyle {\hat {y}}=Hy,}$

ここで、は適合モデルからの元の共変量値のそれぞれにおける適合値のベクトル、yは応答の元のベクトル、H はハット行列、またはより一般的には平滑化行列 です。${\displaystyle {\hat {y}}}$

統計的推論では、平方和を依然として形成できます。モデルの平方和は、残差平方和は です。ただし、H は通常の最小二乗近似に対応していない (つまり、直交投影ではない) ため、これらの平方和はもはや (スケールされた非中心の) カイ二乗分布を持たず、次元的に定義された自由度は役に立ちません。 ${\displaystyle \|Hy\|^{2}}$${\displaystyle \|y-Hy\|^{2}}$

適合度の有効自由度は、適合度検定、交差検証、およびその他の統計的推論手順を実装するためにさまざまな方法で定義できます。ここでは、回帰有効自由度と残差有効自由度を区別できます。

回帰有効自由度については、ハット行列のトレース^[9] tr( H )、ハット行列の2次形式のトレース tr( H'H )、形式 tr(2 H – H H' )、またはサッタースウェイト近似tr ( H'H ) ² /tr( H'HH'H ) ^{[10]などの}適切な定義が考えられます。 線形回帰の場合、ハット行列HはX ( X  ' X ) ⁻¹ X 'であり、これらの定義はすべて通常の自由度に簡約されます。

${\displaystyle \operatorname {tr} (H)=\sum _{i}h_{ii}=\sum _{i}{\frac {\partial {\hat {y}}_{i}}{\partial y_{i}}},}$

線型モデルにおける回帰自由度（残差自由度ではない）は「観測された応答値に対する適合値の感度の合計」^{[11] 、すなわちてこ}比スコアの合計である。

これを概念化するのに役立つ 1 つの方法は、データ ノイズを軽減するために使用されるガウス ブラーのような単純な平滑化行列を検討することです。単純な線形または多項式近似とは対照的に、平滑化関数の有効自由度を計算することは簡単ではありません。このような場合、行列によって許可される自由度を推定することが重要です。これにより、残差の自由度を使用して、 などの統計テストを推定できます。 ${\displaystyle H}$${\displaystyle \chi ^{2}}$

残差有効自由度（redf）の対応する定義があり、HはI  −  Hに置き換えられます。たとえば、誤差分散を推定することが目的の場合、redfはtr(( I  −  H )'( I  −  H ))と定義され、不偏推定値は（）で、 ${\displaystyle {\hat {r}}=y-Hy}$

${\displaystyle {\hat {\sigma }}^{2}={\frac {\|{\hat {r}}\|^{2}}{\operatorname {tr} \left((I-H)'(I-H)\right)}},}$

または：^{[12] [13] [14] [15]}

${\displaystyle {\hat {\sigma }}^{2}={\frac {\|{\hat {r}}\|^{2}}{n-\operatorname {tr} (2H-HH')}}={\frac {\|{\hat {r}}\|^{2}}{n-2\operatorname {tr} (H)+\operatorname {tr} (HH')}}}$

${\displaystyle {\hat {\sigma }}^{2}\approx {\frac {\|{\hat {r}}\|^{2}}{n-1.25\operatorname {tr} (H)+0.5}}.}$

上記の最後の近似^[13]は計算コストをO ( n2 )からO ( n )に削減します。一般に分子は最小化される目的関数です。例えば、ハット行列^に観測共分散行列Σが含まれている場合、はになります。 ${\displaystyle \|{\hat {r}}\|^{2}}$${\displaystyle {\hat {r}}'\Sigma ^{-1}{\hat {r}}}$

元の場合とは異なり、非整数の自由度が許容されるが、その値は通常0からnの間に制限される必要があることに注意する必要がある。^[16]

例として、k最近傍スムーザーを考えてみましょう。これは、特定のポイントに最も近いk 個の測定値の平均です。次に、 n 個の測定ポイントのそれぞれにおいて、予測値を構成する線形結合に対する元の値の重みは、ちょうど 1/ kになります。したがって、ハット行列のトレースはn/kです。したがって、スムーザーにはn/kの有効自由度がかかります。

別の例として、ほぼ重複した観測値が存在する場合を考えてみましょう。従来の公式n − p を単純に適用すると、各観測値が独立しているかのように残差の自由度が過大評価されてしまいます。しかし、より現実的には、ハット行列H = X ( X  ' Σ ⁻¹ X ) ⁻¹ X ' Σ ⁻¹には、観測値間のゼロ以外の相関を示す観測共分散行列 Σ が含まれます。

^{有効自由度のより一般的な定式化により、たとえば、誤差分散 σ 2}のより現実的な推定値が得られ、これが今度は未知のパラメータの事後標準偏差をスケーリングします。自由度は、特定の信頼水準で誤差楕円を生成するために必要な拡張係数にも影響します。

同様の概念としては、ノンパラメトリック回帰における等価自由度^[17]、大気研究における信号の自由度[ ^{18] [19]} 、測地学における非整数自由度^{[20] [21]}などがある。

残差二乗和は一般化カイ二乗分布を持ち、この分布に関連する理論^[22]は上記の答えへの別の道筋を提供する。^{[さらなる説明が必要]}${\displaystyle \|y-Hy\|^{2}}$

• ベッセルの補正
• 自由度あたりのカイ二乗
• プールされた自由度
• レプリケーション（統計）
• サンプルサイズ
• 統計モデル
• 分散

• バウワーズ、デイヴィッド（1982年）。経済学者のための統計学。ロンドン：マクミラン。pp.175-178。ISBN 0-333-30110-2。
•  アイゼンハウアー、JG (2008) 。「自由度」。統計教育。30 (3): 75–78。doi : 10.1111 / j.1467-9639.2008.00324.x。S2CID 121982952。
• グッド、IJ (1973)。「自由度とは何か?」アメリカ統計学者。27 (5): 227–228。doi :10.1080/00031305.1973.10479042。JSTOR 3087407  。
• ウォーカー、HW（1940）。「自由度」。教育心理学ジャーナル。31 （4）：253-269。doi ： 10.1037 / h0054588 。C Olsenによる転写（正誤表付き）

• Yu, Chong-ho (1997) サンプルサイズと次元の観点から見た自由度の図解
• ジョージア州ダラル。 (2003) 自由度