Loading article…
統計学において、自由度とは、統計量の最終計算において自由に変化できる値の数のことである。[ 1 ]
統計パラメータの推定は、さまざまな量の情報またはデータに基づいて行うことができます。パラメータの推定に使用される独立した情報の数を自由度と呼びます。一般に、パラメータの推定の自由度は、推定に使用される独立したスコアの数から、パラメータ自体の推定の中間ステップとして使用されるパラメータの数を引いた値に等しくなります。たとえば、分散をランダムサンプルから推定する場合、独立したスコアの場合、自由度は独立したスコアの数（N）から中間ステップとして推定されたパラメータの数（1つ、つまり標本平均）を引いた値に等しくなり、したがって次のようになります。[ 2 ]
数学的に言えば、自由度とはランダムベクトルの定義域の次元数、つまり本質的には「自由」成分の数（ベクトルが完全に決定されるまでに知る必要がある成分の数）のことである。
この用語は、線形モデル（線形回帰、分散分析）の文脈で最もよく用いられます。線形モデルでは、特定の確率ベクトルが線形部分空間内に収まるように制約され、自由度はその部分空間の次元に等しくなります。自由度は、このようなベクトルの長さの二乗（または座標の「二乗和」）や、関連する統計的検定問題で生じるカイ二乗分布などの分布のパラメータとも一般的に関連付けられています。
入門書では、自由度を分布パラメータとして、あるいは仮説検定を通して紹介するかもしれないが、自由度を定義するのは根底にある幾何学であり、この概念を正しく理解するためには幾何学が不可欠である。
自由度の基本概念は、ドイツの天文学者で数学者のカール・フリードリヒ・ガウスの1821年の著作ですでに認識されていたが[ 3 ]、その現代的な定義と用法は、イギリスの統計学者ウィリアム・シーリー・ゴセットが1908年に「スチューデント」というペンネームで発表したBiometrika誌の記事「平均の確率誤差」で初めて詳しく説明した[ 4 ] 。ゴセット自身は「自由度」という用語を実際に使用したわけではないが、後にスチューデントのt分布として知られるようになるものの開発過程でその概念を説明した。この用語自体は、イギリスの統計学者で生物学者のロナルド・フィッシャーが1922年のカイ二乗に関する研究から普及させた[ 5 ] 。
方程式では、自由度を表す典型的な記号はν（ギリシャ文字の小文字のnu）です。テキストや表では、略語「df」がよく使われます。RA Fisherは自由度を表すのにnを使用しましたが、現代の用法では通常nはサンプルサイズのために予約されています。統計的検定の結果を報告する場合、自由度は通常、検定統計量の横に添え字または括弧で示されます。[ 6 ]
幾何学的には、自由度は特定のベクトル部分空間の次元として解釈できます。出発点として、独立した正規分布観測値のサンプルがあると仮定します。
これはn次元ランダムベクトルとして表現できます。
このランダムベクトルはn次元空間内のどこにでも存在できるため、 n個の自由度を持つ。
さあ、を標本平均とする。ランダムベクトルは、標本平均と残差ベクトルの和として分解できる。
右辺の最初のベクトルは、1のベクトルの倍数に制約され、唯一の自由量はしたがって、自由度は1つである。
2番目のベクトルは、次の関係によって制約されます。このベクトルの最初のn − 1 個の成分は任意の値をとることができます。ただし、最初のn − 1 個の成分が分かれば、n番目の成分は合計がゼロになるという制約から推測されます。たとえば、、そしてそれからしなければならないしたがって、このベクトルはn − 1 の自由度を持つ。
数学的に言えば、最初のベクトルは、データベクトルを、要素がすべて1であるベクトルによって張られる部分空間に斜めに射影したものです。自由度1は、この部分空間の次元です。2番目の残差ベクトルは、この部分空間の( n - 1)次元直交補空間への最小二乗射影であり、自由度はn - 1です。
統計的検定アプリケーションでは、多くの場合、成分ベクトルそのものに直接関心があるのではなく、それらの二乗長に関心があります。上記の例では、残差平方和は次のようになります。
データポイントが平均0、分散の正規分布に従う。すると、残差平方和はスケーリングされたカイ二乗分布（係数でスケーリング）を持つ。）は、n − 1 の自由度を持つ。ここで分布のパラメータである自由度は、基礎となるベクトル部分空間の次元として解釈することもできる。
同様に、1標本t検定統計量、
仮説平均がn − 1 自由度のスチューデントの t分布に従う 正しいです。繰り返しますが、自由度は分母の残差ベクトルから生じます。
上記の1標本問題に対するt分布とカイ二乗分布のデモンストレーションは、自由度が生じる最も単純な例です。しかし、同様の幾何学とベクトル分解は、線形回帰や分散分析を含む線形モデルの理論の多くに根底にあります。ここでは、3つの平均値の比較に基づく具体的な例を示します。線形モデルの幾何学については、Christensen (2002) でより詳細に議論されています。[ 7 ]
3 つの母集団について独立した観測が行われたと仮定します。、そして3つのグループに限定し、サンプルサイズを均等にすることで表記が簡略化されるが、その考え方は容易に一般化できる。
観測値は以下のように分解できる。
どこは個々のサンプルの平均値であり、 は、3 n 個の観測値すべての平均です。ベクトル表記では、この分解は次のように表すことができます。
左側の観測ベクトルは 3 nの自由度を持ちます。右側の最初のベクトルは全体の平均に対して 1 の自由度 (または次元) を持ちます。2 番目のベクトルは 3 つの確率変数に依存します。、そしてしかし、これらを合計すると0になる必要があり、制約があります。したがって、ベクトルは2次元部分空間内に存在し、2つの自由度を持ちます。残りの3n - 3 の自由度は残差ベクトルにあります（各集団内でn - 1の自由度から構成されます）。
二変量回帰の例を考えてみましょう。 ここで、x iは固定されているが、e iおよびそれゆえY iはランダムである。そしてaとbの最小二乗推定値とする。すると残差は
2つの方程式によって定義される空間内に収まるように制約される
オリジナルの自由度のうち、2つの自由度はこれら2つの方程式によって消費され、残りのn - 2自由度は残差に関連付けられます。
これを重回帰に一般化する関連する傾きと共変量と切片（または同等にすべてのiに対して、最小二乗推定では次の結果が得られます。正規方程式。したがって、推定パラメータは消費する自由度は、n - p の自由度を残差のために残す。
統計的検定問題では、通常、個々の成分ベクトルそのものには関心がなく、それらの二乗、つまり二乗和に関心があります。二乗和に関連付けられる自由度は、対応する成分ベクトルの自由度です。
上記の 3 つの母集団の例は、一元配置分散分析の例です。モデル、つまり処理の平方和は、2 番目のベクトルの長さの二乗です。
自由度2の場合、残差、つまり誤差の二乗和は
自由度は3( n - 1) です。もちろん、ANOVA の入門書では、ベクトルを示さずに数式だけを述べるのが一般的ですが、SS の公式を生み出すのはこの基礎となる幾何学であり、あらゆる状況で自由度を明確に決定する方法を示しています。
母集団平均に差がないという帰無仮説の下では（標準的なANOVAの規則性に関する仮定が満たされていると仮定すると）、平方和は対応する自由度を持つスケーリングされたカイ二乗分布に従います。F検定統計量は、自由度でスケーリングした後の比率です。母集団平均に差がない場合、この比率は自由度2と3n - 3のF分布に従います。
不均衡分割プロットデザインのような複雑な設定では、平方和はもはやスケーリングされたカイ二乗分布に従いません。平方和と自由度を比較しても意味がなくなり、このような場合、ソフトウェアは特定の小数値の「自由度」を報告することがあります。このような数値は真の意味での自由度を表すものではなく、対応する平方和の近似的なカイ二乗分布を示しているにすぎません。このような近似の詳細については、このページでは説明しません。
よく見られるいくつかの統計分布（スチューデントのt分布、カイ二乗分布、F分布）には、自由度と呼ばれるパラメータがあります。この用語は、これらの分布が現れる多くのアプリケーションにおいて、パラメータが、前述のANOVAの例のように、基礎となるランダムベクトルの自由度に対応することを反映しています。別の簡単な例は次のとおりです。独立した正常確率変数、統計量
は、 n − 1 の自由度を持つカイ二乗分布に従います 。ここで、自由度は分子の残差平方和から生じ、ひいては基礎となる残差ベクトルのn − 1 の自由度から生じます。。
これらの分布を線形モデルに適用する場合、自由度パラメータは整数値のみを取ることができます。基となる分布族では、自由度パラメータに小数値を取ることが可能であり、これはより高度な用途で発生する可能性があります。その一例として、有効自由度に基づくカイ二乗近似を用いる問題が挙げられます。また、裾の重いデータのモデリングなど、その他の用途では、経験的モデルとしてα分布またはF分布が使用される場合があります。これらの場合、用語は引き続き使用されるかもしれませんが、分布パラメータに特定の自由度解釈はありません。
正則化最小二乗法（リッジ回帰など）、線形平滑化、平滑化スプライン、セミパラメトリック回帰など、多くの非標準回帰法は、通常の最小二乗射影に基づくものではなく、正則化（一般化および／またはペナルティ付き）最小二乗法に基づいているため、次元に関して定義された自由度は、これらの手順では一般的に役に立ちません。しかし、これらの手順は依然として観測値に対して線形であり、回帰の適合値は次の形式で表すことができます。
どこは適合モデルから得られた各元の共変量値における適合値のベクトル、yは元の応答ベクトル、Hはハット行列であり、回帰変数の線形部分空間の射影行列、より一般的には平滑化行列です。
統計的推論では、平方和を依然として形成することができます。モデル平方和は次のとおりです。; 残差平方和はしかし、H は通常の最小二乗法によるフィッティングに対応しないため (つまり、直交射影ではないため)、これらの二乗和は (スケーリングされた、非中心) カイ二乗分布を持たなくなり、次元的に定義された自由度は役に立たなくなります。
適合度の有効自由度は、適合度検定、交差検証、その他の統計的推論手順を実行するために、さまざまな方法で定義できます。ここでは、回帰の有効自由度と残差の有効自由度を区別することができます。
回帰の有効自由度については、ハット行列のトレース[ 8 ] tr( H )、ハット行列の二次形式のトレースtr( H'H )、形式tr(2H – H H ' )、またはSatterthwaite近似tr( H'H ) 2 / tr( H'HH'H ) [ 9 ]など、適切な定義が考えられます。線形回帰の場合、ハット行列HはX(X'X)−1X'であり、 これらの定義はすべて通常の自由度に帰着します。
線形モデルにおける回帰（残差ではない）自由度は、「観測された応答値に対する適合値の感度の合計」[ 10 ] 、すなわちレバレッジスコアの合計である。
これを概念化する一つの方法は、データノイズを軽減するために使用されるガウスぼかしのような単純な平滑化行列を考えることです。単純な線形または多項式近似とは対照的に、平滑化関数の実効自由度を計算することは容易ではありません。このような場合、許容される自由度を推定することが重要です。行列により、残余自由度を使用して、次のような統計的検定を推定できます。。
残差有効自由度 (redf) の対応する定義があり、HはI − Hに置き換えられます。たとえば、誤差分散を推定することが目的の場合、redf は tr(( I − H )'( I − H )) と定義され、不偏推定値は ( )
または：[ 11 ] [ 12 ] [ 13 ] [ 14 ]
上記の最後の近似[ 12 ]は、計算コストをO ( n2 )からO ( n )に削減します。一般に、分子は最小化される目的関数になります。たとえば、ハット行列に観測共分散行列Σが含まれる場合、になる。
元のケースとは異なり、非整数の自由度が許容されることに注意してください。ただし、値は通常、0 からnの間に制限する必要があります。[ 15 ]
例えば、k近傍平滑化を考えてみましょう。これは、与えられた点に最も近いk個の測定値の平均です。すると、 n個の測定点それぞれにおいて、予測値を構成する線形結合における元の値の重みは1/ kとなります。したがって、ハット行列のトレースはn/kです。つまり、この平滑化にはn/k個の実効自由度が必要となります。
別の例として、ほぼ重複した観測値の存在を考えてみましょう。古典的な公式n − pを単純に適用すると、各観測値が独立しているかのように、残差の自由度を過大評価することになります。しかし、より現実的には、ハット行列H = X ( X ' Σ −1 X ) −1 X ' Σ −1には、観測値間の非ゼロ相関を示す観測値共分散行列 Σ が含まれます。
有効自由度のより一般的な定式化により、例えば誤差分散 σ 2のより現実的な推定値が得られ、それによって未知のパラメータの事後標準偏差がスケーリングされます。自由度は、特定の信頼水準に対して誤差楕円を生成するために必要な拡張係数にも影響します。
同様の概念としては、ノンパラメトリック回帰における等価自由度[ 16 ]、大気研究における信号の自由度[ 17 ] [ 18 ] 、 測地学における非整数自由度[ 19 ] [ 20 ]などがある。
構造方程式モデル（SEM）の結果が提示される場合、一般的には、モデル全体の適合度を示す1つ以上の指標が含まれます。最も一般的な指標は、χ²統計量。これは、一般的に報告される他の指標の基礎となります。解釈されるのはこれらの他の統計量ですが、χ²の自由度は、モデルの適合性やモデル自体の性質を理解する上で不可欠です。
SEMにおける自由度は、分析への入力として使用される固有の情報（既知と呼ばれることもある）の数と、一意に推定されるパラメータ（未知と呼ばれることもある）の数の差として計算されます。最も一般的なSEM分析である共分散構造の分析（つまり、平均構造はモデル化されていない）では、これはモデル化されている共分散行列の非冗長要素の数です。モデル内の観測変数には、このような要素（残りの要素と共に）（対角線以外の要素は対角線を横切ってコピーされる）。たとえば、4項目の1因子確認因子分析では、既知の値（4つの項目間の6つの固有の共分散と4つの項目分散）と8つの未知の値（4つの因子負荷量と4つの誤差分散）により、残りの自由度は2つになります。
SEMを含む論文の読者は、自由度を用いて、論文の著者が実際に正しいモデル適合統計量を報告しているかどうかを判断できることが示されている。例えば、組織科学では、トップジャーナルに掲載された論文のほぼ半数が、論文で説明されているモデルと矛盾する自由度を報告しており、読者はどのモデルが実際にテストされたのか疑問に思うことになる。[ 22 ]
複雑な調査サンプリング設計を使用してデータが収集される場合、サンプリング設計の自由度（下限）は通常、（一次サンプリング単位の数）－（層の数）として与えられます。これは、非復元抽出の2段階サンプリング設計の分散の一般的な推定値に基づいています。調査サンプルの場合、地層、一次サンプリング単位（PSU）は、第 1 層は、、 そして観測単位は層内の 番目の PSU推定人口総数の分散
そこで、総括するとPSU、層とは推定され、差し引かれる。したがって、上記の幾何学的考察と一致する自由度は。
複雑な調査設計における自由度のより正確な近似は、変数の歪度[ 24 ]、有効サンプルサイズ[ 25 ]、線形モデルにおける予測因子のクラスタリング[ 26 ]を補正します。
![{\displaystyle {\text{SSE}}=\sum _{i=1}^{n}\left[(X_{i}-{\bar {X}})^{2}+(Y_{i}-{\bar {Y}})^{2}+(Z_{i}-{\bar {Z}})^{2}\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/0442b8c8b9f4961b809a604bb5f5dc03a429fbf3)
![{\displaystyle v[t_{\rm {str}}(y)]=\sum _{h=1}^{L}(1-f_{h}){\frac {n_{h}}{n_{h}-1}}\sum _{i=1}^{n_{h}}({\bar {y}}_{hi}-{\bar {y}}_{h})^{2}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/fc0cf6cc6113cb858d204ee20c31b9fe5d5fe955)
