単純線形回帰

統計学において、単純線型回帰（SLR）は、単一の説明変数を持つ線型回帰モデルである。^{[1] [2] [3] [4] [5]}つまり、1つの独立変数と1つの従属変数（慣例的には、直交座標系のx座標とy座標）を持つ2次元のサンプルポイントに関係し、独立変数の関数として従属変数の値を可能な限り正確に予測する線型関数（垂直でない直線）を求める。形容詞「単純」は、結果変数が単一の予測変数に関連しているという事実を指す。

通常の最小二乗法 (OLS) を使用するという追加の規定を設けるのが一般的です。各予測値の精度は、その残差の二乗(データ セットのポイントと近似線の間の垂直距離) によって測定され、目標はこれらの二乗偏差の合計をできるだけ小さくすることです。この場合、近似線の傾きは、これらの変数の標準偏差の比率で補正されたyとxの相関に等しくなります。近似線の切片は、線がデータ ポイントの 質量の中心( x、y )を通過するようになります。

モデル関数 を考える

${\displaystyle y=\alpha +\beta x,}$

これは傾きβ、y切片αの直線を描きます。一般に、このような関係は、独立変数と従属変数の値のほとんどが観測されていない集団に対しては正確には当てはまりません。上記の式からの観測されていない偏差を誤差と呼びます。n個のデータ ペアを観測し、それらを{( x _i , y _i ), i = 1, ..., n } と呼ぶとします。この誤差項ε _iを含むy _iとx _iの間の基本的な関係は、次のように 記述できます。

${\displaystyle y_{i}=\alpha +\beta x_{i}+\varepsilon _{i}.}$

真の（しかし観測されていない）基礎パラメータαおよびβとデータ ポイント間のこの関係は、線形回帰モデルと呼ばれます。

目標は、データ ポイントに対してある意味で「最適な」適合を提供するパラメータαとβの推定値とを見つけることです。導入で述べたように、この記事では「最適な」適合は最小二乗法で理解されます。つまり、残差の二乗和(誤差と残差も参照) (従属変数yの実際の値と予測値の差) を最小化する線です。各残差は、任意の候補パラメータ値とに対して、次のように与えられます。 ${\displaystyle {\widehat {\alpha }}}$${\displaystyle {\widehat {\beta }}}$${\displaystyle {\widehat {\varepsilon }}_{i}}$${\displaystyle \alpha }$${\displaystyle \beta }$

${\displaystyle {\widehat {\varepsilon }}_{i}=y_{i}-\alpha -\beta x_{i}.}$

言い換えれば、次の最小化問題を解きます。 ${\displaystyle {\widehat {\alpha }}}$${\displaystyle {\widehat {\beta }}}$

${\displaystyle ({\hat {\alpha }},\,{\hat {\beta }})=\operatorname {argmin} \left(Q(\alpha ,\beta )\right),}$

ここで目的関数 Qは次のようになります。

${\displaystyle Q(\alpha ,\beta )=\sum _{i=1}^{n}{\widehat {\varepsilon }}_{i}^{\,2}=\sum _{i=1}^{n}(y_{i}-\alpha -\beta x_{i})^{2}\ .}$

を展開して2次式を得ることで、関数の引数を最小化する値を導き出すことができ、次のように表記される：[ ^6]${\displaystyle \alpha }$${\displaystyle \beta ,}$${\displaystyle {\widehat {\alpha }}}$${\displaystyle {\widehat {\beta }}}$

$${\displaystyle {\begin{aligned}{\widehat {\alpha }}&={\bar {y}}-({\widehat {\beta }}\,{\bar {x}}),\\[5pt]{\widehat {\beta }}&={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}={\frac {\sum _{i=1}^{n}\Delta x_{i}\Delta y_{i}}{\sum _{i=1}^{n}\Delta x_{i}^{2}}}\end{aligned}}}$$

ここで紹介したのは

上記の式は、x変数とy変数の平均（）がわかっている場合に効率的に使用できます。計算時に平均がわからない場合は、式の拡張バージョンを使用する方が効率的です。これらの拡張された式は、回帰多項式を1次と定義することで、 より一般的な多項式回帰式^{[7] [8]}から次のように導出できます。${\displaystyle {\bar {x}}{\text{ and }}{\bar {y}}}$${\displaystyle {\widehat {\alpha }}{\text{ and }}{\widehat {\beta }}}$

${\displaystyle {\begin{bmatrix}n&\sum _{i=1}^{n}x_{i}\\\sum _{i=1}^{n}x_{i}&\sum _{i=1}^{n}x_{i}^{2}\end{bmatrix}}{\begin{bmatrix}{\widehat {\alpha }}\\{\widehat {\beta }}\end{bmatrix}}={\begin{bmatrix}\sum _{i=1}^{n}y_{i}\\\sum _{i=1}^{n}y_{i}x_{i}\end{bmatrix}}}$

上記の線形方程式系は直接解くこともできるし、上記の行列方程式を展開することで の独立した方程式を導くこともできる。結果として得られる方程式は前段落で示したものと代数的に等価であり、証明なしで以下に示す。^{[9] [7]}${\displaystyle {\widehat {\alpha }}{\text{ and }}{\widehat {\beta }}}$

${\displaystyle {\begin{aligned}&\qquad {\widehat {\alpha }}={\frac {\sum _{i=1}^{n}y_{i}\sum _{i=1}^{n}x_{i}^{2}-\sum _{i=1}^{n}x_{i}\sum _{i=1}^{n}x_{i}y_{i}}{n\sum _{i=1}^{n}x_{i}^{2}-(\sum _{i=1}^{n}x_{i})^{2}}}\\[5pt]\\&\qquad {\widehat {\beta }}={\frac {n\sum _{i=1}^{n}x_{i}y_{i}-\sum _{i=1}^{n}x_{i}\sum _{i=1}^{n}y_{i}}{n\sum _{i=1}^{n}x_{i}^{2}-(\sum _{i=1}^{n}x_{i})^{2}}}\\&\qquad \end{aligned}}}$

共分散行列の要素を使用して解を再定式化することができます。 $${\displaystyle {\widehat {\beta }}={\frac {s_{x,y}}{s_{x}^{2}}}=r_{xy}{\frac {s_{y}}{s_{x}}}}$$

どこ

上記の式を元の解に 代入すると、${\displaystyle {\widehat {\alpha }}}$${\displaystyle {\widehat {\beta }}}$

${\displaystyle {\frac {y-{\bar {y}}}{s_{y}}}=r_{xy}{\frac {x-{\bar {x}}}{s_{x}}}.}$

これは、r _{xy が}標準化されたデータ ポイントの回帰直線の傾きである(そしてこの直線は原点を通過する) ことを示しています。したがって、x が何らかの測定値であり、y が同じ項目からのフォローアップ測定値である場合、y (平均して) は x の元の値よりも平均測定値に近くなることが予想されます。この現象は平均への回帰として知られています。 ${\displaystyle -1\leq r_{xy}\leq 1}$

表記法を一般化すると、式の上に水平バーを書いて、サンプル セット全体におけるその式の平均値を示すことができます。例: ${\displaystyle {\bar {x}}}$

${\displaystyle {\overline {xy}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}y_{i}.}$

この表記により、 r _xyの簡潔な式が得られます。

${\displaystyle r_{xy}={\frac {{\overline {xy}}-{\bar {x}}{\bar {y}}}{\sqrt {\left({\overline {x^{2}}}-{\bar {x}}^{2}\right)\left({\overline {y^{2}}}-{\bar {y}}^{2}\right)}}}.}$

決定係数( 「R 二乗」) は、モデルが単一の独立変数を持つ線形である場合に等しくなります。詳細については、 サンプル相関係数を参照してください。${\displaystyle r_{xy}^{2}}$

分子の合計のすべての要素に を掛けると（それによって変化しない）： ${\displaystyle {\begin{aligned}{\frac {(x_{i}-{\bar {x}})}{(x_{i}-{\bar {x}})}}=1\end{aligned}}}$

${\displaystyle {\begin{aligned}{\widehat {\beta }}&={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}{\frac {(y_{i}-{\bar {y}})}{(x_{i}-{\bar {x}})}}}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}=\sum _{i=1}^{n}{\frac {(x_{i}-{\bar {x}})^{2}}{\sum _{j=1}^{n}(x_{j}-{\bar {x}})^{2}}}{\frac {(y_{i}-{\bar {y}})}{(x_{i}-{\bar {x}})}}\\[6pt]\end{aligned}}}$

回帰直線の傾き (角度の正接) は、i 番目の点をすべての点の平均に接続する直線の傾き (角度の正接) の加重平均であることがわかります。これは、点の位置の小さな誤差が中心点に接続する傾きに大きく影響するため、点が遠いほど「重要」になるためです。 ${\displaystyle {\frac {(y_{i}-{\bar {y}})}{(x_{i}-{\bar {x}})}}}$${\displaystyle (x_{i}-{\bar {x}})^{2}}$

${\displaystyle {\begin{aligned}{\widehat {\alpha }}&={\bar {y}}-{\widehat {\beta }}\,{\bar {x}},\\[5pt]\end{aligned}}}$

直線が正のx軸となす角度を考えると、${\displaystyle {\widehat {\beta }}=\tan(\theta )=dy/dx\rightarrow dy=dx\times {\widehat {\beta }}}$${\displaystyle \theta }$${\displaystyle y_{\rm {intersection}}={\bar {y}}-dx\times {\widehat {\beta }}={\bar {y}}-dy}$

上記の式では、それぞれが定数（「事前にわかっている」）値であるのに対し、は線形関数とランダム項に依存するランダム変数であることに注意してください。この仮定は、傾きの標準誤差を導出し、それが偏りがないことを示すときに使用されます。 ${\displaystyle x_{i}}$${\displaystyle y_{i}}$${\displaystyle x_{i}}$${\displaystyle \varepsilon _{i}}$

この枠組みでは、 が実際にはランダム変数ではない場合、経験的相関はどのようなタイプのパラメータを推定するのでしょうか。問題は、各値 i について、およびになることです。 の考えられる解釈は、 がサンプル内の x 値の経験的分布から抽出されたランダム変数を定義すると想像することです。たとえば、 x に自然数[1,2,3...,10] からの 10 個の値がある場合、 x は離散一様分布であると想像できます。この解釈では、すべてが同じ期待値といくらかの正の分散を持ちます。この解釈では、 をランダム変数 y とランダム変数 x (先ほど定義したとおり) の間の ピアソンの相関の推定値として考えることができます。${\displaystyle x_{i}}$${\displaystyle r_{xy}}$${\displaystyle E(x_{i})=x_{i}}$${\displaystyle Var(x_{i})=0}$${\displaystyle r_{xy}}$${\displaystyle x_{i}}$${\displaystyle x_{i}}$${\displaystyle r_{xy}}$

単純な線形回帰推定値からの推定値の統計的特性の説明には、統計モデルの使用が必要です。以下は、推定値が最適となるモデルの妥当性を仮定することに基づいています。不均一性などの他の仮定の下で特性を評価することも可能ですが、これについては別の場所で説明します。^{[説明が必要]}

推定値と は偏りがありません。 ${\displaystyle {\widehat {\alpha }}}$${\displaystyle {\widehat {\beta }}}$

この主張を形式化するには、これらの推定量がランダム変数であるフレームワークを定義する必要があります。残差ε _iは、平均がゼロである分布から独立して抽出されたランダム変数であると考えます。言い換えると、xの各値に対して、対応するyの値は、平均応答 α + βxと、平均でゼロに等しい誤差項と呼ばれる追加のランダム変数εとして生成されます。このような解釈では、最小二乗推定量と自体は、平均が「真の値」 αとβに等しいランダム変数になります。これが、不偏推定量の定義です。 ${\displaystyle {\widehat {\alpha }}}$${\displaystyle {\widehat {\beta }}}$

この文脈におけるデータは観測値ごとに ( x , y ) ペアとして定義されているため、与えられたx値、例えばx _dでの平均応答は、 x値x _dにおける母集団のy値の平均の推定値、つまり となる。平均応答の分散は次のように与えられる: ^[11]${\displaystyle {\hat {E}}(y\mid x_{d})\equiv {\hat {y}}_{d}\!}$

${\displaystyle \operatorname {Var} \left({\hat {\alpha }}+{\hat {\beta }}x_{d}\right)=\operatorname {Var} \left({\hat {\alpha }}\right)+\left(\operatorname {Var} {\hat {\beta }}\right)x_{d}^{2}+2x_{d}\operatorname {Cov} \left({\hat {\alpha }},{\hat {\beta }}\right).}$

この式は次のように簡略化できる。

${\displaystyle \operatorname {Var} \left({\hat {\alpha }}+{\hat {\beta }}x_{d}\right)=\sigma ^{2}\left({\frac {1}{m}}+{\frac {\left(x_{d}-{\bar {x}}\right)^{2}}{\sum (x_{i}-{\bar {x}})^{2}}}\right),}$

ここで、m はデータ ポイントの数です。

この単純化を証明するために、次の等式を使用することができる。

${\displaystyle \sum (x_{i}-{\bar {x}})^{2}=\sum x_{i}^{2}-{\frac {1}{m}}\left(\sum x_{i}\right)^{2}.}$

予測応答分布は、与えられた点x _dにおける残差の予測分布である。したがって、分散は次のように与えられる。

${\displaystyle {\begin{aligned}\operatorname {Var} \left(y_{d}-\left[{\hat {\alpha }}+{\hat {\beta }}x_{d}\right]\right)&=\operatorname {Var} (y_{d})+\operatorname {Var} \left({\hat {\alpha }}+{\hat {\beta }}x_{d}\right)-2\operatorname {Cov} \left(y_{d},\left[{\hat {\alpha }}+{\hat {\beta }}x_{d}\right]\right)\\&=\operatorname {Var} (y_{d})+\operatorname {Var} \left({\hat {\alpha }}+{\hat {\beta }}x_{d}\right).\end{aligned}}}$

2 行目は、新しい予測ポイントがモデルの適合に使用されたデータに依存しないため、 がゼロであるという事実から導き出されます。また、 項は平均応答に対して以前に計算されています。 ${\displaystyle \operatorname {Cov} \left(y_{d},\left[{\hat {\alpha }}+{\hat {\beta }}x_{d}\right]\right)}$${\displaystyle \operatorname {Var} \left({\hat {\alpha }}+{\hat {\beta }}x_{d}\right)}$

（推定可能な固定だが未知のパラメータ） なので、予測される応答の分散は次のように表される。${\displaystyle \operatorname {Var} (y_{d})=\sigma ^{2}}$

${\displaystyle {\begin{aligned}\operatorname {Var} \left(y_{d}-\left[{\hat {\alpha }}+{\hat {\beta }}x_{d}\right]\right)&=\sigma ^{2}+\sigma ^{2}\left({\frac {1}{m}}+{\frac {\left(x_{d}-{\bar {x}}\right)^{2}}{\sum (x_{i}-{\bar {x}})^{2}}}\right)\\[4pt]&=\sigma ^{2}\left(1+{\frac {1}{m}}+{\frac {(x_{d}-{\bar {x}})^{2}}{\sum (x_{i}-{\bar {x}})^{2}}}\right).\end{aligned}}}$

前のセクションで示した式を使用すると、αとβの点推定値、つまり、特定のデータ セットの回帰直線の係数を計算できます。ただし、これらの式では、推定値の精度、つまり、指定されたサンプル サイズで推定値がサンプルごとにどの程度変化するかはわかりません。信頼区間は、実験を非常に多くの回数繰り返した場合に得られる推定値の妥当なセットを提供するために考案されました。 ${\displaystyle {\widehat {\alpha }}}$${\displaystyle {\widehat {\beta }}}$

線形回帰係数の信頼区間を構築する標準的な方法は、正規性仮定に依存しており、次のいずれかの場合に正当化されます。

1. 回帰分析における誤差は正規分布している（いわゆる古典的な回帰の仮定）、または
2. 観測数nが十分に大きい場合、推定値はほぼ正規分布します。

後者の場合は中心極限定理によって正当化されます。

上記の最初の仮定、つまり誤差項の正規性の下では、傾き係数の推定量自体は平均βと分散σ 2 で正規分布する。ここでσ ²は誤差項の分散である（通常の最小二乗法に関する証明を参照）。同時に、残差二乗和Qはχ ²に比例してn − 2の自由度で分布し、 からは独立している。これにより、 t値 を構築することができる。${\displaystyle \sigma ^{2}\left/\sum (x_{i}-{\bar {x}})^{2}\right.,}$${\displaystyle {\widehat {\beta }}}$

${\displaystyle t={\frac {{\widehat {\beta }}-\beta }{s_{\widehat {\beta }}}}\ \sim \ t_{n-2},}$

どこ

${\displaystyle s_{\widehat {\beta }}={\sqrt {\frac {{\frac {1}{n-2}}\sum _{i=1}^{n}{\widehat {\varepsilon }}_{i}^{\,2}}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}}}$

は推定値の不偏標準誤差推定値です。 ${\displaystyle {\widehat {\beta }}}$

このt値は自由度n − 2のスチューデントのt分布に従います。これを使用してβの信頼区間を構築できます。

${\displaystyle \beta \in \left[{\widehat {\beta }}-s_{\widehat {\beta }}t_{n-2}^{*},\ {\widehat {\beta }}+s_{\widehat {\beta }}t_{n-2}^{*}\right],}$

信頼水準（1 − γ）で、t _{n −2}分布の分位数です。たとえば、γ = 0.05の場合、信頼水準は95％です。 ${\displaystyle t_{n-2}^{*}}$${\displaystyle \scriptstyle \left(1\;-\;{\frac {\gamma }{2}}\right){\text{-th}}}$

同様に、切片係数αの信頼区間は次のように与えられる。

${\displaystyle \alpha \in \left[{\widehat {\alpha }}-s_{\widehat {\alpha }}t_{n-2}^{*},\ {\widehat {\alpha }}+s_{\widehat {\alpha }}t_{n-2}^{*}\right],}$

信頼水準（1 − γ）において、

${\displaystyle s_{\widehat {\alpha }}=s_{\widehat {\beta }}{\sqrt {{\frac {1}{n}}\sum _{i=1}^{n}x_{i}^{2}}}={\sqrt {{\frac {1}{n(n-2)}}\left(\sum _{i=1}^{n}{\widehat {\varepsilon }}_{i}^{\,2}\right){\frac {\sum _{i=1}^{n}x_{i}^{2}}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}}}}$

αとβの信頼区間は、これらの回帰係数が最もありそうな場所を大まかに示します。例えば、ここに示したオークンの法則の回帰では、点推定値は次のようになります。

${\displaystyle {\widehat {\alpha }}=0.859,\qquad {\widehat {\beta }}=-1.817.}$

これらの推定値の95%信頼区間は

${\displaystyle \alpha \in \left[\,0.76,0.96\right],\qquad \beta \in \left[-2.06,-1.58\,\right].}$

この情報を回帰直線の周りの信頼帯の形でグラフで表すためには、慎重に進め、推定値の結合分布を考慮する必要がある。^[12]によれば、信頼水準(1 −  γ )では信頼帯は次式で与えられる双曲線形をとる。

${\displaystyle (\alpha +\beta \xi )\in \left[\,{\widehat {\alpha }}+{\widehat {\beta }}\xi \pm t_{n-2}^{*}{\sqrt {\left({\frac {1}{n-2}}\sum {\widehat {\varepsilon }}_{i}^{\,2}\right)\cdot \left({\frac {1}{n}}+{\frac {(\xi -{\bar {x}})^{2}}{\sum (x_{i}-{\bar {x}})^{2}}}\right)}}\,\right].}$

モデルが切片を固定して0（）に等しいと仮定した場合、傾きの標準誤差は次のようになります。 ${\displaystyle \alpha =0}$

${\displaystyle s_{\widehat {\beta }}={\sqrt {{\frac {1}{n-1}}{\frac {\sum _{i=1}^{n}{\widehat {\varepsilon }}_{i}^{\,2}}{\sum _{i=1}^{n}x_{i}^{2}}}}}}$

と：${\displaystyle {\hat {\varepsilon }}_{i}=y_{i}-{\hat {y}}_{i}}$

2 番目の仮定は、データセット内の点の数が「十分に大きい」場合、大数の法則と中心極限定理が適用され、推定値の分布がほぼ正規分布になるというものです。この仮定の下では、前のセクションで導出されたすべての式は、スチューデントのt分布の分位数t* _{n −2}が標準正規分布の分位数q*に置き換えられるという例外を除いて、有効なままです。時折、分数⁠1/ｎ −２⁠ は⁠に置き換えられます1/ん⁠ . nが大きい場合、このような変更によって結果が大幅に変わることはありません。

このデータセットは、30～39 歳のアメリカ人女性をサンプルとして、身長の関数として女性の平均体重を示しています。OLS の記事では、このデータには二次回帰を実行する方が適切であると主張していますが、ここでは代わりに単純な線形回帰モデルを適用しています。

このデータ セットにはn = 15 個のポイントがあります。手計算は、次の 5 つの合計を求めることから始まります。

${\displaystyle {\begin{aligned}S_{x}&=\sum x_{i}\,=24.76,\qquad S_{y}=\sum y_{i}\,=931.17,\\[5pt]S_{xx}&=\sum x_{i}^{2}=41.0532,\;\;\,S_{yy}=\sum y_{i}^{2}=58498.5439,\\[5pt]S_{xy}&=\sum x_{i}y_{i}=1548.2453\end{aligned}}}$

これらの量は、回帰係数の推定値とその標準誤差を計算するために使用されます。

${\displaystyle {\begin{aligned}{\widehat {\beta }}&={\frac {nS_{xy}-S_{x}S_{y}}{nS_{xx}-S_{x}^{2}}}=61.272\\[8pt]{\widehat {\alpha }}&={\frac {1}{n}}S_{y}-{\widehat {\beta }}{\frac {1}{n}}S_{x}=-39.062\\[8pt]s_{\varepsilon }^{2}&={\frac {1}{n(n-2)}}\left[nS_{yy}-S_{y}^{2}-{\widehat {\beta }}^{2}(nS_{xx}-S_{x}^{2})\right]=0.5762\\[8pt]s_{\widehat {\beta }}^{2}&={\frac {ns_{\varepsilon }^{2}}{nS_{xx}-S_{x}^{2}}}=3.1539\\[8pt]s_{\widehat {\alpha }}^{2}&=s_{\widehat {\beta }}^{2}{\frac {1}{n}}S_{xx}=8.63185\end{aligned}}}$

自由度13のスチューデントt分布の0.975分位数はt ^* ₁₃ = 2.1604であり、したがってαとβの95%信頼区間は

${\displaystyle {\begin{aligned}&\alpha \in [\,{\widehat {\alpha }}\mp t_{13}^{*}s_{\alpha }\,]=[\,{-45.4},\ {-32.7}\,]\\[5pt]&\beta \in [\,{\widehat {\beta }}\mp t_{13}^{*}s_{\beta }\,]=[\,57.4,\ 65.1\,]\end{aligned}}}$

積率相関係数も次のように計算できます。

${\displaystyle {\widehat {r}}={\frac {nS_{xy}-S_{x}S_{y}}{\sqrt {(nS_{xx}-S_{x}^{2})(nS_{yy}-S_{y}^{2})}}}=0.9946}$

SLR では、従属変数のみに測定誤差が含まれるという前提が根底にあります。説明変数も誤差を伴って測定される場合、回帰希釈によってバイアスがかかるため、単純回帰は根底にある関係を推定するのに適切ではありません。

通常の最小二乗法の代わりに使用できる他の推定方法には、最小絶対偏差（残差の絶対値の合計を最小化する）やTheil–Sen 推定量（サンプル ポイントのペアによって決定される傾きの中央値を傾きとする線を選択する） などがあります。

デミング回帰(合計最小二乗法) も、2 次元のサンプル ポイントのセットに適合する線を見つけますが、(通常の最小二乗法、最小絶対偏差、および中央傾き回帰とは異なり) 座標を 1 つの従属変数と 1 つの独立変数に分割せず、適合として垂直線を返す可能性があるため、実際には単純な線形回帰の例ではありません。データよりも外れ値を適合させようとするモデルにつながる可能性があります。

xとyは比例関係にあると仮定されるため、回帰直線を原点に強制的に通すのが適切な場合もあります。切片項のないモデル、y = βxの場合、 βのOLS推定量は次のように簡略化されます。

${\displaystyle {\widehat {\beta }}={\frac {\sum _{i=1}^{n}x_{i}y_{i}}{\sum _{i=1}^{n}x_{i}^{2}}}={\frac {\overline {xy}}{\overline {x^{2}}}}}$

( x , y )の代わりに( x − h , y − k )を代入すると、( h , k )を通した回帰式が得られます。

${\displaystyle {\begin{aligned}{\widehat {\beta }}&={\frac {\sum _{i=1}^{n}(x_{i}-h)(y_{i}-k)}{\sum _{i=1}^{n}(x_{i}-h)^{2}}}={\frac {\overline {(x-h)(y-k)}}{\overline {(x-h)^{2}}}}\\[6pt]&={\frac {{\overline {xy}}-k{\bar {x}}-h{\bar {y}}+hk}{{\overline {x^{2}}}-2h{\bar {x}}+h^{2}}}\\[6pt]&={\frac {{\overline {xy}}-{\bar {x}}{\bar {y}}+({\bar {x}}-h)({\bar {y}}-k)}{{\overline {x^{2}}}-{\bar {x}}^{2}+({\bar {x}}-h)^{2}}}\\[6pt]&={\frac {\operatorname {Cov} (x,y)+({\bar {x}}-h)({\bar {y}}-k)}{\operatorname {Var} (x)+({\bar {x}}-h)^{2}}},\end{aligned}}}$

ここで、Cov と Var はサンプル データの共分散と分散 (バイアス補正なし) を表します。上記の最後の形式は、線をデータ ポイントの質量の中心から遠ざけると、傾きにどのような影響があるかを示しています。

• 設計行列#単純線形回帰
• 線形傾向推定
• 線形セグメント回帰
• 通常の最小二乗法による証明- この記事で使用されているすべての公式の一般的な多次元の場合の導出
• ニューイ・ウェスト推定量

• Wolfram MathWorldによる最小二乗法の説明とその計算方法
• 単回帰の数学（ロバート・ナウ、デューク大学）