線形回帰

• ${\displaystyle \mathbf {y} }$観測値のベクトルです${\displaystyle y_{i}\ (i=1,\ldots ,n)}$被説明変数、内生変数、応答変数、目的変数、測定変数、基準変数、または従属変数と呼ばれる変数。この変数は予測変数とも呼ばれますが、予測値と混同してはいけません。予測値は次のように表されます。${\displaystyle {\hat {y}}}$データセット内のどの変数を従属変数として、どの変数を独立変数としてモデル化するかという決定は、いずれかの変数の値が他の変数によって引き起こされる、あるいは他の変数によって直接影響を受けるという前提に基づいて行われる場合がある。あるいは、いずれかの変数を他の変数に基づいてモデル化する運用上の理由がある場合もあり、その場合は因果関係の前提は必要ない。
• ${\displaystyle \mathbf {X} }$行ベクトルの行列と見なすことができる$\displaystyle \mathbf {x} _{i\cdot }}$またはn次元列ベクトル${\displaystyle \mathbf {x} _{\cdot j}}$これらは回帰変数、外生変数、説明変数、共変量、入力変数、予測変数、または独立変数（独立確率変数の概念と混同しないように）として知られています。行列${\displaystyle \mathbf {X} }$これはデザインマトリックスと呼ばれることもあります。
  • 通常、定数は回帰変数の1つとして含まれます。特に、${\displaystyle x_{i0}=1}$のために${\displaystyle i=1,\ldots ,n}$βの対応する要素は切片と呼ばれます。線形モデルの多くの統計的推論手順では切片の存在が必要とされるため、理論的にはその値がゼロであるべき場合でも、切片が含まれることがよくあります。
  • 多項式回帰や区分回帰のように、回帰変数の1つが別の回帰変数またはデータ値の非線形関数になる場合がある。モデルは、パラメータベクトルβに関して線形である限り、線形性を維持する。
  • 値x _ijは、確率変数X _jの観測値とみなすことも、従属変数を観測する前に選択された固定値とみなすこともできます。どちらの解釈も状況によっては適切であり、一般的には同じ推定手順につながりますが、漸近解析のアプローチはこれら2つの状況で異なります。
• ${\displaystyle {\boldsymbol {\beta }}}$は${\displaystyle (p+1)}$次元パラメータベクトル、ここで$\displaystyle \beta _{0}}$は切片項です（モデルに含まれている場合、含まれていない場合は${\displaystyle {\boldsymbol {\beta }}}$はp次元です。その要素は効果または回帰係数と呼ばれます(ただし、後者の用語は推定効果に限定される場合もあります)。単純線形回帰では、p = 1 であり、係数は回帰傾きと呼ばれます。線形回帰における統計的推定と推論はβに焦点を当てています。このパラメータベクトルの要素は、従属変数と様々な独立変数との偏微分として解釈されます。
• ${\displaystyle {\boldsymbol {\バレプシロン }}}$値のベクトルです${\displaystyle \varepsilon _{i}}$このモデルの部分は、誤差項、撹乱項、またはノイズ（モデルの残りの部分が提供する「信号」とは対照的）と呼ばれます。この変数は、回帰変数x以外の、従属変数yに影響を与える他のすべての要因を捉えます。誤差項と回帰変数の関係、例えば相関係数などは、適切な推定方法を決定するため、線形回帰モデルを定式化する上で重要な考慮事項となります。

与えられたデータセットに線形モデルを当てはめるには、通常、回帰係数を推定する必要がある。${\displaystyle {\boldsymbol {\beta }}}$誤差項${\displaystyle {\boldsymbol {\varepsilon }}=\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}}$が最小化される。例えば、二乗誤差の合計を用いるのが一般的である。${\displaystyle \|{\boldsymbol {\varepsilon }}\|_{2}^{2}}$の尺度として${\displaystyle {\boldsymbol {\バレプシロン }}}$最小化のため。

小さなボールを空中に投げ上げ、様々な時刻t _iにおける上昇高さh _iを測定する状況を考えてみましょう。物理学によれば、空気抵抗を無視すれば、その関係は次のようにモデル化できます。

${\displaystyle h_{i}=\beta _{1}t_{i}+\beta _{2}t_{i}^{2}+\varepsilon _{i},}$

ここで、β _{1 は}ボールの初速度を決定し、β _2は標準重力に比例し、ε _{i は}測定誤差によるものです。線形回帰を用いて、測定データからβ ₁とβ ₂の値を推定できます。このモデルは時間変数に関しては非線形ですが、パラメータβ ₁とβ _{2に関しては線形です。回帰変数}x _i  =  ( x _{i 1} , x _{i 2} )  =  ( t _i , t _i ² )を取ると、モデルは標準形になります。

${\displaystyle h_{i}=\mathbf {x} _{i}^{\mathsf {T}}{\boldsymbol {\beta }}+\varepsilon _{i}.}$

線形回帰モデルのパラメータを通常の最小二乗法などの標準的な推定手法で推定する場合、有限サンプルで不偏推定量を得るために、予測変数、応答変数、およびそれらの関係についていくつかの仮定を置く必要があります。これらの仮定をそれぞれ緩和（より弱い形式に縮小）したり、場合によっては完全に排除したりできる多数の拡張が開発されています。一般に、これらの拡張では、同等の精度のモデルを生成するために、より多くのデータまたはモデリングの仮定が必要になります^{[ 5 ]}。

適合させた線形回帰モデルを使用すると、モデル内の他のすべての予測変数が「固定」されている場合に、単一の予測変数x _jと応答変数yの間の関係を特定できます。具体的には、 β _jの解釈は、他の共変量が固定されている場合にx _jが 1 単位変化したときのyの期待される変化、つまり、x _jに関するyの偏微分の期待値です。これは、x _jがyに及ぼす固有の効果と呼ばれることもあります。これに対し、x _jがyに及ぼす限界効果は、相関係数またはx _jとyのみを関連付ける単純な線形回帰モデルを使用して評価できます。この効果は、x _jに関するyの全微分です。

回帰分析の結果を解釈する際には注意が必要です。回帰変数の中には、わずかな変化を許容しないもの（ダミー変数や切片項など）もあれば、固定できないもの（導入部の例を思い出してください。t i を固定したまま t i 2 の値を変更することは不可能です_）もある_から^です。

限界効果が大きい場合でも、固有効果がほぼゼロになる可能性はあります。これは、他の共変量がx _jに含まれるすべての情報を捉えているため、その変数がモデルに含まれると、yの変動に対するx _jの寄与がなくなることを示唆している可能性があります。逆に、 x _jの固有効果は大きいのに、限界効果がほぼゼロになる場合もあります。これは、他の共変量がyの変動の大部分を説明しているものの、主にx _jによって捉えられるものと相補的な方法で変動を説明している場合に起こります。この場合、他の変数をモデルに含めると、yの変動のうちx _jと無関係な部分が減り、それによってx _jとの見かけ上の関係が強まります。

「固定する」という表現の意味は、予測変数の値がどのように決定されるかによって異なる場合がある。実験者が研究計画に基づいて予測変数の値を直接設定する場合、関心のある比較は、実験者によって予測変数が「固定」された単位間の比較に文字通り対応する可能性がある。一方、「固定する」という表現は、データ分析の文脈で行われる選択を指す場合もある。この場合、特定の予測変数に対して共通の値を持つデータのサブセットに注目を限定することで、「変数を固定する」ことになる。観察研究において使用できる「固定する」の解釈は、この方法のみである。

複数の相互に関連する要素が応答変数に影響を与える複雑なシステムを研究する場合、「固有の効果」という概念は魅力的です。場合によっては、予測変数の値に関連する介入の因果効果として文字通り解釈できます。しかし、予測変数が互いに相関していて、研究デザインに従って割り当てられていない場合、多重回帰分析では予測変数と応答変数の関係を明確にできないケースが多いと指摘されています。^{[ 6 ]}

単一のスカラー予測変数xと単一のスカラー応答変数yの最も単純なケースは、単純線形回帰として知られています。複数の、またはベクトル値の予測変数 (大文字のXで表記)への拡張は、多重線形回帰、または多変数線形回帰(多変量線形回帰と混同しないように) として知られています。^{[ 7 ]}

重回帰分析は、独立変数が複数ある場合の単純回帰分析の一般化であり、従属変数が1つに限定された一般線形モデルの特殊なケースです。重回帰分析の基本モデルは次のとおりです。

${\displaystyle Y_{i}=\beta _{0}+\beta _{1}X_{i1}+\beta _{2}X_{i2}+\ldots +\beta _{p}X_{ip}+\epsilon _{i}}$

各観測値について${\textstyle i=1,\ldots ,n}$。

上記の式では、 1つの従属変数のn個の観測値とp個の独立変数を考慮します。したがって、Y _iは従属変数のi^{番目の観測値、} X _ijはj^{番目の独立変数の}i^番目の観測値であり、j = 1, 2, ..., pです。β _jの値は推定されるパラメータを表し、ε _iはi^番目の独立同分布正規誤差です。

より一般的な多変量線形回帰では、同じ説明変数セットを共有し、したがって互いに同時に推定されるm > 1個の従属変数それぞれに対して、上記のような形式の式が1つ存在します。

${\displaystyle Y_{ij}=\beta _{0j}+\beta _{1j}X_{i1}+\beta _{2j}X_{i2}+\ldots +\beta _{pj}X_{ip}+\epsilon _{ij}}$

i = 1, ..., nとインデックス付けされたすべての観測値と、 j = 1, ..., mとインデックス付けされたすべての従属変数について。

実際の回帰モデルのほぼすべては複数の予測変数を含み、線形回帰の基本的な説明はしばしば重回帰モデルの観点から表現されます。ただし、これらの場合、応答変数yは依然としてスカラーであることに注意してください。別の用語である多変量線形回帰は、 yがベクトルである場合、つまり一般線形回帰と同じ場合を指します。

一般線形モデルは、応答変数が（各観測値に対して）スカラーではなくベクトルy _iである場合の状況を考慮します。条件付き線形性${\displaystyle E(\mathbf {y} \mid \mathbf {x} _{i})=\mathbf {x} _{i}^{\mathsf {T}}B}$は依然として仮定されており、古典的な線形回帰モデルのベクトルβの代わりに行列Bが用いられます。通常の最小二乗法(OLS) および一般化最小二乗法(GLS) の多変量版が開発されています。「一般線形モデル」は「多変量線形モデル」とも呼ばれます。これらは多変数線形モデル (「多重線形モデル」とも呼ばれる) とは異なります。

異分散性、すなわち異なる応答変数の誤差が異なる分散を持つ場合を許容する様々なモデルが作成されてきました。例えば、重み付き最小二乗法は、応答変数の誤差分散が異なり、場合によっては相関のある誤差を持つ場合に線形回帰モデルを推定する方法です。（重み付き線形最小二乗法、および一般化最小二乗法も参照してください。）異分散性に一貫性のある標準誤差は、相関はないものの異分散性を持つ可能性のある誤差に使用するための改良された方法です。

一般化線形モデル（GLM）は、境界値または離散値を持つ応答変数をモデル化するためのフレームワークです。これは、例えば次のような場合に使用されます。

• 大規模に変動する正の量（価格や人口など）をモデル化する場合、対数正規分布やポアソン分布などの歪んだ分布を使用してより適切に記述できます（ただし、GLMは対数正規データには使用されず、代わりに応答変数は対数関数を使用して単純に変換されます）。
• 選挙における特定の候補者の選択など、カテゴリカルデータをモデル化する場合（これは、二者択一の場合はベルヌーイ分布/二項分布、多者択一の場合はカテゴリカル分布/多項分布を使用してより適切に記述できます）、意味のある順序付けができない固定数の選択肢があります。
• 順序データ、例えば0から5までの尺度での評価をモデル化する場合、異なる結果を順序付けすることはできますが、量自体には絶対的な意味がない場合があります（例えば、評価4は評価2の「2倍良い」とは客観的な意味では言えず、単に2や3よりは良いが5ほど良くないということを示しているだけです）。

一般化線形モデルでは、応答変数の平均と予測変数を関連付ける任意のリンク関数gを許容します。${\displaystyle E(Y)=g^{-1}(XB)}$リンク関数は応答の分布と関連していることが多く、特に通常は、${\displaystyle (-\infty ,\infty )}$線形予測子の範囲と応答変数の範囲。

GLMの一般的な例としては、以下のようなものがあります。

• カウントデータに対するポアソン回帰。
• 二値データに対するロジスティック回帰とプロビット回帰。
• カテゴリデータに対する多項ロジスティック回帰と多項プロビット回帰。
• 順序データに対する順序ロジット回帰と順序プロビット回帰。

単一インデックスモデルでは、xとyの関係にある程度の非線形性を許容しつつ、古典的な線形回帰モデルと同様に、線形予測子β ′ xの中心的な役割を維持します。特定の条件下では、単一インデックスモデルからのデータに単純に OLS を適用するだけで、比例定数を除いてβ を一貫して推定できます。^{[ 8 ]}

階層線形モデル（または多段階回帰）は、データを回帰の階層構造に整理します。例えば、AをBに回帰させ、BをCに回帰させるといった具合です。これは、教育統計のように、対象となる変数が自然な階層構造を持つ場合によく用いられます。教育統計では、生徒は教室に、教室は学校に、学校は学区などの行政単位にそれぞれ入れ子になっています。応答変数は、テストの点数など生徒の学業成績を示す指標であり、教室、学校、学区の各レベルで異なる共変量が収集されます。

誤差変数モデル（または「測定誤差モデル」）は、従来の線形回帰モデルを拡張し、予測変数Xに誤差が生じることを許容します。この誤差により、βの標準的な推定値は偏りを持つようになります。一般的に、この偏りは減衰という形で現れ、効果がゼロに近づくように偏ります。

多重線形回帰モデルでは

${\displaystyle y=\beta _{0}+\beta _{1}x_{1}+\cdots +\beta _{p}x_{p}+\varepsilon ,}$

パラメータ$\displaystyle \beta _{j}}$予測変数${\displaystyle x_{j}}$個々の効果を表す${\displaystyle x_{j}}$これは、応答変数の期待される変化として解釈される。${\displaystyle y}$いつ${\displaystyle x_{j}}$他の予測変数を一定に保ったまま、1単位増加する。${\displaystyle x_{j}}$他の予測変数と強い相関関係にある場合、${\displaystyle x_{j}}$他の変数を一定に保ったまま、1単位増加させることができます。この場合、$\displaystyle \beta _{j}}$これはありそうもない条件に基づいているため問題となり、${\displaystyle x_{j}}$単独で評価することはできない。

例えば、予測変数のグループについて、${\displaystyle \{x_{1},x_{2},\dots ,x_{q}\}}$グループ効果${\displaystyle \xi (\mathbf {w} )}$は、それらのパラメータの線形結合として定義される。

${\displaystyle \xi (\mathbf {w} )=w_{1}\beta _{1}+w_{2}\beta _{2}+\dots +w_{q}\beta _{q},}$

どこ${\displaystyle \mathbf {w} =(w_{1},w_{2},\dots ,w_{q})^{\intercal }}$は、以下の条件を満たす重みベクトルである。${\textstyle \sum _{j=1}^{q}|w_{j}|=1}$制約により${\displaystyle {w_{j}}}$、${\displaystyle \xi (\mathbf {w} )}$正規化グループ効果とも呼ばれます。グループ効果${\displaystyle \xi (\mathbf {w} )}$は、期待される変化として解釈される。${\displaystyle y}$グループ内の変数${\displaystyle x_{1},x_{2},\dots ,x_{q}}$金額だけ変更${\displaystyle w_{1},w_{2},\dots ,w_{q}}$それぞれ、他の変数（グループに含まれていない）を一定に保った状態で同時に。これは、変数の個々の効果を変数のグループに一般化するものであり、${\displaystyle i}$） もし${\displaystyle q=1}$すると、グループ効果は個人効果に縮小し、（${\displaystyle ii}$） もし${\displaystyle w_{i}=1}$そして${\displaystyle w_{j}=0}$のために${\displaystyle j\neq i}$すると、グループ効果も個人効果に還元される。グループ効果${\displaystyle \xi (\mathbf {w} )}$の根底にある同時変化が意味を持つと言われている${\displaystyle q}$変数${\displaystyle (x_{1},x_{2},\dots ,x_{q})^{\intercal }}$可能性が高い。

グループ効果は、線形回帰モデルにおいて、相関性の高い予測変数の集合的な影響を研究する手段を提供する。このような変数の個々の効果は、そのパラメータの解釈が適切ではないため、明確に定義されていない。さらに、サンプルサイズが大きくない場合、多重共線性の問題により、最小二乗回帰によってどのパラメータも正確に推定することはできない。しかしながら、解釈が適切で、最小二乗回帰によって正確に推定できる意味のあるグループ効果が存在する。これらの意味のあるグループ効果を特定する簡単な方法は、相関性の高い変数をすべて正の相関（APC）で配置し、その配置の下では、これらの変数間のペアワイズ相関がすべて正であり、すべての相関を標準化することである。${\displaystyle p}$モデル内の予測変数はすべて平均がゼロで長さが 1 になるようにします。これを説明するために、${\displaystyle \{x_{1},x_{2},\dots ,x_{q}\}}$は、APC配置における相関性の高い変数群であり、グループ外の予測変数とは相関性が低い。${\displaystyle y'}$中心となる${\displaystyle y}$そして${\displaystyle x_{j}'}$標準化される${\displaystyle x_{j}}$すると、標準化線形回帰モデルは次のようになります。

${\displaystyle y'=\beta _{1}'x_{1}'+\cdots +\beta _{p}'x_{p}'+\varepsilon .}$

パラメータ${\displaystyle \beta _{j}}$オリジナルモデルには、${\displaystyle \beta _{0}}$は、の単純な関数です${\displaystyle \beta _{j}'}$標準化モデルでは、変数の標準化は相関関係を変えないため、${\displaystyle \{x_{1}',x_{2}',\dots ,x_{q}'\}}$APC配置における強く相関する変数群であり、標準化モデル内の他の予測変数とは強く相関していない。${\displaystyle \{x_{1}',x_{2}',\dots ,x_{q}'\}}$は

${\displaystyle \xi '(\mathbf {w} )=w_{1}\beta _{1}'+w_{2}\beta _{2}'+\dots +w_{q}\beta _{q}',}$

そしてその最小分散不偏線形推定量は

${\displaystyle {\hat {\xi }}'(\mathbf {w} )=w_{1}{\hat {\beta }}_{1}'+w_{2}{\hat {\beta }}_{2}'+\dots +w_{q}{\hat {\beta }}_{q}',}$

どこ${\displaystyle {\hat {\beta }}_{j}'}$は、の最小二乗推定量である。${\displaystyle \beta _{j}'}$特に、グループの平均効果は${\displaystyle q}$標準化変数は

${\displaystyle \xi _{A}={\frac {1}{q}}(\beta _{1}'+\beta _{2}'+\dots +\beta _{q}'),}$

これは、期待される変化として解釈されます。${\displaystyle y'}$すべて${\displaystyle x_{j}'}$強い相関関係にあるグループでは、${\displaystyle (1/q)}$グループ外の変数を一定に保った状態で、同時に単位の 1/2 だけ増加します。強い正の相関があり、標準化された単位の場合、グループ内の変数はほぼ等しいので、同時に同様の量だけ増加する可能性が高くなります。したがって、平均グループ効果は${\displaystyle \xi _{A}}$これは意味のある効果である。最小分散不偏線形推定量によって正確に推定することができる。${\textstyle {\hat {\xi }}_{A}={\frac {1}{q}}({\hat {\beta }}_{1}'+{\hat {\beta }}_{2}'+\dots +{\hat {\beta }}_{q}')}$たとえ個々に${\displaystyle \beta _{j}'}$正確に推定できる${\displaystyle {\hat {\beta }}_{j}'}$。

すべてのグループ効果が意味のあるものであるとは限らず、正確に推定できるとは限りません。例えば、${\displaystyle \beta _{1}'}$重み付けされた特別なグループ効果です${\displaystyle w_{1}=1}$そして${\displaystyle w_{j}=0}$のために${\displaystyle j\neq 1}$しかし、それは正確に推定することはできない${\displaystyle {\hat {\beta }}'_{1}}$また、意味のある効果でもありません。一般的に、${\displaystyle q}$標準化モデルにおける APC 配置の相関性の高い予測変数、重みベクトルを持つグループ効果${\displaystyle \mathbf {w} }$単体の中心またはその近くにある${\textstyle \sum _{j=1}^{q}w_{j}=1}$（${\displaystyle w_{j}\geq 0}$）は意味があり、最小分散不偏線形推定量によって正確に推定できます。中心から遠く離れた重みベクトルを持つ効果は意味がありません。なぜなら、そのような重みベクトルは、APC配置における標準化変数の強い正の相関に反する変数の同時変化を表しているからです。したがって、それらは起こりそうにありません。これらの効果は正確に推定することもできません。

グループ効果の応用には、(1) 応答変数に対する意味のあるグループ効果の推定と推論、(2) の「グループ有意性」の検定が含まれます。${\displaystyle q}$変数をテストによって${\displaystyle H_{0}:\xi _{A}=0}$対${\displaystyle H_{1}:\xi _{A}\neq 0}$（３）最小二乗推定モデルによる予測が正確である予測変数空間の領域を特徴づける。

元の変数のグループ効果${\displaystyle \{x_{1},x_{2},\dots ,x_{q}\}}$標準化変数のグループ効果に定数を掛けたものとして表現できる${\displaystyle \{x_{1}',x_{2}',\dots ,x_{q}'\}}$後者が意味を持つ場合に前者も意味を持つ。したがって、標準化された変数のグループ効果の意味を持つことによって、元の変数の意味を持つグループ効果を見つけることができる。^{[ 9 ]}

デンプスター・シェーファー理論、特に線形信念関数においては、線形回帰モデルは部分的に掃引された行列として表現することができ、これは観測値やその他の仮定された正規分布および状態方程式を表す同様の行列と組み合わせることができる。掃引された行列または掃引されていない行列の組み合わせは、線形回帰モデルを推定するための代替手段を提供する。

独立変数が${\displaystyle {\vec {x_{i}}}=\left[x_{1}^{i},x_{2}^{i},\ldots ,x_{m}^{i}\right]}$モデルのパラメータは${\displaystyle {\vec {\beta }}=\left[\beta _{0},\beta _{1},\ldots ,\beta _{m}\right]}$すると、モデルの予測は次のようになります。

${\displaystyle y_{i}\approx \beta _{0}+\sum _{j=1}^{m}\beta _{j}\times x_{j}^{i}}$。

もし${\displaystyle {\vec {x_{i}}}}$拡張される${\displaystyle {\vec {x_{i}}}=\left[1,x_{1}^{i},x_{2}^{i},\ldots ,x_{m}^{i}\right]}$それから${\displaystyle y_{i}}$パラメータと独立ベクトルの内積になる、つまり

${\displaystyle y_{i}\approx \sum _{j=0}^{m}\beta _{j}\times x_{j}^{i}={\vec {\beta }}\cdot {\vec {x_{i}}}}$。

最小二乗法の設定では、最適パラメータベクトルは、平均二乗損失の合計を最小化するように定義されます。

${\displaystyle {\vec {\hat {\beta }}}={\underset {\vec {\beta }}{\mbox{arg min}}}\,L\left(D,{\vec {\beta }}\right)={\underset {\vec {\beta }}{\mbox{arg min}}}\sum _{i=1}^{n}\left({\vec {\beta }}\cdot {\vec {x_{i}}}-y_{i}\right)^{2}}$

独立変数と従属変数を行列に表す${\displaystyle X}$そして${\displaystyle Y}$それぞれ、損失関数は次のように書き換えることができる。

${\displaystyle {\begin{aligned}L\left(D,{\vec {\beta }}\right)&=\|X{\vec {\beta }}-Y\|^{2}\\&=\left(X{\vec {\beta }}-Y\right)^{\textsf {T}}\left(X{\vec {\beta }}-Y\right)\\&=Y^{\textsf {T}}Y-Y^{\textsf {T}}X{\vec {\beta }}-{\vec {\beta }}^{\textsf {T}}X^{\textsf {T}}Y+{\vec {\beta }}^{\textsf {T}}X^{\textsf {T}}X{\vec {\beta }}\end{aligned}}}$

損失関数は凸関数であるため、最適解は勾配がゼロの点に存在する。損失関数の勾配は（分母レイアウト規則を用いて）次のようになる。

${\displaystyle {\begin{aligned}{\frac {\partial L\left(D,{\vec {\beta }}\right)}{\partial {\vec {\beta }}}}&={\frac {\partial \left(Y^{\textsf {T}}Y-Y^{\textsf {T}}X{\vec {\beta }}-{\vec {\beta }}^{\textsf {T}}X^{\textsf {T}}Y+{\vec {\beta }}^{\textsf {T}}X^{\textsf {T}}X{\vec {\beta }}\right)}{\partial {\vec {\beta }}}}\\&=-2X^{\textsf {T}}Y+2X^{\textsf {T}}X{\vec {\beta }}\end{aligned}}}$

勾配をゼロに設定すると、最適なパラメータが得られます。

${\displaystyle {\begin{aligned}-2X^{\textsf {T}}Y+2X^{\textsf {T}}X{\vec {\beta }}&=0\\\Rightarrow X^{\textsf {T}}X{\vec {\beta }}&=X^{\textsf {T}}Y\\\Rightarrow {\vec {\hat {\beta }}}&=\left(X^{\textsf {T}}X\right)^{-1}X^{\textsf {T}}Y\end{aligned}}}$

注：${\displaystyle {\hat {\beta }}}$得られた解は確かに局所最小値である可能性があり、ヘッセ行列を得るためにもう一度微分して、それが正定値であることを示す必要があります。これはガウス・マルコフの定理によって得られます。

線形最小二乗法には主に以下のものが含まれます。

• 最小二乗法
• 重み付き最小二乗法
• 一般化最小二乗法
• 線形テンプレートフィット^{[ 11 ]}

• ベイズ線形回帰は、ベイズ統計学の枠組みを線形回帰に適用したものです。（ベイズ多変量線形回帰も参照してください。）特に、回帰係数βは、特定の事前分布を持つ確率変数であると仮定されます。事前分布は、リッジ回帰やラッソ回帰と同様の方法で（ただし、より一般的な方法で）、回帰係数の解にバイアスを与える可能性があります。さらに、ベイズ推定プロセスは、回帰係数の「最適」値の単一の点推定値ではなく、その量を取り巻く不確実性を完全に記述する事後分布全体を生成します。これを利用して、事後分布の平均値、最頻値、中央値、任意の分位数（分位数回帰を参照）、またはその他の関数を使用して、「最適」係数を推定することができます。
• 分位点回帰は、 Xが与えられたときのyの条件付き平均ではなく、 Xが与えられたときのyの条件付き分位点に焦点を当てます線形分位点回帰は、例えば条件付き中央値などの特定の条件付き分位点を、予測変数の^{線形関数β T} xとしてモデル化します。
• 混合モデルは、依存関係の構造が既知の場合に、従属データを含む線形回帰関係を分析するために広く使用されています。混合モデルの一般的な応用例としては、縦断データなどの繰り返し測定を含むデータ、またはクラスターサンプリングから得られたデータの分析があります。これらは通常、最尤推定またはベイズ推定を使用してパラメトリックモデルとして適合されます。誤差が正規ランダム変数としてモデル化されている場合、混合モデルと一般化最小二乗法の間には密接な関係があります。 ^{[ 20 ]}固定効果推定は、この種のデータを分析するための代替アプローチです。
• 主成分回帰(PCR) ^{[ 21 ] [ 22 ]}は、予測変数の数が多い場合、または予測変数間に強い相関がある場合に使用されます。この 2 段階の手順では、まず主成分分析を使用して予測変数を削減し、次に削減された変数を OLS 回帰の適合に使用します。これは実際にはうまく機能することが多いですが、予測変数の最も情報量の多い線形関数が、予測変数の多変量分布の支配的な主成分の中にあるべきであるという一般的な理論的根拠はありません。部分最小二乗回帰は、上記の欠点のない PCR 法の拡張です。
• 最小角度回帰^{[ 23 ]}は、高次元共変量ベクトルを扱うために開発された線形回帰モデルの推定手順であり、観測値よりも多くの共変量を持つ可能性がある。
• タイル・セン推定量は、サンプル点のペアを通る直線の傾きの中央値を近似直線の傾きとして選択する、シンプルで頑健な推定手法です。単純な線形回帰と同様の統計的効率特性を持ちますが、外れ値に対する感度ははるかに低くなっています。^{[ 24 ]}
• αトリム平均法やL推定量、M推定量、S推定量、R推定量など、その他の頑健な推定手法も導入されている。

トレンドラインは、他の要素を考慮した後の時系列データの長期的な動き、つまりトレンドを表します。特定のデータセット（例えば、GDP、原油価格、株価など）が一定期間にわたって増加したか減少したかを示します。トレンドラインは、データポイントの集合を目視で描くこともできますが、より正確には、線形回帰などの統計的手法を用いてその位置と傾きを計算します。トレンドラインは通常直線ですが、曲線の度合いに応じて、より高次の多項式を用いる場合もあります。

トレンドラインは、ビジネス分析において、データの経時的な変化を示すために用いられることがあります。その利点は、シンプルであることです。トレンドラインは、特定の行動やイベント（トレーニングや広告キャンペーンなど）が、ある時点での観測された変化を引き起こしたと主張する際によく用いられます。これはシンプルな手法であり、対照群、実験計画、高度な分析手法を必要としません。しかし、他の潜在的な変化がデータに影響を与える可能性がある場合、科学的な妥当性に欠けるという欠点があります。

喫煙と死亡率および罹患率との関連性を示す初期の証拠は、回帰分析を用いた観察研究から得られた。観察データを分析する際に偽相関を減らすため、研究者は通常、主要な関心変数に加えて、回帰モデルに複数の変数を含める。例えば、喫煙が主要な関心独立変数であり、従属変数が年単位で測定された寿命である回帰モデルでは、喫煙が寿命に及ぼす影響が他の社会経済的要因によるものではないことを確認するために、教育や収入を追加の独立変数として含めることがある。しかし、経験的分析において考えられるすべての交絡変数を含めることは決して不可能である。例えば、ある仮説上の遺伝子が死亡率を上昇させると同時に、喫煙量を増加させる可能性もある。このため、ランダム化比較試験は、観察データの回帰分析で得られるよりも、因果関係のより説得力のある証拠を生み出すことができる場合が多い。対照実験が実施できない場合、操作変数回帰などの回帰分析の変種を用いて、観察データから因果関係を推定する試みが行われることがある。

資本資産価格モデル（CAPM）は、投資のシステマティックリスクを分析・定量化するために、線形回帰とベータ値の概念を用います。これは、投資収益率とすべてのリスク資産の収益率の関係を示す線形回帰モデルのベータ係数から直接導き出されるものです。

線形回帰は経済学において最もよく用いられる実証的手法である。例えば、消費支出^{[ 25 ]} 、固定投資支出、在庫投資、国の輸出品の購入^{[ 26 ]}、輸入支出^{[ 26 ]}、流動資産保有需要[ ^{27 ] 、} 労働需要^{[ 28 ]}、労働供給^{[ 28 ]}の予測に用いられる。

線形回帰は、土地利用^{[ 29 ]} 、感染症^{[ 30 ]}、大気汚染^{[ 31 ]}など、環境科学の幅広い分野で応用されています。例えば、線形回帰は自動車汚染の変化の影響を予測するために使用できます[32]。^{感染症における}この応用の注目すべき例の1つは、 COVID-19パンデミックの初期に強調されたカーブを平坦化する戦略です。この戦略では、公衆衛生当局は、感染者に関するまばらなデータと、COVID-19の蔓延を特徴付けるための高度な疾病伝播モデルを扱いました^{[ 33 ] 。}

線形回帰は、建物の居住者の特性を導き出すために、建築科学の現場調査でよく使用されます。温熱快適性の現場調査では、建築科学者は通常、居住者に温熱感覚投票（-3（寒いと感じる）から0（中立）から+3（暑いと感じる）までの範囲）を尋ね、居住者の周囲の温度データを測定します。温熱感覚投票と室内温度の間の線形回帰に基づいて、温熱感覚投票をゼロに設定することで、中立または快適な温度を計算できます。ただし、回帰の方向、つまり温熱感覚投票（y軸）を室内温度（x軸）に対して回帰させるか、その逆、つまり室内温度（y軸）を温熱感覚投票（x軸）に対して回帰させるかについて議論があります。^{[ 34 ]}

線形回帰は、機械学習として知られる人工知能のサブ分野で重要な役割を果たしています。線形回帰アルゴリズムは、その比較的単純さとよく知られた特性により、基本的な教師あり機械学習アルゴリズムの1つです。 ^{[ 35 ]}