線形回帰

統計学において、線型回帰は、スカラー応答（従属変数）と1つ以上の説明変数（回帰子または独立変数）の間の線形関係を推定するモデルである。説明変数が1つだけのモデルは単線型回帰であり、説明変数が2つ以上あるモデルは多重線型回帰である。^{[1]この用語は、単一の従属変数ではなく、}相関する複数の従属変数を予測する多変量線型回帰とは異なる。^[2]

線型回帰では、関係は線型予測子関数を使用してモデル化され、その未知のモデルパラメータはデータから推定されます。最も一般的な方法は、説明変数（または予測子）の値が与えられた場合の応答の条件付き平均が、それらの値のアフィン関数であると仮定することです。あまり一般的ではありませんが、条件付き中央値またはその他の分位数が使用されます。すべての形式の回帰分析と同様に、線型回帰は、多変量解析の領域であるこれらすべての変数の結合確率分布ではなく、予測子の値が与えられた場合の応答の条件付き確率分布に焦点を当てています。

線形回帰も機械学習 アルゴリズムの一種であり、より具体的には教師ありアルゴリズムであり、ラベル付けされたデータセットから学習し、データポイントを新しいデータセットの予測に使用できる最も最適化された線形関数にマッピングします。^[3]

線形回帰は、厳密に研究され、実際のアプリケーションで広く使用されるようになった最初のタイプの回帰分析でした。^[4]これは、未知のパラメータに線形に依存するモデルは、パラメータに非線形に依存するモデルよりも適合が容易であり、結果として得られる推定値の統計的特性を決定するのが容易であるためです。

線形回帰には多くの実用的な用途があります。ほとんどのアプリケーションは、次の 2 つの大まかなカテゴリのいずれかに分類されます。

• 目標がエラー、つまり予測または予報における分散の削減である場合、線形回帰を使用して、応答変数と説明変数の値の観測データ セットに予測モデルを適合させることができます。このようなモデルを開発した後、応答値を伴わない説明変数の追加値を収集すると、適合モデルを使用して応答を予測できます。
• 説明変数の変動に起因する応答変数の変動を説明することが目的である場合、線形回帰分析を適用して、応答と説明変数の関係の強さを定量化し、特に、一部の説明変数が応答とまったく線形関係を持たないかどうかを判断したり、説明変数のどのサブセットに応答に関する冗長な情報が含まれている可能性があるかを特定したりすることができます。

線形回帰モデルは、多くの場合、最小二乗法を使用してフィッティングされますが、他のノルムの「適合の欠如」を最小化することによって（最小絶対偏差回帰など）、またはリッジ回帰（L ² -ノルムペナルティ）やラッソ（L ¹ -ノルムペナルティ）のように最小二乗コスト関数のペナルティバージョンを最小化するなど、他の方法でフィッティングされることもあります。大きな外れ値が多数あるデータセットのコストとして平均二乗誤差（MSE）を使用すると、MSE によって大きな誤差に割り当てられる重要度が高くなるため、実際のデータよりも外れ値に適合するモデルになる可能性があります。したがって、データセットに大きな外れ値が多数ある場合は、外れ値に対して堅牢なコスト関数を使用する必要があります。逆に、最小二乗法は、線形モデルではないモデルをフィッティングするために使用できます。したがって、「最小二乗」と「線形モデル」という用語は密接に関連していますが、同義ではありません。

n個の統計単位のデータ セット が与えられた場合、線形回帰モデルでは、従属変数yと回帰変数のベクトルxの関係が線形であると想定します。この関係は、外乱項または誤差変数εによってモデル化されます。これは、従属変数と回帰変数の間の線形関係に「ノイズ」を追加する、観測されないランダム変数です。したがって、モデルは次の形式になります。ここで、 ^{T は}転置を表すため、x _i ^T β はベクトルx _iとβの内積です。 ${\displaystyle \{y_{i},\,x_{i1},\ldots ,x_{ip}\}_{i=1}^{n}}$ $${\displaystyle y_{i}=\beta _{0}+\beta _{1}x_{i1}+\cdots +\beta _{p}x_{ip}+\varepsilon _{i}=\mathbf {x} _{i}^{\mathsf {T}}{\boldsymbol {\beta }}+\varepsilon _{i},\qquad i=1,\ldots ,n,}$$

多くの場合、これらのn個の方程式は積み重ねられ、行列表記で次のように 表されます。

${\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }},\,}$

どこ

${\displaystyle \mathbf {y} ={\begin{bmatrix}y_{1}\\y_{2}\\\vdots \\y_{n}\end{bmatrix}},\quad }$

${\displaystyle \mathbf {X} ={\begin{bmatrix}\mathbf {x} _{1}^{\mathsf {T}}\\\mathbf {x} _{2}^{\mathsf {T}}\\\vdots \\\mathbf {x} _{n}^{\mathsf {T}}\end{bmatrix}}={\begin{bmatrix}1&x_{11}&\cdots &x_{1p}\\1&x_{21}&\cdots &x_{2p}\\\vdots &\vdots &\ddots &\vdots \\1&x_{n1}&\cdots &x_{np}\end{bmatrix}},}$

${\displaystyle {\boldsymbol {\beta }}={\begin{bmatrix}\beta _{0}\\\beta _{1}\\\beta _{2}\\\vdots \\\beta _{p}\end{bmatrix}},\quad {\boldsymbol {\varepsilon }}={\begin{bmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\vdots \\\varepsilon _{n}\end{bmatrix}}.}$

• ${\displaystyle \mathbf {y} }$は、回帰変数、内生変数、応答変数、目標変数、測定変数、基準変数、または従属変数と呼ばれる変数の観測値のベクトルです。この変数は予測変数と呼ばれることもありますが、 と表記される予測値と混同しないでください。データ セット内のどの変数を従属変数としてモデル化し、どの変数を独立変数としてモデル化するかについての決定は、変数の 1 つの値が他の変数によって引き起こされる、または直接影響を受けるという推定に基づく場合があります。あるいは、変数の 1 つを他の変数に基づいてモデル化する操作上の理由がある場合、因果関係を推定する必要はありません。${\displaystyle y_{i}\ (i=1,\ldots ,n)}$${\displaystyle {\hat {y}}}$
• ${\displaystyle \mathbf {X} }$は、行ベクトル またはn次元の列ベクトルの行列として考えることができます。これらのベクトルは、回帰変数、外生変数、説明変数、共変量、入力変数、予測変数、または独立変数（独立ランダム変数の概念と混同しないでください）として知られています。この行列は、設計行列と呼ばれることもあります。 ${\displaystyle \mathbf {x} _{i\cdot }}$ ${\displaystyle \mathbf {x} _{\cdot j}}$${\displaystyle \mathbf {X} }$
  • 通常、定数は回帰変数の 1 つとして含まれます。特に、の場合、 となります。βの対応する要素は切片と呼ばれます。線型モデルの多くの統計的推論手順では切片の存在が求められるため、理論的な考察からその値が 0 であるべきであると示唆されている場合でも、切片が含まれることがよくあります。${\displaystyle x_{i0}=1}$${\displaystyle i=1,\ldots ,n}$
  • 多項式回帰やセグメント回帰のように、回帰変数の 1 つが別の回帰変数またはデータ値の非線形関数になる場合もあります。モデルは、パラメータ ベクトルβで線形である限り、線形のままです。
  • 値x _{ij は、}ランダム変数 X _jの観測値として、または従属変数を観測する前に選択された固定値として見ることができます。両方の解釈は、異なるケースでは適切である可能性があり、通常は同じ推定手順につながりますが、これら 2 つの状況では、漸近解析に対して異なるアプローチが使用されます。
• ${\displaystyle {\boldsymbol {\beta }}}$は-次元パラメータベクトルであり、 は切片項（モデルに切片項が含まれている場合、そうでない場合はp次元）である。その要素は効果または回帰係数と呼ばれる（ただし、後者の項は推定効果のために予約されることもある）。単回帰では、p =1であり、係数は回帰傾きと呼ばれる。${\displaystyle (p+1)}$${\displaystyle \beta _{0}}$${\displaystyle {\boldsymbol {\beta }}}$線形回帰における統計的推定と推論はβに焦点を合わせます。このパラメータ ベクトルの要素は、さまざまな独立変数に対する従属変数の偏導関数として解釈されます。
• ${\displaystyle {\boldsymbol {\varepsilon }}}$は値のベクトルです。モデルのこの部分は、誤差項、外乱項、またはノイズと呼ばれることもあります（モデルの残りの部分が提供する「信号」とは対照的に）。この変数は、回帰変数x以外の従属変数yに影響を与える他のすべての要因を捕捉します。誤差項と回帰変数の関係（相関など）は、線形回帰モデルを定式化する上で重要な考慮事項であり、適切な推定方法を決定します。${\displaystyle \varepsilon _{i}}$

与えられたデータ セットに線形モデルを当てはめるには、通常、誤差項が最小化されるように回帰係数を推定する必要があります。たとえば、最小化の尺度として二乗誤差の合計を使用するのが一般的です。 ${\displaystyle {\boldsymbol {\beta }}}$${\displaystyle {\boldsymbol {\varepsilon }}=\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}}$${\displaystyle \|{\boldsymbol {\varepsilon }}\|_{2}^{2}}$${\displaystyle {\boldsymbol {\varepsilon }}}$

小さなボールが空中に投げ上げられ、その上昇の高さh _{i を}時間t _iのさまざまな瞬間に測定する状況を考えてみましょう。物理学によれば、抗力を無視すると、関係は次のようにモデル化できます。

${\displaystyle h_{i}=\beta _{1}t_{i}+\beta _{2}t_{i}^{2}+\varepsilon _{i},}$

ここで、β _{1 は}ボールの初期速度を決定し、β _{2 は}標準重力に比例し、ε _{i は}測定誤差によるものです。線形回帰を使用して、測定データからβ ₁とβ ₂の値を推定できます。このモデルは時間変数では非線形ですが、パラメータβ ₁とβ _{2では線形です。回帰変数}x _i  = ( x _{i 1} , x _{i 2} ) = ( t _i , t _i ² )を取ると、モデルは標準形式になります。

${\displaystyle h_{i}=\mathbf {x} _{i}^{\mathsf {T}}{\boldsymbol {\beta }}+\varepsilon _{i}.}$

標準的な推定手法を用いた標準的な線形回帰モデルでは、予測変数、応答変数、およびそれらの関係についていくつかの仮定が立てられます。これらの各仮定を緩和 (つまり、より弱い形式に縮小) したり、場合によっては完全に排除したりできる拡張機能が数多く開発されています。一般に、これらの拡張機能により推定手順はより複雑で時間がかかり、同様に正確なモデルを作成するためにより多くのデータが必要になる場合もあります。^{[引用が必要]}

以下は、標準的な推定手法（通常の最小二乗法など）を使用した標準的な線形回帰モデルによって行われる主な仮定です。

• 弱い外生性。これは本質的に、予測変数x をランダム変数ではなく固定値として扱うことができることを意味します。これは、たとえば、予測変数がエラーフリー、つまり測定エラーに汚染されていないと想定されることを意味します。この想定は多くの状況では現実的ではありませんが、この想定を外すと、変数エラーモデルが大幅に難しくなります。
• 線形性。これは、応答変数の平均が、パラメータ (回帰係数) と予測変数の線形結合であることを意味します。この仮定は、一見したほど制限的ではないことに注意してください。予測変数は固定値として扱われるため (上記を参照)、線形性は実際にはパラメータに対する制限にすぎません。予測変数自体は任意に変換でき、実際には、同じ基礎予測変数の複数のコピーを追加して、それぞれを異なる方法で変換できます。この手法は、たとえば、線形回帰を使用して、応答変数を予測変数の任意の多項式関数 (指定された次数まで) として適合させる多項式回帰で使用されます。この柔軟性により、多項式回帰などのモデルは、データに過剰適合する傾向があるという点で、多くの場合「パワーが大きすぎる」ことがあります。その結果、推定プロセスから不合理なソリューションが生成されないように、通常は何らかの正規化を使用する必要があります。一般的な例としては、リッジ回帰とLasso 回帰があります。ベイジアン線形回帰も使用できます。これは、その性質上、過剰適合の問題の影響をほとんど受けません。(実際、リッジ回帰とLasso 回帰はどちらも、特定の種類の事前分布を回帰係数に置いたベイジアン線形回帰の特殊なケースと見なすことができます。)

• 

  一定の分散（等分散とも呼ばれます）。これは、誤差の分散が予測変数の値に依存しないことを意味します。したがって、予測変数の特定の固定値に対する応答の変動性は、応答の大きさに関係なく同じです。ただし、多くの場合、これは当てはまりません。平均が大きい変数は、平均が小さい変数よりも分散が大きくなるからです。たとえば、収入が 10 万ドルと予測される人の実際の収入は、簡単に 8 万ドルまたは 12 万ドル、つまり標準偏差が約 2 万ドルになる可能性があります。一方、収入が 1 万ドルと予測される人の標準偏差が同じ 2 万ドルになることはまずありません。これは、実際の収入が -1 万ドルから 3 万ドルの間で変動する可能性があるからです。 (実際、これが示すように、多くの場合、つまり正規分布の誤差の仮定が成り立たないのと同じ場合、分散または標準偏差は、一定ではなく平均に比例すると予測されるはずです。) 等分散性がないことを異分散性と呼びます。この仮定を確認するには、残差と予測値 (または各予測子の値) のプロットを調べて、「扇状効果」(プロット上で左から右に移動するにつれて垂直方向の広がりが増加または減少する) があるかどうかを調べることができます。絶対残差または二乗残差と予測値 (または各予測子) のプロットを調べて、傾向または曲率を調べることもできます。正式なテストを使用することもできます。異分散性を参照してください。異分散性があると、真の分散構造を考慮したものではなく、全体的な「平均」分散推定値が使用されることになります。これにより、精度の低い (ただし、通常の最小二乗法の場合は偏りがありません) パラメータ推定値と偏りのある標準誤差が生じ、誤解を招くテストと区間推定値になります。モデルの平均二乗誤差も間違っています。加重最小二乗法や不均一分散整合標準誤差の使用など、さまざまな推定手法により、不均一分散を非常に一般的な方法で処理できます。分散が平均の関数であると想定される場合は、ベイズ線形回帰手法も使用できます。応答変数に変換を適用することで問題を解決できる場合もあります (たとえば、線形回帰モデルを使用して応答変数の対数を近似すると、応答変数自体が正規分布ではなく対数正規分布を持つことになります)。

• 誤差の独立性。これは、応答変数の誤差が互いに相関していないことを前提としています。(実際の統計的独立性は、単なる相関の欠如よりも強い条件であり、多くの場合は不要ですが、それが成り立つことがわかっている場合は利用できます。)一般化最小二乗法などの一部の方法は相関誤差を処理できますが、モデルが相関誤差を仮定するようにバイアスをかける何らかの正規化を使用しない限り、通常は大幅に多くのデータが必要になります。ベイズ線形回帰は、この問題を処理する一般的な方法です。
• 予測変数に完全な多重共線性がない。標準的な最小二乗推定法では、計画行列X は完全な列ランク pを持つ必要があります。そうでない場合、予測変数に完全な多重共線性があり、2 つ以上の予測変数の間に線形関係が存在することを意味します。これは、データ内の変数を誤って複製したり、元の変数とともに変数の線形変換を使用したり (たとえば、華氏と摂氏で表現された同じ温度測定値)、モデルに複数の変数の線形結合 (それらの平均値など) を含めたりすることで発生する可能性があります。推定するパラメーターの数と比較して利用可能なデータが少なすぎる場合にも発生する可能性があります (たとえば、回帰係数よりもデータ ポイントが少ない)。予測変数の相関は高いが完全には一致していないというこの仮定にほぼ違反すると、パラメーター推定の精度が低下する可能性があります (「分散膨張係数」を参照)。完全な多重共線性の場合、パラメーター ベクトルβ は識別不能になり、一意の解がなくなります。このような場合、一部のパラメータしか識別できません（つまり、その値は、完全なパラメータ空間R ^pの一部の線形サブスペース内でのみ推定できます）。部分最小二乗回帰を参照してください。多重共線性を持つ線形モデルを当てはめる方法が開発されていますが、^{[5] [6] [7] [8]そのうちのいくつかは、「効果スパース性」（効果の大部分が正確にゼロである）などの追加の仮定を必要とします。}一般化線型モデルで使用されるような、パラメータ推定のためのより計算コストの高い反復アルゴリズムでは、この問題は発生しないことに注意してください。

これらの仮定に違反すると、 βの推定値に偏りが生じ、標準誤差に偏りが生じ、信頼できない信頼区間と有意性検定が生じる可能性があります。これらの仮定以外にも、データの他のいくつかの統計的特性が、さまざまな推定方法のパフォーマンスに大きく影響します。

• 誤差項と回帰変数間の統計的関係は、推定手順が偏りがなく一貫性があるなどの望ましいサンプリング特性を備えているかどうかを判断する上で重要な役割を果たします。
• 予測変数xの配置または確率分布は、 βの推定値の精度に大きな影響を与えます。サンプリングと実験計画法は、βの正確な推定値を達成するためにデータを収集するためのガイダンスを提供する、高度に発達した統計学のサブフィールドです。

適合線形回帰モデルは、モデル内の他のすべての予測変数が「固定」されている場合に、単一の予測変数x _jと応答変数yの関係を識別するために使用できます。具体的には、 β _jの解釈は、他の共変量が固定されている場合のx _jの 1 単位の変化に対するyの期待変化、つまりx _jに関するyの偏導関数の期待値です。これは、 yに対するx _jの固有効果と呼ばれることもあります。対照的に、yに対するx _jの限界効果は、x _jとyのみを関連付ける相関係数または単純線形回帰モデルを使用して評価できます。この効果は、 x _jに関するyの全導関数です。

回帰分析の結果を解釈する際には注意が必要です。回帰変数の中には、限界的な変化を許容しないもの (ダミー変数や切片項など) や、固定できないもの (導入部の例を思い出してください。「t _{i を}固定したまま」、同時にt _i ²の値を変更することは不可能です) があるためです。

たとえ限界効果が大きくても、固有効果がほぼゼロになる可能性もあります。これは、他の共変量がx _jのすべての情報を捕捉し、その変数がモデルに組み込まれると、x _jがyの変動に寄与しなくなることを意味している可能性があります。逆に、 x _jの固有効果は大きいものの、限界効果がほぼゼロになることもあります。これは、他の共変量がyの変動の大部分を説明しているが、主にx _jによって捕捉されるものを補完する形で変動を説明している場合に発生します。この場合、モデルに他の変数を含めると、 x _jに関連しないyの変動部分が削減され、 x _jとの見かけ上の関係が強化されます。

「固定された」という表現の意味は、予測変数の値がどのように生じるかによって異なります。実験者が研究設計に従って予測変数の値を直接設定する場合、関心のある比較は、実験者によって予測変数が「固定された」ユニット間の比較に文字通り対応する可能性があります。あるいは、「固定された」という表現は、データ分析のコンテキストで行われる選択を指すこともあります。この場合、特定の予測変数に共通の値を持つデータのサブセットに注意を限定することで、「変数を固定された」ことになります。これは、観察研究で使用できる「固定された」の唯一の解釈です。

「固有の効果」という概念は、複数の相互に関連する要素が応答変数に影響を与える複雑なシステムを研究する場合に魅力的です。場合によっては、予測変数の値にリンクされた介入の因果効果として文字通り解釈できます。ただし、多くの場合、予測変数が相互に相関しており、研究設計に従って割り当てられていない場合、多重回帰分析では予測変数と応答変数の関係を明らかにできないと主張されています。^[9]

線形回帰の拡張が数多く開発されており、基本モデルの根底にある仮定の一部またはすべてを緩和することができます。

最も単純なケースである、単一のスカラー予測変数xと単一のスカラー応答変数y は、単回帰と呼ばれます。複数および/またはベクトル値の予測変数（大文字のXで表記）への拡張は、多重線形回帰と呼ばれ、多変量線形回帰とも呼ばれます（多変量線形回帰と混同しないでください）。^[10]

多重線形回帰は、複数の独立変数がある場合の単純線形回帰の一般化であり、従属変数が1つに制限された一般線形モデルの特殊なケースです。多重線形回帰の基本モデルは

${\displaystyle Y_{i}=\beta _{0}+\beta _{1}X_{i1}+\beta _{2}X_{i2}+\ldots +\beta _{p}X_{ip}+\epsilon _{i}}$

各観測について。 ${\textstyle i=1,\ldots ,n}$

上記の式では、 1 つの従属変数とp 個の独立変数のn 個の観測値を考慮します。したがって、Y _iは従属変数のi^{番目の観測値、} X _ijはj^番目の独立変数のi^番目の観測値( j = 1、2、...、p)です。値β _{j は}推定されるパラメータを表し、ε _{i は}i^番目の独立した同一分布正規誤差 です。

より一般的な多変量線形回帰では、同じ説明変数セットを共有し、したがって互いに同時に推定される m > 1の従属変数ごとに、上記の形式の方程式が 1 つあります。

${\displaystyle Y_{ij}=\beta _{0j}+\beta _{1j}X_{i1}+\beta _{2j}X_{i2}+\ldots +\beta _{pj}X_{ip}+\epsilon _{ij}}$

i = 1, ... , nとしてインデックス付けされたすべての観測値と、 j = 1, ... , mとしてインデックス付けされたすべての従属変数について。

現実世界の回帰モデルのほとんどは複数の予測変数を含んでおり、線形回帰の基本的な説明は多重回帰モデルの観点から表現されることがよくあります。ただし、これらのケースでは、応答変数y は依然としてスカラーであることに注意してください。別の用語である多変量線形回帰は、 yがベクトルである場合、つまり一般線形回帰と同じ場合を指します。

一般線形モデルは、応答変数がスカラー (各観測値) ではなくベクトルy _iである場合の状況を考慮します。 の条件付き線形性は依然として想定され、行列Bが従来の線形回帰モデルのベクトルβ を置き換えます。通常最小二乗法(OLS) と一般化最小二乗法(GLS) の多変量類似体が開発されました。「一般線形モデル」は「多変量線形モデル」とも呼ばれます。これらは多変量線形モデル (「多重線形モデル」とも呼ばれます) とは異なります。 ${\displaystyle E(\mathbf {y} \mid \mathbf {x} _{i})=\mathbf {x} _{i}^{\mathsf {T}}B}$

異分散性、つまり異なる応答変数の誤差が異なる分散を持つ可能性があることを考慮に入れたさまざまなモデルが作成されています。たとえば、加重最小二乗法は、応答変数が異なる誤差分散を持ち、おそらく相関誤差を持つ可能性がある場合に、線形回帰モデルを推定する方法です。(加重線形最小二乗法および一般化最小二乗法も参照してください。)異分散性整合標準誤差は、相関はないが潜在的に異分散性の誤差に使用するための改良された方法です。

一般化線形モデル(GLM) は、境界付きまたは離散的な応答変数をモデル化するためのフレームワークです。これは、たとえば次のような場合に使用されます。

• 大規模に変化する正の量（価格や人口など）をモデル化する場合、対数正規分布やポアソン分布などの歪んだ分布を使用してより適切に記述されます（ただし、対数正規データには GLM は使用されず、代わりに応答変数が対数関数を使用して単純に変換されます）。
• 選挙における特定の候補者の選択（二者択一の場合はベルヌーイ分布/二項分布、多者択一の場合はカテゴリ分布/多項分布を使用して記述する方が適切）などのカテゴリデータをモデル化する場合、選択肢の数は固定されており、それらを意味のある順序に並べることはできません。
• 順序データ、たとえば 0 から 5 のスケールでの評価をモデル化する場合、さまざまな結果を順序付けすることはできますが、数量自体には絶対的な意味がない可能性があります (たとえば、評価 4 は客観的な意味で評価 2 の 2 倍優れているわけではなく、単に 2 や 3 よりは優れているが 5 ほど優れているわけではないことを示している)。

一般化線型モデルでは、応答変数の平均を予測子に関連付ける任意のリンク関数gを使用できます。リンク関数は応答の分布に関係することが多く、特に、線型予測子の範囲と応答変数の範囲 を変換する効果があります。${\displaystyle E(Y)=g^{-1}(XB)}$${\displaystyle (-\infty ,\infty )}$

GLM の一般的な例は次のとおりです。

• カウントデータのポアソン回帰。
• バイナリ データのロジスティック回帰とプロビット回帰。
• カテゴリデータに対する多項ロジスティック回帰と多項プロビット回帰。
• 順序データに対する順序ロジット回帰と順序プロビット回帰。

単一インデックスモデル^{[説明が必要]}は、古典的な線形回帰モデルと同様に線形予測子β′xの中心的役割を維持しながら、 xとyの関係にある程度の非線形性を許容する。特定の条件下では、単一インデックスモデルのデータにOLSを適用するだけで、比例定数までのβを一貫して推定できる。[ 11 ^]

階層的線型モデル(または多段階回帰) は、データを回帰の階層に整理します。たとえば、AはBに回帰し、B はCに回帰します。これは、教育統計など、対象変数が自然な階層構造になっている場合によく使用されます。教育統計では、生徒は教室に、教室は学校に、学校は学区などの管理グループにネストされます。応答変数は、テストのスコアなどの生徒の成績の尺度である可能性があり、さまざまな共変量が教室、学校、学区レベルで収集されます。

変数エラーモデル(または「測定エラーモデル」) は、従来の線形回帰モデルを拡張して、予測変数X をエラー付きで観測できるようにします。このエラーにより、βの標準推定値が偏ります。一般に、偏りの形式は減衰であり、つまり、効果がゼロに偏ることを意味します。

多重線形回帰モデルでは

${\displaystyle y=\beta _{0}+\beta _{1}x_{1}+\cdots +\beta _{p}x_{p}+\varepsilon ,}$

予測変数のパラメータは、 の個別の効果を表します。これは、他の予測変数を一定に保ったまま が 1 単位増加した場合の応答変数の予想される変化として解釈されます。 が他の予測変数と強く相関している場合、他の変数を一定に保ったまま が 1 単位増加する可能性は低くなります。この場合、 の解釈は、ありそうもない条件に基づいているため問題になり、 の効果を単独で評価することはできません。 ${\displaystyle \beta _{j}}$${\displaystyle x_{j}}$${\displaystyle x_{j}}$${\displaystyle y}$${\displaystyle x_{j}}$${\displaystyle x_{j}}$${\displaystyle x_{j}}$${\displaystyle \beta _{j}}$${\displaystyle x_{j}}$

予測変数のグループ、例えば、グループ効果はそれらのパラメータの線形結合として定義される。 ${\displaystyle \{x_{1},x_{2},\dots ,x_{q}\}}$${\displaystyle \xi (\mathbf {w} )}$

${\displaystyle \xi (\mathbf {w} )=w_{1}\beta _{1}+w_{2}\beta _{2}+\dots +w_{q}\beta _{q},}$

ここで、 はを満たす重みベクトルです。 に対する制約のため、は正規化されたグループ効果とも呼ばれます。 グループ効果は、グループ内の変数がそれぞれ の量 だけ変化し、同時に他の変数（グループにない変数）が一定に保たれた場合の の期待される変化として解釈されます。 これは、変数の個々の効果を変数のグループに一般化したものなので、( ) の場合、グループ効果は個々の効果に縮小し、( ) の場合、およびについて の場合、グループ効果も個々の効果に縮小します。 グループ効果は、基礎にある変数の同時変化が起こり得る場合に意味があると言われます。 ${\displaystyle \mathbf {w} =(w_{1},w_{2},\dots ,w_{q})^{\intercal }}$${\textstyle \sum _{j=1}^{q}|w_{j}|=1}$${\displaystyle {w_{j}}}$${\displaystyle \xi (\mathbf {w} )}$${\displaystyle \xi (\mathbf {w} )}$${\displaystyle y}$${\displaystyle x_{1},x_{2},\dots ,x_{q}}$${\displaystyle w_{1},w_{2},\dots ,w_{q}}$${\displaystyle i}$${\displaystyle q=1}$${\displaystyle ii}$${\displaystyle w_{i}=1}$${\displaystyle w_{j}=0}$${\displaystyle j\neq i}$${\displaystyle \xi (\mathbf {w} )}$${\displaystyle q}$${\displaystyle (x_{1},x_{2},\dots ,x_{q})^{\intercal }}$

グループ効果は、線形回帰モデルにおける強く相関する予測変数の集合的影響を調査する手段を提供します。このような変数の個々の効果は、パラメータの解釈が適切ではないため、明確に定義されていません。さらに、サンプル サイズが大きくない場合、多重共線性の問題により、最小二乗回帰ではパラメータのいずれも正確に推定できません。それでも、解釈が適切で、最小二乗回帰で正確に推定できる意味のあるグループ効果があります。これらの意味のあるグループ効果を識別する簡単な方法は、これらの変数間のペアワイズ相関がすべて正である、強く相関する変数のすべて正の相関 (APC) 配置を使用し、モデル内のすべての予測変数を標準化して、平均が 0、長さが 1 になるようにすることです。これを説明するために、 がAPC 配置の強く相関する変数のグループであり、グループ外の予測変数と強く相関していないと仮定します。を中心化し、 を標準化した とします。すると、標準化された線形回帰モデルは 次のようになります。${\displaystyle p}$${\displaystyle \{x_{1},x_{2},\dots ,x_{q}\}}$${\displaystyle y'}$${\displaystyle y}$${\displaystyle x_{j}'}$${\displaystyle x_{j}}$

${\displaystyle y'=\beta _{1}'x_{1}'+\cdots +\beta _{p}'x_{p}'+\varepsilon .}$

を含む元のモデルのパラメータは、標準化モデルではの単純な関数です。変数の標準化によって相関関係は変化しません。したがって、は APC 配置で強く相関する変数のグループであり、標準化モデルでは他の予測変数と強く相関しません。 のグループ効果は ${\displaystyle \beta _{j}}$${\displaystyle \beta _{0}}$${\displaystyle \beta _{j}'}$${\displaystyle \{x_{1}',x_{2}',\dots ,x_{q}'\}}$${\displaystyle \{x_{1}',x_{2}',\dots ,x_{q}'\}}$

${\displaystyle \xi '(\mathbf {w} )=w_{1}\beta _{1}'+w_{2}\beta _{2}'+\dots +w_{q}\beta _{q}',}$

そしてその最小分散不偏線形推定量は

${\displaystyle {\hat {\xi }}'(\mathbf {w} )=w_{1}{\hat {\beta }}_{1}'+w_{2}{\hat {\beta }}_{2}'+\dots +w_{q}{\hat {\beta }}_{q}',}$

ここで はの最小二乗推定値です。特に、標準化された変数の平均グループ効果は ${\displaystyle {\hat {\beta }}_{j}'}$${\displaystyle \beta _{j}'}$${\displaystyle q}$

${\displaystyle \xi _{A}={\frac {1}{q}}(\beta _{1}'+\beta _{2}'+\dots +\beta _{q}'),}$

これは、グループ外の変数を一定に保ったまま、強く相関するグループ内のすべての変数が同時に 単位分増加した場合の の期待変化として解釈できます。強い正の相関があり、標準化された単位の場合、グループ内の変数はほぼ等しいため、同時に同様の量で増加する可能性が高くなります。したがって、平均グループ効果は意味のある効果です。 のいずれも によって個別に正確に推定できない場合でも、最小分散の不偏線形推定量 によって正確に推定できます。 ${\displaystyle y'}$${\displaystyle x_{j}'}$${\displaystyle (1/q)}$${\displaystyle \xi _{A}}$${\textstyle {\hat {\xi }}_{A}={\frac {1}{q}}({\hat {\beta }}_{1}'+{\hat {\beta }}_{2}'+\dots +{\hat {\beta }}_{q}')}$${\displaystyle \beta _{j}'}$${\displaystyle {\hat {\beta }}_{j}'}$

すべてのグループ効果が意味を持つわけではなく、正確に推定できるわけでもありません。たとえば、はに対して重みがとである特殊なグループ効果ですが、 では正確に推定できません。また、意味のある効果でもありません。一般に、標準化モデルの APC 配置における相関の強い予測変数のグループの場合、重みベクトルが単体( )の中心またはその近くにあるグループ効果は意味があり、最小分散不偏線形推定量によって正確に推定できます。重みベクトルが中心から遠く離れた効果は意味がありません。そのような重みベクトルは、APC 配置における標準化変数の強い正の相関に違反する変数の同時変更を表すためです。そのため、それらは起こりそうにありません。これらの効果も正確に推定できません。 ${\displaystyle \beta _{1}'}$${\displaystyle w_{1}=1}$${\displaystyle w_{j}=0}$${\displaystyle j\neq 1}$${\displaystyle {\hat {\beta }}'_{1}}$${\displaystyle q}$${\displaystyle \mathbf {w} }$${\textstyle \sum _{j=1}^{q}w_{j}=1}$${\displaystyle w_{j}\geq 0}$

グループ効果の応用には、(1)応答変数に対する意味のあるグループ効果の推定と推論、(2)対比検定による変数の「グループの重要性」の検定、(3) 最小二乗推定モデルによる予測が正確である予測変数空間の領域の特徴付けが含まれます。 ${\displaystyle q}$${\displaystyle H_{0}:\xi _{A}=0}$${\displaystyle H_{1}:\xi _{A}\neq 0}$

元の変数のグループ効果は、標準化された変数のグループ効果の定数倍として表すことができます。前者は後者が意味を持つときに意味を持ちます。したがって、元の変数の意味のあるグループ効果は、標準化された変数の意味のあるグループ効果を通じて見つけることができます。^[12]${\displaystyle \{x_{1},x_{2},\dots ,x_{q}\}}$${\displaystyle \{x_{1}',x_{2}',\dots ,x_{q}'\}}$

デンプスター・シェーファー理論、特に線形信念関数では、線形回帰モデルは部分的にスイープされた行列として表され、観測値やその他の想定される正規分布や状態方程式を表す同様の行列と組み合わせることができます。スイープされた行列またはスイープされていない行列の組み合わせは、線形回帰モデルを推定する代替方法を提供します。

線形回帰におけるパラメータ推定と推論のための多数の手順が開発されています。これらの方法は、アルゴリズムの計算の単純さ、閉形式の解の存在、裾の重い分布に関する堅牢性、一貫性や漸近効率などの望ましい統計特性を検証するために必要な理論的仮定の点で異なります。

線形回帰の一般的な推定手法のいくつかを以下にまとめます。

独立変数が でモデルのパラメータが であると仮定すると、モデルの予測は次のようになります。 ${\displaystyle {\vec {x_{i}}}=\left[x_{1}^{i},x_{2}^{i},\ldots ,x_{m}^{i}\right]}$${\displaystyle {\vec {\beta }}=\left[\beta _{0},\beta _{1},\ldots ,\beta _{m}\right]}$

${\displaystyle y_{i}\approx \beta _{0}+\sum _{j=1}^{m}\beta _{j}\times x_{j}^{i}}$。

を拡張すると、パラメータと独立ベクトルの ドット積、すなわち${\displaystyle {\vec {x_{i}}}}$${\displaystyle {\vec {x_{i}}}=\left[1,x_{1}^{i},x_{2}^{i},\ldots ,x_{m}^{i}\right]}$${\displaystyle y_{i}}$

${\displaystyle y_{i}\approx \sum _{j=0}^{m}\beta _{j}\times x_{j}^{i}={\vec {\beta }}\cdot {\vec {x_{i}}}}$。

最小二乗設定では、最適なパラメータ ベクトルは、平均二乗損失の合計を最小化するように定義されます。

${\displaystyle {\vec {\hat {\beta }}}={\underset {\vec {\beta }}{\mbox{arg min}}}\,L\left(D,{\vec {\beta }}\right)={\underset {\vec {\beta }}{\mbox{arg min}}}\sum _{i=1}^{n}\left({\vec {\beta }}\cdot {\vec {x_{i}}}-y_{i}\right)^{2}}$

ここで、独立変数と従属変数をそれぞれ行列とに入れると、損失関数は次のように書き直すことができます。 ${\displaystyle X}$${\displaystyle Y}$

${\displaystyle {\begin{aligned}L\left(D,{\vec {\beta }}\right)&=\|X{\vec {\beta }}-Y\|^{2}\\&=\left(X{\vec {\beta }}-Y\right)^{\textsf {T}}\left(X{\vec {\beta }}-Y\right)\\&=Y^{\textsf {T}}Y-Y^{\textsf {T}}X{\vec {\beta }}-{\vec {\beta }}^{\textsf {T}}X^{\textsf {T}}Y+{\vec {\beta }}^{\textsf {T}}X^{\textsf {T}}X{\vec {\beta }}\end{aligned}}}$

損失関数は凸関数なので、最適解は勾配ゼロにあります。損失関数の勾配は（分母レイアウト規則を使用）次のとおりです。

${\displaystyle {\begin{aligned}{\frac {\partial L\left(D,{\vec {\beta }}\right)}{\partial {\vec {\beta }}}}&={\frac {\partial \left(Y^{\textsf {T}}Y-Y^{\textsf {T}}X{\vec {\beta }}-{\vec {\beta }}^{\textsf {T}}X^{\textsf {T}}Y+{\vec {\beta }}^{\textsf {T}}X^{\textsf {T}}X{\vec {\beta }}\right)}{\partial {\vec {\beta }}}}\\&=-2X^{\textsf {T}}Y+2X^{\textsf {T}}X{\vec {\beta }}\end{aligned}}}$

勾配をゼロに設定すると、最適なパラメータが生成されます。

${\displaystyle {\begin{aligned}-2X^{\textsf {T}}Y+2X^{\textsf {T}}X{\vec {\beta }}&=0\\\Rightarrow X^{\textsf {T}}X{\vec {\beta }}&=X^{\textsf {T}}Y\\\Rightarrow {\vec {\hat {\beta }}}&=\left(X^{\textsf {T}}X\right)^{-1}X^{\textsf {T}}Y\end{aligned}}}$

注:得られた値は実際には局所的最小値である可能性があります。ヘッセ行列を得るためにもう一度微分し、それが正定値であることを示す必要があります。これはガウス・マルコフの定理によって提供されます。 ${\displaystyle {\hat {\beta }}}$

線形最小二乗法には主に以下のものが含まれます。

• 通常の最小二乗法
• 加重最小二乗法
• 一般化最小二乗法
• 線形テンプレートフィット^[14]

最大尤度推定は、誤差項の分布が確率分布の特定のパラメトリック族ƒ _θに属することが分かっている場合に実行できます。^[15] f _{θ が}平均ゼロで分散 θ の正規分布である場合、結果として得られる推定値は OLS 推定値と同一になります。GLS 推定値は、ε が共分散行列が分かっている多変量正規分布に従う場合の最大尤度推定値です。各データポイントを、回帰パラメータを、すべてのデータのセットを、コスト関数を で表すことにしましょう。 ${\displaystyle ({\vec {x_{i}}},y_{i})}$${\displaystyle {\vec {\beta }}}$${\displaystyle D}$${\displaystyle L(D,{\vec {\beta }})=\sum _{i}(y_{i}-{\vec {\beta }}\,\cdot \,{\vec {x_{i}}})^{2}}$

以下に示すように、を最小化する同じ最適パラメータは、最大尤度も達成します。^[16]ここで、従属変数はガウス分布に従うランダム変数であり、標準偏差は固定されており、平均はの線形結合であると仮定しています。${\displaystyle L(D,{\vec {\beta }})}$${\displaystyle y}$${\displaystyle {\vec {x}}}$${\displaystyle {\begin{aligned}H(D,{\vec {\beta }})&=\prod _{i=1}^{n}Pr(y_{i}|{\vec {x_{i}}}\,\,;{\vec {\beta }},\sigma )\\&=\prod _{i=1}^{n}{\frac {1}{{\sqrt {2\pi }}\sigma }}\exp \left(-{\frac {\left(y_{i}-{\vec {\beta }}\,\cdot \,{\vec {x_{i}}}\right)^{2}}{2\sigma ^{2}}}\right)\end{aligned}}}$

さて、この尤度関数を最大化するパラメータを探す必要があります。対数関数は厳密に増加するので、この関数を最大化する代わりに、その対数を最大化し、そのようにして最適なパラメータを見つけることもできます。^[16]

${\displaystyle {\begin{aligned}I(D,{\vec {\beta }})&=\log \prod _{i=1}^{n}Pr(y_{i}|{\vec {x_{i}}}\,\,;{\vec {\beta }},\sigma )\\&=\log \prod _{i=1}^{n}{\frac {1}{{\sqrt {2\pi }}\sigma }}\exp \left(-{\frac {\left(y_{i}-{\vec {\beta }}\,\cdot \,{\vec {x_{i}}}\right)^{2}}{2\sigma ^{2}}}\right)\\&=n\log {\frac {1}{{\sqrt {2\pi }}\sigma }}-{\frac {1}{2\sigma ^{2}}}\sum _{i=1}^{n}\left(y_{i}-{\vec {\beta }}\,\cdot \,{\vec {x_{i}}}\right)^{2}\end{aligned}}}$

したがって、最適なパラメータは次の式に等しい: ^[16]

${\displaystyle {\begin{aligned}{\underset {\vec {\beta }}{\mbox{arg max}}}\,I(D,{\vec {\beta }})&={\underset {\vec {\beta }}{\mbox{arg max}}}\left(n\log {\frac {1}{{\sqrt {2\pi }}\sigma }}-{\frac {1}{2\sigma ^{2}}}\sum _{i=1}^{n}\left(y_{i}-{\vec {\beta }}\,\cdot \,{\vec {x_{i}}}\right)^{2}\right)\\&={\underset {\vec {\beta }}{\mbox{arg min}}}\sum _{i=1}^{n}\left(y_{i}-{\vec {\beta }}\,\cdot \,{\vec {x_{i}}}\right)^{2}\\&={\underset {\vec {\beta }}{\mbox{arg min}}}\,L(D,{\vec {\beta }})\\&={\vec {\hat {\beta }}}\end{aligned}}}$

このように、最大​​化するパラメータは最小化するパラメータと同じである。これは、線形回帰において、最小二乗法の結果が最大尤度推定法の結果と同じであることを意味する。^[16]${\displaystyle H(D,{\vec {\beta }})}$${\displaystyle L(D,{\vec {\beta }})}$

リッジ回帰^{[17] [18] [19]や、} Lasso回帰^[5]などの他の形式のペナルティ推定では、推定値の変動性を減らすために、βの推定に意図的にバイアスが導入されます。結果として得られる推定値は、特に多重共線性が存在する場合や過剰適合が問題となっている場合に、OLS推定値よりも平均二乗誤差が低くなります。これらは通常、まだ観測されていない予測変数xの値に対する応答変数yの値を予測することが目的である場合に使用されます。これらの方法は、バイアスを考慮するのが難しいため、目的が推論である場合はあまり一般的に使用されません。

最小絶対偏差（LAD）回帰は、OLSよりも外れ値の存在に敏感ではないという点で堅牢な推定手法である（ただし、外れ値が存在しない場合はOLSよりも効率が悪い）。これは、 εのラプラス分布モデルによる最大尤度推定と同等である。^[20]

誤差項が回帰変数から独立していると仮定すると、最適な推定量は2段階MLEとなり、最初のステップでは誤差項の分布を非パラメトリックに推定する。^[21]${\displaystyle \varepsilon _{i}\perp \mathbf {x} _{i}}$

• ベイズ線形回帰は、ベイズ統計の枠組みを線形回帰に適用します。(ベイズ多変量線形回帰も参照してください。) 特に、回帰係数 β は、指定された事前分布を持つランダム変数であると想定されます。事前分布は、リッジ回帰やLasso 回帰に似た方法で(ただし、より一般的な方法で)、回帰係数の解にバイアスをかける可能性があります。さらに、ベイズ推定プロセスでは、回帰係数の「最良」値の単一の点推定値ではなく、数量を取り巻く不確実性を完全に説明する事後分布全体が生成されます。これを使用して、平均、最頻値、中央値、任意の分位値(分位回帰を参照)、または事後分布のその他の関数を使用して「最良」の係数を推定できます。
• 分位点回帰は、 Xが与えられたときのyの条件付き平均ではなく、 Xが与えられたときのyの条件付き分位点に焦点を当てます。線形分位点回帰は、条件付き中央値などの特定の条件付き分位点を、予測子の^{線形関数 β T} xとしてモデル化します。
• 混合モデルは、従属関係が既知の構造を持つ場合、従属データを含む線形回帰関係を分析するために広く使用されています。混合モデルの一般的な用途には、縦断データなどの繰り返し測定を含むデータや、クラスターサンプリングから取得されたデータの分析が含まれます。これらは通常、最大尤度またはベイズ推定を使用して、パラメトリックモデルとして適合されます。エラーが正規ランダム変数としてモデル化される場合、混合モデルと一般化最小二乗法の間には密接な関係があります。 ^[22] 固定効果推定は、このタイプのデータを分析するための代替アプローチです。
• 主成分回帰（PCR） ^{[7] [8]}は、予測変数の数が多い場合、または予測変数間に強い相関関係がある場合に使用されます。この2段階の手順では、最初に主成分分析を使用して予測変数を削減し、次に削減された変数をOLS回帰近似に使用します。実際にはうまく機能することがよくありますが、予測変数の最も有益な線形関数が、予測変数の多変量分布の支配的な主成分の中にあるという一般的な理論的根拠はありません。部分最小二乗回帰はPCR法の拡張であり、前述の欠陥はありません。
• 最小角回帰^[6]は、観測値よりも多くの共変量を持つ可能性のある高次元共変量ベクトルを処理するために開発された線形回帰モデルの推定手順です。
• テイル・セン推定量は、適合線の傾きをサンプル点のペアを通る線の傾きの中央値として選択する、シンプルで堅牢な推定手法です。単純な線形回帰と同様の統計的効率特性を持っていますが、外れ値に対する感度ははるかに低いです。^[23]
• α トリム平均アプローチ、L 推定値、M 推定値、S 推定値、R 推定値などの他の堅牢な推定手法も導入されています。

線形回帰は、生物学、行動科学、社会科学において、変数間の関係性を説明するために広く使用されています。線形回帰は、これらの分野で使用される最も重要なツールの 1 つとして位置付けられています。

トレンドラインは、他の要素を考慮した後の時系列データの長期的な動きであるトレンドを表します。トレンド ラインは、特定のデータ セット (GDP、原油価格、株価など) が一定期間にわたって増加したか減少したかを示します。トレンド ラインは、データ ポイントのセットを目で見て描くこともできますが、より正確には、線形回帰などの統計手法を使用して、その位置と傾きを計算します。トレンド ラインは通常は直線ですが、ラインに必要な曲率の度合いに応じて、より高次の多項式を使用するバリエーションもあります。

トレンド ラインは、ビジネス分析で、時間の経過に伴うデータの変化を示すために使用されることがあります。これは、シンプルであるという利点があります。トレンド ラインは、特定のアクションまたはイベント (トレーニングや広告キャンペーンなど) が、ある時点で観察された変化を引き起こしたと主張するためによく使用されます。これはシンプルな手法であり、コントロール グループ、実験設計、または高度な分析手法は必要ありません。ただし、他の潜在的な変化がデータに影響を与える可能性がある場合には、科学的妥当性に欠けるという問題があります。

喫煙と死亡率および罹患率との関連を示す初期の証拠は、回帰分析を用いた観察研究から得られました。観察データを分析する際に偽の相関関係を減らすために、研究者は通常、主要な関心対象の変数に加えて、回帰モデルにいくつかの変数を含めます。たとえば、喫煙が主要な関心対象の独立変数であり、従属変数が年数で測定された寿命である回帰モデルでは、研究者は、喫煙が寿命に及ぼす観察された影響が他の社会経済的要因によるものではないことを確認するために、教育と収入を追加の独立変数として含める場合があります。ただし、経験的分析にすべての可能性のある交絡変数を含めることは決して不可能です。たとえば、仮説上の遺伝子は死亡率を上昇させ、喫煙量も増加させる可能性があります。このため、ランダム化比較試験では、観察データの回帰分析を使用して得られるよりも説得力のある因果関係の証拠を生成できることがよくあります。制御された実験が実行できない場合は、操作変数回帰などの回帰分析のバリエーションを使用して、観察データから因果関係を推定することができます。

資本資産価格モデルでは、投資の体系的リスクを分析および定量化するために、線形回帰とベータの概念を使用します。これは、投資収益率とすべてのリスク資産の収益率を関連付ける線形回帰モデルのベータ係数から直接得られます。

線形回帰は経済学における主要な実証ツールである。例えば、消費支出^[24] 、固定投資支出、在庫投資、国の輸出品の購入^[25]、輸入支出^[25] 、流動資産保有の需要^[26]、労働需要^{[27]、労働供給[27]}を予測^するために使用される。

線形回帰は、土地利用、^[28] 感染症、^[29]大気汚染^[30]など、環境科学の幅広い分野で応用されています。たとえば、線形回帰は自動車による汚染の影響の変化を予測するために使用できます。^[31]感染症におけるこの応用の注目すべき例の1つは、 COVID-19パンデミックの初期に強調された曲線の平坦化戦略です。公衆衛生当局は、COVID-19の拡散を特徴付けるために、感染者に関するまばらなデータと病気の伝染に関する高度なモデルを扱いました。^[32]

線形回帰は、建築科学のフィールド調査で、建物居住者の特性を導き出すためによく使用されます。温熱快適性のフィールド調査では、通常、建築科学者は居住者の温熱感覚投票を尋ねます。温熱感覚投票は、-3（寒さを感じる）から0（中立）から+3（暑さを感じる）までの範囲で、居住者の周囲の温度データを測定します。中立または快適な温度は、温熱感覚投票と室内温度の間の線形回帰に基づいて計算され、温熱感覚投票は0と設定できます。ただし、回帰の方向については議論があります。温熱感覚投票（y軸）を室内温度（x軸）に対して回帰するか、逆に室内温度（y軸）を温熱感覚投票（x軸）に対して回帰するかです。^[33]

線形回帰は、機械学習として知られる人工知能のサブフィールドにおいて重要な役割を果たしている。線形回帰アルゴリズムは、その比較的単純さとよく知られた特性により、基本的な教師あり機械学習アルゴリズムの1つである。 ^[34]

最小二乗線形回帰は、点の集合に対する良好な大まかな線形近似値を見つける手段として、ルジャンドル（1805年）とガウス（1809年）によって惑星の運動の予測のために実行されました。ケトレーは、この手順を広く知らしめ、社会科学で広く使用したことに貢献しました。^[35]

• Pedhazur, Elazar J (1982)。行動研究における多重回帰：説明と予測（第2版）。ニューヨーク：Holt、Rinehart、Winston。ISBN 978-0-03-041760-3。
• Mathieu Rouaud、2013 年: 確率、統計、推定、第 2 章: 線形回帰、エラー バー付き線形回帰、非線形回帰。
• 国立物理学研究所 (1961)。「第 1 章: 線形方程式と行列: 直接法」。現代の計算方法。応用科学に関するノート。第 16 巻 (第 2 版)。女王陛下の文具室。

• 最小二乗回帰、PhETインタラクティブ シミュレーション、コロラド大学ボルダー校
• DIYリニアフィット