線形モデル

統計学では、線形モデルという用語は、システム内で線形性を前提とするモデルを指します。最も一般的に使用されるのは回帰モデルに関連しており、この用語は線形回帰モデルと同義であると見なされることがよくあります。ただし、この用語は時系列分析でも異なる意味で使用されます。いずれの場合も、「線形」という指定は、関連する統計理論の複雑さを大幅に削減できるモデルのサブクラスを識別するために使用されます。

回帰の場合、統計モデルは次のようになります。（ランダムな）サンプルが与えられた場合、観測値と独立変数の関係は次のように定式化されます。 ${\displaystyle (Y_{i},X_{i1},\ldots ,X_{ip}),\,i=1,\ldots ,n}$${\displaystyle Y_{i}}$ ${\displaystyle X_{ij}}$

${\displaystyle Y_{i}=\beta _{0}+\beta _{1}\phi _{1}(X_{i1})+\cdots +\beta _{p}\phi _{p}(X_{ip})+\varepsilon _{i}\qquad i=1,\ldots ,n}$

ここで、は非線形関数である可能性がある。上記において、量は関係における誤差を表すランダム変数である。指定の「線形」部分は、上記の関係において回帰係数が線形に現れることと関係している。あるいは、上記のモデルに対応する予測値、すなわち ${\displaystyle \phi _{1},\ldots ,\phi _{p}}$${\displaystyle \varepsilon _{i}}$${\displaystyle \beta _{j}}$

${\displaystyle {\hat {Y}}_{i}=\beta _{0}+\beta _{1}\phi _{1}(X_{i1})+\cdots +\beta _{p}\phi _{p}(X_{ip})\qquad (i=1,\ldots ,n),}$

は の線形関数です。 ${\displaystyle \beta _{j}}$

推定は最小二乗分析に基づいて行われるため、未知のパラメータの推定値は二乗和関数を最小化することによって決定される。 ${\displaystyle \beta _{j}}$

${\displaystyle S=\sum _{i=1}^{n}\varepsilon _{i}^{2}=\sum _{i=1}^{n}\left(Y_{i}-\beta _{0}-\beta _{1}\phi _{1}(X_{i1})-\cdots -\beta _{p}\phi _{p}(X_{ip})\right)^{2}.}$

このことから、モデルの「線形」側面が次のことを意味することがすぐにわかります。

• 最小化される関数は の二次関数であり、その最小化は比較的単純な問題である。${\displaystyle \beta _{j}}$
• 関数の導関数は線形関数なので、最小値を見つけるのが簡単になります。${\displaystyle \beta _{j}}$
• 最小値は観測値の線形関数である。${\displaystyle \beta _{j}}$${\displaystyle Y_{i}}$
• 最小化する値はランダム誤差の線形関数であるため、推定値の統計的特性を比較的簡単に決定できます。${\displaystyle \beta _{j}}$${\displaystyle \varepsilon _{i}}$${\displaystyle \beta _{j}}$

線形時系列モデルの例としては、自己回帰移動平均モデルが挙げられます。ここで、時系列の値{}のモデルは、次の形式で記述できます。 ${\displaystyle X_{t}}$

${\displaystyle X_{t}=c+\varepsilon _{t}+\sum _{i=1}^{p}\phi _{i}X_{t-i}+\sum _{i=1}^{q}\theta _{i}\varepsilon _{t-i}.\,}$

ここでも、量は、ある時点で現れる新しいランダム効果であるイノベーションを表すランダム変数ですが、後の時点での値にも影響を及ぼします。この場合、「線形モデル」という用語は、同じ時系列の過去の値とイノベーションの現在および過去の値の線形関数として表す上記の関係の構造を指します。^[1]構造のこの特定の側面は、時系列の平均と共分散特性の関係を導き出すのが比較的簡単であることを意味します。ここで、「線形モデル」という用語の「線形」の部分は、構造的に似ている回帰モデルの場合のように 係数とを指しているわけではないことに注意してください。${\displaystyle \varepsilon _{i}}$${\displaystyle X}$${\displaystyle X_{t}}$${\displaystyle \phi _{i}}$${\displaystyle \theta _{i}}$

「線形モデル」という用語は通常は適用されませんが、線形構造のモデルと対比するために「非線形モデル」が使用される例がいくつかあります。その一例は、非線形次元削減です。

• 一般線形モデル
• 一般化線形モデル
• 線形予測関数
• 線形システム
• 線形回帰
• 統計モデル