線形モデル

統計学において、線形モデルという用語は、システムにおける線形性を仮定するあらゆるモデルを指します。最も一般的なのは回帰モデルとの関連で用いられ、この用語はしばしば線形回帰モデルと同義語として扱われます。しかしながら、時系列分析においても、この用語は異なる意味で用いられます。いずれの場合も、「線形」という名称は、関連する統計理論の複雑さを大幅に軽減できるモデルのサブクラスを識別するために用いられます。

回帰分析の場合、統計モデルは次のようになります。${\displaystyle (Y_{i},X_{i1},\ldots ,X_{ip}),\,i=1,\ldots ,n}$観測値間の関係${\displaystyle Y_{i}}$そして独立変数${\displaystyle X_{ij}}$次のように定式化される

${\displaystyle Y_{i}=\beta _{0}+\beta _{1}\phi _{1}(X_{i1})+\cdots +\beta _{p}\phi _{p}(X_{ip})+\varepsilon _{i}\qquad i=1,\ldots ,n}$

どこ${\displaystyle \phi _{1},\ldots ,\phi _{p}}$非線形関数である可能性がある。上記では、${\displaystyle \varepsilon _{i}}$は、関係における誤差を表す確率変数です。「線形」という表現は、回帰係数の出現に関連しています。$\displaystyle \beta _{j}}$上記の関係において線形的に。あるいは、上記のモデルに対応する予測値、すなわち

${\displaystyle {\hat {Y}}_{i}=\beta _{0}+\beta _{1}\phi _{1}(X_{i1})+\cdots +\beta _{p}\phi _{p}(X_{ip})\qquad (i=1,\ldots ,n),}$

は線形関数である$\displaystyle \beta _{j}}$。

最小二乗法に基づいて推定が行われるため、未知のパラメータの推定値は$\displaystyle \beta _{j}}$二乗和関数を最小化することによって決定される

${\displaystyle S=\sum _{i=1}^{n}\varepsilon _{i}^{2}=\sum _{i=1}^{n}\left(Y_{i}-\beta _{0}-\beta _{1}\phi _{1}(X_{i1})-\cdots -\beta _{p}\phi _{p}(X_{ip})\right)^{2}.}$

このことから、モデルの「線形」な側面とは以下のことを意味することが容易に理解できる。

• 最小化すべき関数は、$\displaystyle \beta _{j}}$最小化は比較的単純な問題である。
• 関数の導関数は、$\displaystyle \beta _{j}}$最小値を見つけやすくする。
• 最小値$\displaystyle \beta _{j}}$観測値の線形関数である${\displaystyle Y_{i}}$;
• 最小値$\displaystyle \beta _{j}}$ランダム誤差の線形関数である${\displaystyle \varepsilon _{i}}$これにより、推定値の統計的特性を比較的容易に決定できます。$\displaystyle \beta _{j}}$。

線形時系列モデルの一例として、自己回帰移動平均モデルがあります。ここでは、値{のモデルを示します。${\displaystyle X_{t}}$時系列における } は、次の形式で記述できます。

${\displaystyle X_{t}=c+\varepsilon _{t}+\sum _{i=1}^{p}\phi _{i}X_{ti}+\sum _{i=1}^{q}\theta _{i}\varepsilon _{ti}.\,}$

ここでも数量は${\displaystyle \varepsilon _{i}}$は、ある時点で出現する新しいランダム効果であるイノベーションを表すランダム変数ですが、 の値にも影響します。${\displaystyle X}$後日。この場合、「線形モデル」という用語は、上記の関係性を表現する際の構造を指します。${\displaystyle X_{t}}$同じ時系列の過去の値と、イノベーションの現在値と過去の値の線形関数として。^{[ 1 ]}この構造のこの特定の側面は、時系列の平均と共分散特性の関係を導出することが比較的簡単であることを意味します。ここで、「線形モデル」という用語の「線形」の部分は係数を指しているわけではないことに注意してください。$\displaystyle \phi _{i}}$そして$\displaystyle \theta _{i}}$構造的に類似しているように見える回帰モデルの場合と同様である。

「線形モデル」という用語は通常用いられないものの、「非線形モデル」という用語が線形構造モデルと対比して用いられる場合が他にもいくつかあります。その一例として、非線形次元削減が挙げられます。

• 一般線形モデル
• 一般化線形モデル
• 線形予測関数
• 線形システム
• 線形回帰
• 統計モデル