自己回帰モデル

統計学、計量経済学、信号処理において、自己回帰( AR )モデルはランダム プロセスの表現であり、自然、経済、行動などの特定の時間変動プロセスを説明するために使用できます。自己回帰モデルでは、出力変数が自身の以前の値と確率項 (不完全に予測可能な項) に線形に依存することを指定します。したがって、モデルは確率差分方程式 (または再帰関係) の形式になりますが、これを微分方程式と混同しないでください。移動平均 (MA) モデルとともに、自己回帰モデルは、より複雑な確率構造を持つ、時系列のより一般的な自己回帰移動平均(ARMA) モデルと自己回帰和分移動平均(ARIMA) モデルの特殊なケースであり、重要なコンポーネントです。また、複数の進化するランダム変数における複数の連動した確率差分方程式のシステムで構成されるベクトル自己回帰モデル (VAR) の特殊なケースでもあります。

移動平均 (MA) モデルとは異なり、自己回帰モデルは単位根を含む場合があるため、必ずしも定常であるとは限りません。

大規模言語モデルは自己回帰モデルと呼ばれますが、線形ではないため、この意味では古典的な自己回帰モデルではありません。

この表記はp次の自己回帰モデルを表す。AR( p )モデルは次のように定義される。 ${\displaystyle AR(p)}$

${\displaystyle X_{t}=\sum _{i=1}^{p}\varphi _{i}X_{ti}+\varepsilon _{t}}$

ここで、はモデルのパラメータであり、は白色ノイズである。^{[1] [2]これは}バックシフト演算子Bを使用して次のように 同等に記述できる。${\displaystyle \varphi _{1},\ldots ,\varphi _{p}}$${\displaystyle \varepsilon _{t}}$

${\displaystyle X_{t}=\sum _{i=1}^{p}\varphi _{i}B^{i}X_{t}+\varepsilon _{t}}$

したがって、和項を左辺に移動して多項式表記を使用すると、

${\displaystyle \phi [B]X_{t}=\varepsilon _{t}}$

したがって、自己回帰モデルは、入力がホワイト ノイズである 全極 無限インパルス応答フィルターの出力として見ることができます。

モデルが弱意味で定常であるためには、いくつかのパラメータ制約が必要である。例えば、 を伴うAR(1)モデルのプロセスは定常ではない。より一般的には、AR( p )モデルが弱意味で定常であるためには、多項式の根が単位円の外側にある必要がある、すなわち、各（複素）根がを満たす必要がある（ ^[3]の89、92ページを参照）。 ${\displaystyle |\varphi _{1}|\geq 1}$${\displaystyle \Phi (z):=\textstyle 1-\sum _{i=1}^{p}\varphi _{i}z^{i}}$${\displaystyle z_{i}}$${\displaystyle |z_{i}|>1}$

AR プロセスでは、一度限りのショックによって、進化する変数の値が無限に将来にわたって影響を受けます。たとえば、AR(1) モデルを考えてみましょう。たとえば、時刻t =1での の非ゼロの値は、の量に 影響します。次に、に関する のAR 方程式により、これはの量に影響します。次に、に関する のAR 方程式により、これはの量に影響します。このプロセスを続けると、 の影響は決して終わらないことがわかります。ただし、プロセスが定常である場合、影響は極限でゼロに向かって減少します。 ${\displaystyle X_{t}=\varphi _{1}X_{t-1}+\varepsilon _{t}}$${\displaystyle \varepsilon _{t}}$${\displaystyle X_{1}}$${\displaystyle \varepsilon_{1}}$${\displaystyle X_{2}}$${\displaystyle X_{1}}$${\displaystyle X_{2}}$${\displaystyle \varphi_{1}\varepsilon_{1}}$${\displaystyle X_{3}}$${\displaystyle X_{2}}$${\displaystyle X_{3}}$${\displaystyle \varphi _{1}^{2}\varepsilon _{1}}$${\displaystyle \varepsilon _{1}}$

それぞれのショックは発生時から無限に遠い未来までX値に影響を与えるため、任意の値X _tは無限に遠い過去に発生したショックの影響を受ける。これは自己回帰式を書き直すことでもわかる。

${\displaystyle \phi (B)X_{t}=\varepsilon _{t}\,}$

（ここで定数項は、変数が平均からの偏差として測定されていると仮定して抑制されている）

${\displaystyle X_{t}={\frac {1}{\phi (B)}}\varepsilon _{t}\,.}$

右辺の多項式除算を実行すると、適用されるバックシフト演算子の多項式は無限次になります。つまり、方程式の右辺に の無限個の遅れた値が表示されます。 ${\displaystyle \varepsilon _{t}}$${\displaystyle \varepsilon _{t}}$

AR( p )過程の自己相関関数は次のように表される^[要出典]

${\displaystyle \rho (\tau )=\sum _{k=1}^{p}a_{k}y_{k}^{-|\tau |},}$

多項式の根は どこにあるか${\displaystyle y_{k}}$

${\displaystyle \phi (B)=1-\sum _{k=1}^{p}\varphi _{k}B^{k}}$

ここで、Bはバックシフト演算子、は自己回帰を定義する関数、は自己回帰の係数です。この式は、すべての根の重複度が 1 の場合にのみ有効です。^{[引用が必要]}${\displaystyle \phi (\cdot )}$${\displaystyle \varphi _{k}}$

AR( p )過程の自己相関関数は、減少する指数関数の合計です。

• 各実根は、指数関数的に減少する自己相関関数の要素に寄与します。
• 同様に、複素共役根の各ペアは指数的に減衰した振動に寄与します。

最も単純な AR プロセスは AR(0) であり、各項の間に依存関係はありません。エラー/イノベーション/ノイズ項のみがプロセスの出力に寄与するため、図では AR(0) はホワイト ノイズに対応します。

が正の AR(1) プロセスの場合、プロセスの前の項とノイズ項のみが出力に寄与します。 が0 に近い場合、プロセスはまだホワイト ノイズのように見えますが、 が 1 に近づくにつれて、出力はノイズに比べて前の項からより大きな寄与を受けます。 この結果、ロー パス フィルタと同様に、出力が「平滑化」または積分されます。 ${\displaystyle \varphi }$${\displaystyle \varphi }$${\displaystyle \varphi }$

AR(2) プロセスの場合、前の 2 つの項とノイズ項が出力に寄与します。と の両方が正の場合、出力はローパス フィルタに似たものになり、ノイズの高周波部分が低減されます。が正でが負の場合、プロセスはプロセスの項間の符号の変化を優先します。出力は振動します。これは、エッジ検出または方向の変化の検出に似ています。 ${\displaystyle \varphi _{1}}$${\displaystyle \varphi _{2}}$${\displaystyle \varphi _{1}}$${\displaystyle \varphi _{2}}$

AR(1) 過程は次のように定義されます。ここで、 は平均がゼロで分散が一定である白色雑音過程です。(注: の添え字は省略されています。) 過程は、白色雑音を入力とする安定したフィルタの出力として得られるため、の場合、弱感覚定常です。(の場合、 の分散は時間遅れ t に依存するため、t が無限大に近づくにつれて級数の分散は無限大に発散し、したがって弱感覚定常ではありません。) と仮定すると、弱感覚定常性の定義により、平均はtのすべての値に対して同一です。平均が で表されている場合、 となり、したがって $${\displaystyle X_{t}=\varphi X_{t-1}+\varepsilon _{t}\,}$$${\displaystyle \varepsilon _{t}}$${\displaystyle \sigma _{\varepsilon }^{2}}$${\displaystyle \varphi _{1}}$${\displaystyle |\varphi |<1}$${\displaystyle \varphi =1}$${\displaystyle X_{t}}$${\displaystyle |\varphi |<1}$${\displaystyle \operatorname {E} (X_{t})}$${\displaystyle \mu }$$${\displaystyle \operatorname {E} (X_{t})=\varphi \operatorname {E} (X_{t-1})+\operatorname {E} (\varepsilon _{t}),}$$$${\displaystyle \mu =\varphi \mu +0,}$$

${\displaystyle \mu =0.}$

差異は​

${\displaystyle {\textrm {var}}(X_{t})=\operatorname {E} (X_{t}^{2})-\mu ^{2}={\frac {\sigma _{\varepsilon }^{2}}{1-\varphi ^{2}}},}$

ここで はの標準偏差である。これは次の式で示される。 ${\displaystyle \sigma _{\varepsilon }}$${\displaystyle \varepsilon _{t}}$

${\displaystyle {\textrm {var}}(X_{t})=\varphi ^{2}{\textrm {var}}(X_{t-1})+\sigma _{\varepsilon }^{2},}$

そして、上記の量がこの関係の安定した固定点であることに気づくのです。

自己共分散は次のように与えられる。

${\displaystyle B_{n}=\operatorname {E} (X_{t+n}X_{t})-\mu ^{2}={\frac {\sigma _{\varepsilon }^{2}}{1-\varphi ^{2}}}\,\,\varphi ^{|n|}.}$

自己共分散関数は減衰時間（時定数とも呼ばれる）で減衰することが分かる。^[4]${\displaystyle \tau =1-\varphi }$

スペクトル密度関数は、自己共分散関数のフーリエ変換です。離散的に言えば、これは離散時間フーリエ変換になります。

${\displaystyle \Phi (\omega )={\frac {1}{\sqrt {2\pi }}}\,\sum _{n=-\infty }^{\infty }B_{n}e^{-i\omega n}={\frac {1}{\sqrt {2\pi }}}\,\left({\frac {\sigma _{\varepsilon }^{2}}{1+\varphi ^{2}-2\varphi \cos(\omega )}}\right).}$

この式は、分母の余弦項として現れる の離散的性質のために周期的です。サンプリング時間 ( ) が減衰時間 ( ) よりもはるかに小さいと仮定すると、 の連続体近似を使用できます。 ${\displaystyle X_{j}}$${\displaystyle \Delta t=1}$${\displaystyle \tau }$${\displaystyle B_{n}}$

${\displaystyle B(t)\approx {\frac {\sigma _{\varepsilon }^{2}}{1-\varphi ^{2}}}\,\,\varphi ^{|t|}}$

これにより、スペクトル密度の ローレンツプロファイルが得られます。

${\displaystyle \Phi (\omega )={\frac {1}{\sqrt {2\pi }}}\,{\frac {\sigma _{\varepsilon }^{2}}{1-\varphi ^{2}}}\,{\frac {\gamma }{\pi (\gamma ^{2}+\omega ^{2})}}}$

ここで、 は減衰時間に関連付けられた角周波数です。 ${\displaystyle \gamma =1/\tau }$${\displaystyle \tau }$

の別の表現は、定義式にを代入することで導出できる。この処理をN回繰り返すと、次の式が得られる。 ${\displaystyle X_{t}}$${\displaystyle \varphi X_{t-2}+\varepsilon _{t-1}}$${\displaystyle X_{t-1}}$

${\displaystyle X_{t}=\varphi ^{N}X_{t-N}+\sum _{k=0}^{N-1}\varphi ^{k}\varepsilon _{t-k}.}$

N が無限大に近づくと、ゼロに近づき、次のようになります。 ${\displaystyle \varphi ^{N}}$

${\displaystyle X_{t}=\sum _{k=0}^{\infty }\varphi ^{k}\varepsilon _{t-k}.}$

はカーネルと定数平均を畳み込んだホワイト ノイズであることがわかります。ホワイト ノイズがガウス過程である場合、もガウス過程です。その他の場合、中心極限定理により、が 1 に近い場合、 はほぼ正規分布することがわかります。 ${\displaystyle X_{t}}$${\displaystyle \varphi ^{k}}$${\displaystyle \varepsilon _{t}}$${\displaystyle X_{t}}$${\displaystyle X_{t}}$${\displaystyle \varphi }$

の場合、プロセスは等比数列（指数関数的増加または減少）になります。この場合、解は解析的に求められます。ここで は未知の定数（初期条件）です。 ${\displaystyle \varepsilon _{t}=0}$${\displaystyle X_{t}=\varphi X_{t-1}}$${\displaystyle X_{t}=a\varphi ^{t}}$${\displaystyle a}$

AR(1)モデルは、連続オルンシュタイン・ウーレンベック過程の離散時間アナロジーである。したがって、AR(1)モデルの特性を等価な形式で理解することが有用な場合がある。この形式では、プロセスパラメータ を持つAR(1)モデルは次のように表される 。${\displaystyle \theta \in \mathbb {R} }$

${\displaystyle X_{t+1}=X_{t}+(1-\theta )(\mu -X_{t})+\varepsilon _{t+1}}$ここで、はモデル平均であり、 は平均 0 と一定の分散 を持つホワイトノイズ過程です。${\displaystyle |\theta |<1\,}$${\displaystyle \mu :=E(X)}$${\displaystyle \{\epsilon _{t}\}}$${\displaystyle \sigma }$

これを と書き直し、 を（帰納法で）導くと、次のことが分かる。 ${\displaystyle X_{t+1}=\theta X_{t}+(1-\theta )\mu +\varepsilon _{t+1}}$${\displaystyle X_{t+n}=\theta ^{n}X_{t}+(1-\theta ^{n})\mu +\Sigma _{i=1}^{n}\left(\theta ^{n-i}\epsilon _{t+i}\right)}$

${\displaystyle \operatorname {E} (X_{t+n}|X_{t})=\mu \left[1-\theta ^{n}\right]+X_{t}\theta ^{n}}$そして

${\displaystyle \operatorname {Var} (X_{t+n}|X_{t})=\sigma ^{2}{\frac {1-\theta ^{2n}}{1-\theta ^{2}}}}$。

AR(p) プロセスの部分自己相関は p より大きいラグではゼロに等しいため、適切な最大ラグ p は、部分自己相関がすべてゼロになるラグ p です。

係数を推定する方法は多数あり、たとえば、通常の最小二乗法やモーメント法（ユール・ウォーカー方程式による）などがあります。

AR( p )モデルは次の式で与えられる。

${\displaystyle X_{t}=\sum _{i=1}^{p}\varphi _{i}X_{t-i}+\varepsilon _{t}.\,}$

これは、 i = 1、...、pのパラメータに基づいています。これらのパラメータとプロセスの共分散関数の間には直接的な対応関係があり、この対応関係を逆転させて、自己相関関数（それ自体が共分散から得られる）からパラメータを決定することができます。これは、ユール・ウォーカー方程式を使用して行われます。 ${\displaystyle \varphi _{i}}$

ユール・ウォーカー方程式は、ユール・ユールとギルバート・ウォーカーにちなんで名付けられ、^{[5] [6]}次のような方程式の集合である。^[7]

${\displaystyle \gamma _{m}=\sum _{k=1}^{p}\varphi _{k}\gamma _{m-k}+\sigma _{\varepsilon }^{2}\delta _{m,0},}$

ここで、m  = 0, …,  p であり、p  + 1 個の方程式を生成します。ここで、は X _tの自己共分散関数、は入力ノイズ プロセスの標準偏差、はクロネッカーのデルタ関数です。 ${\displaystyle \gamma _{m}}$${\displaystyle \sigma _{\varepsilon }}$${\displaystyle \delta _{m,0}}$

個々の方程式の最後の部分がゼロでないのはm  = 0の場合のみなので、方程式の集合はm  > 0の方程式を行列形式で表すことで解くことができ、次の方程式が得られます。

${\displaystyle {\begin{bmatrix}\gamma _{1}\\\gamma _{2}\\\gamma _{3}\\\vdots \\\gamma _{p}\\\end{bmatrix}}={\begin{bmatrix}\gamma _{0}&\gamma _{-1}&\gamma _{-2}&\cdots \\\gamma _{1}&\gamma _{0}&\gamma _{-1}&\cdots \\\gamma _{2}&\gamma _{1}&\gamma _{0}&\cdots \\\vdots &\vdots &\vdots &\ddots \\\gamma _{p-1}&\gamma _{p-2}&\gamma _{p-3}&\cdots \\\end{bmatrix}}{\begin{bmatrix}\varphi _{1}\\\varphi _{2}\\\varphi _{3}\\\vdots \\\varphi _{p}\\\end{bmatrix}}}$

これはすべてについて解くことができる。m = 0 の残りの方程式は${\displaystyle \{\varphi _{m};m=1,2,\dots ,p\}.}$

${\displaystyle \gamma _{0}=\sum _{k=1}^{p}\varphi _{k}\gamma _{-k}+\sigma _{\varepsilon }^{2},}$

一度 分かれば、解決できる${\displaystyle \{\varphi _{m};m=1,2,\dots ,p\}}$${\displaystyle \sigma _{\varepsilon }^{2}.}$

代替的な定式化は自己相関関数によるものである。ARパラメータは自己相関関数の最初のp +1要素によって決定される。完全な自己相関関数は^[8]を再帰的に計算することによって導出することができる。 ${\displaystyle \rho (\tau )}$

${\displaystyle \rho (\tau )=\sum _{k=1}^{p}\varphi _{k}\rho (k-\tau )}$

低次AR( p )過程 の例

• 1 =1
  • ${\displaystyle \gamma _{1}=\varphi _{1}\gamma _{0}}$
  • したがって${\displaystyle \rho _{1}=\gamma _{1}/\gamma _{0}=\varphi _{1}}$
• 2 =2 です
  • AR(2)過程のユール・ウォーカー方程式は

    ${\displaystyle \gamma _{1}=\varphi _{1}\gamma _{0}+\varphi _{2}\gamma _{-1}}$

    ${\displaystyle \gamma _{2}=\varphi _{1}\gamma _{1}+\varphi _{2}\gamma _{0}}$

    • 覚えておいてください${\displaystyle \gamma _{-k}=\gamma _{k}}$
    • 最初の式を使うと${\displaystyle \rho _{1}=\gamma _{1}/\gamma _{0}={\frac {\varphi _{1}}{1-\varphi _{2}}}}$
    • 再帰式を使用すると、${\displaystyle \rho _{2}=\gamma _{2}/\gamma _{0}={\frac {\varphi _{1}^{2}-\varphi _{2}^{2}+\varphi _{2}}{1-\varphi _{2}}}}$

上記の式（ユール・ウォーカー方程式）は、理論的な共分散を推定値に置き換えることで、 AR( p )モデルのパラメータを推定するいくつかの方法を提供します。 ^[9]これらの変形のいくつかは次のように説明できます。

• 自己共分散または自己相関の推定。ここでは、従来の推定値を使用して、これらの各項を個別に推定します。これを行うにはさまざまな方法があり、それらの選択は推定スキームの特性に影響します。たとえば、いくつかの選択によって、分散の負の推定値が生成される場合があります。
• 最小二乗回帰問題として定式化され、通常の最小二乗予測問題が構築され、同じシリーズのp個の以前の値に基づいてX _tの値が予測されます。これは、前向き予測スキームと考えることができます。この問題の正規方程式は、同じラグの自己共分散の各出現がわずかに異なる推定値に置き換えられる、ユール・ウォーカー方程式の行列形式の近似に対応すると考えられます。
• 通常の最小二乗予測問題の拡張形式としての定式化。ここでは、2 セットの予測方程式が 1 つの推定スキームと 1 セットの正規方程式に結合されます。1 セットは前方予測方程式のセットであり、もう 1 セットは AR モデルの後方表現に関連する後方予測方程式の対応するセットです。

${\displaystyle X_{t}=\sum _{i=1}^{p}\varphi _{i}X_{t+i}+\varepsilon _{t}^{*}\,.}$

ここで、 X _tの予測値は、同じシリーズのp個の将来の値に基づきます。 ^{[説明が必要]} AR パラメータを推定するこの方法は、John Parker Burg によるもので、^[10] Burg 法と呼ばれています。^[11] Burg とその後の著者は、これらの特定の推定値を「最大エントロピー推定値」と呼びましたが、^[12]この背後にある理由は、推定された AR パラメータの任意のセットの使用に適用されます。前方予測方程式のみを使用する推定スキームと比較すると、自己共分散の異なる推定値が生成され、推定値は異なる安定性特性を持ちます。Burg 推定値は、特に最大エントロピー スペクトル推定に関連付けられています。^[13]

推定の他の方法としては、最大尤度推定法があります。最大尤度には 2 つの異なるバリエーションがあります。1 つ (前向き予測の最小二乗法とほぼ同等) では、考慮される尤度関数は、系列の最初のp値が与えられたときの系列の後の値の条件付き分布に対応するものです。もう 1 つでは、考慮される尤度関数は、観測された系列のすべての値の無条件結合分布に対応するものです。観測された系列が短い場合、またはプロセスが非定常性に近い場合、これらのアプローチの結果に大幅な違いが生じる可能性があります。

ノイズ分散を伴うAR( p )過程のパワースペクトル密度(PSD)は^[8]${\displaystyle \mathrm {Var} (Z_{t})=\sigma _{Z}^{2}}$

${\displaystyle S(f)={\frac {\sigma _{Z}^{2}}{|1-\sum _{k=1}^{p}\varphi _{k}e^{-i2\pi fk}|^{2}}}.}$

ホワイトノイズ（AR(0)）の場合

${\displaystyle S(f)=\sigma _{Z}^{2}.}$

ARの場合(1)

${\displaystyle S(f)={\frac {\sigma _{Z}^{2}}{|1-\varphi _{1}e^{-2\pi if}|^{2}}}={\frac {\sigma _{Z}^{2}}{1+\varphi _{1}^{2}-2\varphi _{1}\cos 2\pi f}}}$

• に単一のスペクトル ピークがある場合、これはしばしば赤色ノイズと呼ばれます。 が 1 に近づくほど、低周波数でのパワーが強くなり、つまり時間差が大きくなります。これはローパス フィルターであり、フル スペクトル光に適用すると、赤色光以外のすべてがフィルターされます。${\displaystyle \varphi _{1}>0}$${\displaystyle f=0}$${\displaystyle \varphi _{1}}$
• で最小値がある場合、これはブルーノイズと呼ばれることがよくあります。これは同様にハイパスフィルターとして機能し、青色光以外のすべてがフィルタリングされます。${\displaystyle \varphi _{1}<0}$${\displaystyle f=0}$

AR(2)過程の挙動は、その特性方程式の根によって完全に決定され、ラグ演算子を使って次のように表現される。

${\displaystyle 1-\varphi _{1}B-\varphi _{2}B^{2}=0,}$

または、 Z領域で次のように定義される伝達関数の極によっても同等に表されます。

${\displaystyle H_{z}=(1-\varphi _{1}z^{-1}-\varphi _{2}z^{-2})^{-1}.}$

したがって、極は次を満たす z の値になります。

${\displaystyle 1-\varphi _{1}z^{-1}-\varphi _{2}z^{-2}=0}$、

その結果は次のようになります。

${\displaystyle z_{1},z_{2}={\frac {1}{2\varphi _{2}}}\left(\varphi _{1}\pm {\sqrt {\varphi _{1}^{2}+4\varphi _{2}}}\right)}$。

${\displaystyle z_{1}}$およびは特性根の逆数であり、時間更新行列の固有値でもある。 ${\displaystyle z_{2}}$

${\displaystyle {\begin{bmatrix}\varphi _{1}&\varphi _{2}\\1&0\end{bmatrix}}}$

AR(2)プロセスは、その根/極の特性に応じて3つのグループに分けられます。

• のとき、プロセスは複素共役極のペアを持ち、中間周波数のピークが次の位置で生成されます。${\displaystyle \varphi _{1}^{2}+4\varphi _{2}<0}$

${\displaystyle f^{*}={\frac {1}{2\pi }}\cos ^{-1}\left({\frac {\varphi _{1}}{2{\sqrt {-\varphi _{2}}}}}\right),}$

ピーク付近の帯域幅は極の係数に反比例します。

${\displaystyle |z_{1}|=|z_{2}|={\sqrt {-\varphi _{2}}}.}$

複素極の場合、平方根を含む項はすべて実数です。なぜなら、平方根は の場合にのみ存在するからです。 ${\displaystyle \varphi _{2}<0}$

それ以外の場合、プロセスには実際のルーツがあり、次のようになります。

• スペクトルピークを持つホワイトノイズのローパスフィルタとして機能する場合、${\displaystyle \varphi _{1}>0}$${\displaystyle f=0}$
• スペクトルのピークを持つホワイトノイズに対してハイパスフィルタとして機能する場合。${\displaystyle \varphi _{1}<0}$${\displaystyle f=1/2}$

極が単位円の外側または上に位置する場合、または特性根が単位円の内側または上に位置する場合、この過程は非定常です。極が厳密に単位円の内側（根が厳密に単位円の外側）に位置する場合、または係数が三角形内にある場合、この過程は安定です。 ${\displaystyle -1\leq \varphi _{2}\leq 1-|\varphi _{1}|}$

完全な PSD 関数は、実数形式で次のように表現できます。

${\displaystyle S(f)={\frac {\sigma _{Z}^{2}}{1+\varphi _{1}^{2}+\varphi _{2}^{2}-2\varphi _{1}(1-\varphi _{2})\cos(2\pi f)-2\varphi _{2}\cos(4\pi f)}}}$

• R – statsパッケージにはar関数が含まれています。^[14] astsaパッケージにはARを含むさまざまなモデルに適合するためのsarima関数が含まれています。^[15]
• MATLABのEconometrics Toolbox ^[16]とSystem Identification Toolbox ^[17]にはARモデルが含まれています。^[18]
• MATLABとOctave – TSAツールボックスには、単変量、多変量、適応ARモデル用の推定関数がいくつか含まれています。^[19]
• PyMC 3 – ベイズ統計と確率的プログラミング フレームワークは、pラグのある AR モードをサポートします。
• bayesloop – 時間変動パラメータを持つAR-1プロセスのパラメータ推論とモデル選択をサポートします。^[20]
• Python – statsmodels.orgはARモデルをホストしています。^[21]

システムのインパルス応答は、 k期間前のショック項の値の変化に応じて変化する変数の変化であり、 kの関数として表されます。 AR モデルはベクトル自己回帰モデルの特殊なケースであるため、ベクトル自己回帰#インパルス応答のインパルス応答の計算がここで適用されます。

自己回帰のパラメータが

${\displaystyle X_{t}=\sum _{i=1}^{p}\varphi _{i}X_{t-i}+\varepsilon _{t}\,}$

推定が完了したら、自己回帰を使用して任意の数の期間を将来予測できます。まず、t を使用して、データがまだ入手できない最初の期間を参照します。既知の以前の値X _t-i ( i= 1, ..., p)を自己回帰方程式に代入し、誤差項を0 に設定します ( X _{t が}その期待値に等しいと予測し、観測されていない誤差項の期待値が 0 であるため)。自己回帰方程式の出力は、最初の観測されていない期間の予測値です。次に、t を使用して、データがまだ入手できない次の期間を参照します。この場合も、自己回帰方程式を使用して予測を行いますが、違いが 1 つあります。現在予測している期間の 1 つ前の期間のXの値は不明であるため、その期待値 (前の予測手順から得られる予測値) が代わりに使用されます。その後、将来の期間についても同じ手順が使用され、予測式の右側の予測値が毎回 1 つずつ追加され、 p 回の予測の後、右側の p個の値すべてが前のステップからの予測値になります。${\displaystyle \varepsilon _{t}}$

この方法で得られる予測に関する不確実性の原因は 4 つあります。(1) 自己回帰モデルが正しいモデルであるかどうかに関する不確実性、(2) 自己回帰方程式の右側で遅延値として使用される予測値の精度に関する不確実性、(3) 自己回帰係数の真の値に関する不確実性、(4)予測対象期間の誤差項の値に関する不確実性です。最後の 3 つはそれぞれ定量化して組み合わせることができ、nステップ先の予測の信頼区間が得られます。右側の変数に使用する推定値の数が増えるため、 nが増加するにつれて信頼区間は広くなります。${\displaystyle \varepsilon _{t}\,}$

• 移動平均モデル
• 線形差分方程式
• 予測分析
• 線形予測コーディング
• 共振
• レビンソン再帰
• オルンシュタイン・ウーレンベック過程
• 無限インパルス応答

• ミルズ、テレンス C. (1990)。経済学者のための時系列技術。ケンブリッジ大学出版局。ISBN 9780521343398。
• Percival, Donald B.; Walden, Andrew T. (1993).物理応用のためのスペクトル解析. ケンブリッジ大学出版局. Bibcode :1993sapa.book.....P.
• Pandit, Sudhakar M.; Wu, Shien-Ming (1983)。『時系列とシステム分析とその応用』John Wiley & Sons。

• 自己回帰分析 (AR) ポール・バーク
• マーク・トーマによるYouTubeでの計量経済学講義 (トピック: 自己回帰モデル)