自己回帰移動平均モデル

時系列の統計分析において、自己回帰移動平均( ARMA )モデルは、それぞれ多項式を持つ自己回帰(AR) と移動平均(MA)を使用して(弱) 定常確率過程を記述する方法です。これらは、系列を理解して将来の値を予測するためのツールです。AR では、変数をその変数自身の遅れた (つまり過去の) 値に回帰します。MA では、誤差を同時および過去のさまざまな時点で発生した誤差項の線形結合としてモデル化します。このモデルは通常、ARMA( p , q )と表記されます。ここで、pは AR の次数、q はMA の次数です。

一般的な ARMA モデルは、 1951 年のPeter Whittleの論文「時系列分析における仮説検定」で説明され、1970 年にGeorge EP BoxとGwilym Jenkinsによる書籍で普及しました。

ARMA モデルはBox–Jenkins 法を使用して推定できます。

AR( p )という表記はp次の自己回帰モデルを表す。AR( p )モデルは次のように記述される 。

${\displaystyle X_{t}=\sum _{i=1}^{p}\varphi _{i}X_{ti}+\varepsilon _{t}}$

ここで、はパラメータであり、ランダム変数はホワイトノイズであり、通常は独立かつ同一分布（iid）する正規ランダム変数です。^{[1] [2]}${\displaystyle \varphi _{1},\ldots ,\varphi _{p}}$${\displaystyle \varepsilon _{t}}$

モデルが定常であるためには、その特性多項式の根が単位円の外側になければなりません。例えば、AR(1)モデルのプロセスは、の根が単位円の内側にあるため定常ではありません。^[3]${\displaystyle |\varphi _{1}|\geq 1}$${\displaystyle 1-\varphi _{1}B=0}$

拡張ディッキー・フラー検定は、 IMF とトレンド成分の安定性を評価します。定常時系列の場合は ARMA モデルが使用され、非定常時系列の場合は LSTM モデルを使用して抽象的な特徴を導出します。最終値は、各時系列の予測結果を再構築することで得られます。

MA( q )という表記は、次数qの移動平均モデルを表します。

${\displaystyle X_{t}=\mu +\varepsilon _{t}+\sum _{i=1}^{q}\theta _{i}\varepsilon _{ti}\,}$

ここで、はモデルのパラメータ、は（0に等しいと仮定されることが多い）の期待値、、 …は一般に正規分布のランダム変数であるiidホワイトノイズ誤差項である。^[4]${\displaystyle \theta _{1},...,\theta _{q}}$${\displaystyle \mu}$${\displaystyle X_{t}}$${\displaystyle \varepsilon_{1}}$${\displaystyle \varepsilon _{t}}$

ARMA( p , q )という表記は、p個の自己回帰項とq個の移動平均項を持つモデルを指す。このモデルにはAR( p )モデルとMA( q )モデルが含まれる。^[5]

${\displaystyle X_{t}=\varepsilon _{t}+\sum _{i=1}^{p}\varphi _{i}X_{ti}+\sum _{i=1}^{q}\theta _{i}\varepsilon _{ti}.\,}$

いくつかの文献では、モデルはラグ演算子 Lを使用して指定されます。これらの用語では、AR( p )モデルは次のように表されます。

${\displaystyle \varepsilon _{t}=\left(1-\sum _{i=1}^{p}\varphi _{i}L^{i}\right)X_{t}=\varphi (L)X_{t}\,}$

ここで多項式を表す ${\displaystyle \varphi }$

${\displaystyle \varphi (L)=1-\sum _{i=1}^{p}\varphi _{i}L^{i}.\,}$

MA( q )モデルは次のように与えられる。

${\displaystyle X_{t}-\mu =\left(1+\sum _{i=1}^{q}\theta _{i}L^{i}\right)\varepsilon _{t}=\theta (L)\varepsilon _{t},\,}$

ここで多項式を表す ${\displaystyle \theta }$

${\displaystyle \theta (L)=1+\sum _{i=1}^{q}\theta _{i}L^{i}.\,}$

最後に、結合されたARMA( p , q )モデルは次のように与えられる。

${\displaystyle \left(1-\sum _{i=1}^{p}\varphi _{i}L^{i}\right)X_{t}=\left(1+\sum _{i=1}^{q}\theta _{i}L^{i}\right)\varepsilon _{t}\,,}$

あるいはもっと簡潔に言えば、

${\displaystyle \varphi (L)X_{t}=\theta (L)\varepsilon _{t}\,}$

または

${\displaystyle {\frac {\varphi (L)}{\theta (L)}}X_{t}=\varepsilon _{t}\,.}$

これはBox、Jenkins、Reinselで使用されている形式です。 ^[6]

さらに、 から合計を開始し 、 および を設定すると、さらにエレガントな定式化が得られます。${\displaystyle i=0}$${\displaystyle \phi _{0}=-1}$${\displaystyle \theta _{0}=1}$${\displaystyle -\sum _{i=0}^{p}\phi _{i}L^{i}\;X_{t}=\sum _{i=0}^{q}\theta _{i}L^{i}\;\varepsilon _{t}\,.}$

ARMAプロセスのスペクトル密度は、白色ノイズの分散、ARMAモデルの移動平均部分の特性多項式、ARMAモデルの自己回帰部分の特性多項式である。^{[7] [8]}$${\displaystyle S(f)={\frac {\sigma ^{2}}{2\pi }}\left\vert {\frac {\theta (e^{-if})}{\phi (e^{-if})}}\right\vert ^{2}}$$${\displaystyle \sigma ^{2}}$${\displaystyle \theta }$${\displaystyle \phi }$

ARMA( p , q )モデルにおける適切なpの値は、偏自己相関関数をプロットすることで見つけることができます。同様に、qは自己相関関数を使用して推定できます。pとqは両方とも、拡張自己相関関数(EACF)を使用して同時に決定できます。^[9] pとqの初期選択で適合されたモデルの残差に対して同じ関数を考慮することで、さらに多くの情報を得ることができます。

ブロックウェルとデイビスは、pとqを見つけるために赤池情報量基準（AIC）を使用することを推奨しています。^[10]もう一つの選択肢はベイズ情報量基準（BIC）です。

pとq を選択した後、最小二乗回帰によって ARMA モデルをフィッティングして、誤差項を最小化するパラメータの値を見つけます。データに許容可能なフィッティングを提供するpとqの最小値を見つけることをお勧めします。純粋な AR モデルの場合、フィッティングを提供するためにYule-Walker 方程式を使用できます。

ARMA 出力は主に予測に使用され、OLS や 2SLS などの他の計量経済学や回帰法の分野のように因果関係を推測するために使用されることはありません。

• Rでは、標準パッケージにstats関数 がありarima、これは ARIMA Modelling of Time Series で説明されています。パッケージ astsa には、sarimaARMA モデル (季節性および非季節性) をフィッティングし、sarima.simこれらのモデルからデータをシミュレートするための、改良されたスクリプト があります。拡張パッケージには、関連する拡張機能が含まれています。パッケージには、「Fit ARMA Models to Time Series」で説明されているtseries関数 が含まれています。パッケージ fracdiffには、分数統合 ARMA プロセスが含まれています。パッケージ prediction には、 p、qの節約セットを選択するためのものが含まれています。CRAN の Time Series タスク ビューには、これらのほとんどへのリンクが含まれています。arma()fracdiff()auto.arima
• MathematicaにはARMAを含む時系列関数の完全なライブラリがあります。^[11]
• MATLAB には、自己回帰モデル、外生自己回帰モデル、ARMAX モデルを推定するための arma、ar、arx などの関数が含まれています。詳細については、System Identification Toolbox および Econometrics Toolbox を参照してください。
• Julia には、 arma.jl などの ARMA モデルを使用したフィッティングを実装するコミュニティ主導のパッケージがあります。
• statsmodelsPython には、ARMA を含む時系列分析用の多くのモデルと関数を含む S パッケージがあります。以前はscikit-learnライブラリの一部でしたが、現在はスタンドアロンであり、Pandasとうまく統合されています。
• PyFlux には、ベイジアン ARIMAX モデルを含む ARIMAX モデルの Python ベースの実装があります。
• IMSL 数値ライブラリは、 C、Java、C# .NET、Fortran などの標準プログラミング言語で実装された ARMA および ARIMA プロシージャを含む数値解析機能のライブラリです。
• gretlはARMAモデルを推定することができます。
• GNU Octave の追加パッケージ octave-forge は AR モデルをサポートします。
• Stata にはarima、ARMA およびARIMAモデル用の関数が含まれています。
• SuanShu は、「SuanShu、Java 数値および統計ライブラリ」に記載されている、単変量/多変量 ARMA、ARIMA、ARMAX などのモデルを実装する数値メソッドの Java ライブラリです。
• SAS には、 ARIMA モデルを推定する計量経済パッケージ ETS があります。詳細を参照してください。

一般的なARMAモデルは、数学的解析（ローラン級数とフーリエ解析）と統計的推論を使用したピーター・ホイットルの1951年の論文で説明されました。 ^{[12] [13]} ARMAモデルは、モデルの選択と推定のための反復法（ボックス–ジェンキンス法）を説明したジョージ・EP・ボックスとジェンキンスの1970年の本によって普及しました。この方法は、低次多項式（次数3以下）に有効でした。^[14]

ARMA は本質的には、ホワイト ノイズに適用される無限インパルス応答フィルターであり、それにいくつかの追加の解釈が加えられています。

デジタル信号処理では、ARMA は入力にホワイト ノイズがあり、出力に ARMA プロセスがあるデジタル フィルターとして表されます。

ARMA は、システムが一連の観測されないショック (MA または移動平均部分) とそれ自身の動作の関数である場合に適しています。たとえば、株価はファンダメンタル情報によってショックを受けるだけでなく、市場参加者によるテクニカル トレンドや平均回帰効果も示す可能性があります。 ^{[引用が必要]}

ARMA にはさまざまな一般化があります。非線形AR (NAR)、非線形 MA (NMA)、および非線形 ARMA (NARMA) は、過去の値と誤差項に対する非線形依存性をモデル化します。ベクトル AR (VAR) およびベクトル ARMA (VARMA) は、多変量時系列をモデル化します。自己回帰和分移動平均(ARIMA) は、非定常時系列 (つまり、平均が時間の経過とともに変化する時系列) をモデル化します。自己回帰条件付き異分散(ARCH) は、分散が変化する時系列をモデル化します。季節 ARIMA (SARIMA または周期 ARMA) は、周期的な変動をモデル化します。 自己回帰分数和分移動平均(ARFIMA、または分数 ARIMA、FARIMA) は、長期記憶を示す時系列をモデル化します。マルチスケール AR (MAR) は、整数ではなく ツリーのノードによってインデックス付けされます。

ARMAX( p , q , b )という表記は、p 個の自己回帰項、q 個の移動平均項、およびb 個の外生入力項を持つモデルを指します。最後の項は、既知の外部時系列の最後のb項の線形結合です。これは次のように表されます。 ${\displaystyle d_{t}}$

${\displaystyle X_{t}=\varepsilon _{t}+\sum _{i=1}^{p}\varphi _{i}X_{t-i}+\sum _{i=1}^{q}\theta _{i}\varepsilon _{t-i}+\sum _{i=1}^{b}\eta _{i}d_{t-i}.\,}$

ここで、外生入力のパラメータです。 ${\displaystyle \eta _{1},\ldots ,\eta _{b}}$${\displaystyle d_{t}}$

外生変数を持つモデルの非線形バリアントがいくつか定義されています。たとえば、非線形自己回帰外生モデルを参照してください。

統計パッケージは、「外生的」（つまり独立）変数を使用してARMAXモデルを実装します。これらのパッケージの出力を解釈する際には注意が必要です。推定パラメータは通常（たとえばR ^[15]やgretlでは）回帰を参照するためです。

${\displaystyle X_{t}-m_{t}=\varepsilon _{t}+\sum _{i=1}^{p}\varphi _{i}(X_{t-i}-m_{t-i})+\sum _{i=1}^{q}\theta _{i}\varepsilon _{t-i}.\,}$

ここで、すべての外生変数（または独立変数）が組み込まれます。 ${\displaystyle m_{t}}$

${\displaystyle m_{t}=c+\sum _{i=0}^{b}\eta _{i}d_{t-i}.\,}$

• 自己回帰和分移動平均（ARIMA）
• 指数平滑法
• 線形予測コーディング
• 予測分析
• 無限インパルス応答
• 有限インパルス応答

• ミルズ、テレンス C. (1990)。経済学者のための時系列技術。ケンブリッジ大学出版局。ISBN 0521343399。
• パーシバル、ドナルド B.、ウォルデン、アンドリュー T. (1993)。物理応用のためのスペクトル解析。ケンブリッジ大学出版局。ISBN 052135532X。
• Francq, C.; Zakoïan, J.-M. (2005)、「非独立イノベーションを伴う線形時系列モデルの最近の結果」、Duchesne, P.; Remillard, B. (編)、『複雑なデータ問題に対する統計モデリングと分析』、Springer、pp. 241–265、CiteSeerX  10.1.1.721.1754。
• Shumway, RH および Stoffer, DS (2017)。R の例による時系列分析とその応用。Springer。DOI: 10.1007/978-3-319-52452-8