自己回帰積分移動平均

統計学や計量経済学で使用される時系列分析では、自己回帰和分移動平均( ARIMA ) モデルと季節 ARIMA ( SARIMA )モデルは、それぞれ非定常系列と周期的変動に対する自己回帰移動平均(ARMA) モデルの一般化です。これらのモデルはすべて、時系列をよりよく理解し、将来の値を予測するために時系列に適合されます。これらの一般化の目的は、データを可能な限り適合させることです。具体的には、ARMA は系列が定常であると想定します。つまり、その期待値は時間的に一定です。代わりに系列に傾向がある場合 (ただし、分散/自己共分散は一定)、その傾向は「差分」によって除去され、^[1]定常系列が残ります。この操作は ARMA を一般化し、ARIMA の「統合」部分に対応します。同様に、周期的変動は「季節差分」によって除去されます。^[2]

ARMAと同様に、ARIMAの「自己回帰」（AR）部分は、関心のある進化変数が以前の値に回帰していることを示します。「移動平均」（ MA）部分は、回帰誤差が、同時期および過去のさまざまな時点で発生した値を持つ誤差項の線形結合であることを示します。 ^[3]「統合」（I）部分は、データ値が各値と前の値との差に置き換えられていることを示します。

ウォルドの分解定理^{[4] [5] [6]}によれば、ARMAモデルは規則的な（つまり純粋に非決定論的な^[6]）広義の定常時系列を記述するのに十分であるため、ARMAを使用する前に、差分法などを使用して、このような非定常時系列を定常化することが求められます。^[7]

時系列に予測可能なサブプロセス（別名、純粋な正弦波または複素数値指数プロセス^[5]）が含まれている場合、予測可能なコンポーネントはARIMAフレームワークで平均がゼロではないが周期的な（つまり季節的な）コンポーネントとして扱われ、季節差分によって除去されます。

非季節性ARIMAモデルは通常ARIMA( p , d , q )と表記され、パラメータ p、d、q は負でない整数です。pは自己回帰モデルの次数（時間ラグの数）、dは差分の次数（データから過去の値が減算された回数）、q は移動平均モデルの次数です。 季節性ARIMAモデルは通常ARIMA( p、d、q )( P、D、Q ) _mと表記され、大文字のP、D、QはARIMAモデルの季節部分の自己回帰項、差分項、移動平均項であり、mは各季節の期間数です。^{[8] [2]パラメータのうち2つが0の場合、モデルは非ゼロのパラメータに基づいて参照され、頭字語から「} AR」、「I」、または「MA 」が省略される場合があります。たとえば、⁠ ⁠${\displaystyle {\text{ARIMA}}(1,0,0)}$はAR(1)、⁠ ⁠${\displaystyle {\text{ARIMA}}(0,1,0)}$はI(1)、⁠ ⁠は${\displaystyle {\text{ARIMA}}(0,0,1)}$MA(1)です。

時系列データX _t（tは整数インデックス、X _tは実数）が与えられた場合、モデルは次のように表される。 ${\displaystyle {\text{ARMA}}(p',q)}$

${\displaystyle X_{t}-\alpha _{1}X_{t-1}-\dots -\alpha _{p'}X_{tp'}=\varepsilon _{t}+\theta _{1}\varepsilon _{t-1}+\cdots +\theta _{q}\varepsilon _{tq},}$

または同等に

${\displaystyle \left(1-\sum _{i=1}^{p'}\alpha _{i}L^{i}\right)X_{t}=\left(1+\sum _{i=1}^{q}\theta _{i}L^{i}\right)\varepsilon _{t}\,}$

ここで、はラグ演算子、 はモデルの自己回帰部分のパラメータ、 は移動平均部分のパラメータ、 は誤差項です。誤差項は一般に、平均がゼロの正規分布からサンプリングされた独立した同一分布の変数であると想定されます。 ${\displaystyle L}$${\displaystyle \alpha _{i}}$${\displaystyle \theta _{i}}$${\displaystyle \varepsilon _{t}}$${\displaystyle \varepsilon _{t}}$

多項式に重複度dの単位根（因数）がある場合、次のように書き直すことができます。 ${\displaystyle \textstyle \left(1-\sum _{i=1}^{p'}\alpha _{i}L^{i}\right)}$${\displaystyle (1-L)}$

${\displaystyle \left(1-\sum _{i=1}^{p'}\alpha _{i}L^{i}\right)=\left(1-\sum _{i=1}^{p'-d}\varphi _{i}L^{i}\right)\left(1-L\right)^{d}.}$

ARIMA( p , d , q )プロセスは、この多項式因数分解特性をp = p'−dで表現し、次のように表されます。

${\displaystyle \left(1-\sum _{i=1}^{p}\varphi _{i}L^{i}\right)(1-L)^{d}X_{t}=\left(1+\sum _{i=1}^{q}\theta _{i}L^{i}\right)\varepsilon _{t}\,}$

これは、 d個の単位根を持つ自己回帰多項式を持つARMA( p+d , q ) プロセスの特殊なケースです。(これが、 d  > 0の ARIMA モデルによって正確に記述されるプロセスが広義の定常ではない理由です。)

上記は以下のように一般化できます。

${\displaystyle \left(1-\sum _{i=1}^{p}\varphi _{i}L^{i}\right)(1-L)^{d}X_{t}=\delta +\left(1+\sum _{i=1}^{q}\theta _{i}L^{i}\right)\varepsilon _{t}.\,}$

これはドリフトを持つARIMA( p , d , q )プロセスを定義します。 ${\displaystyle {\frac {\delta }{1-\sum \varphi _{i}}}}$

上記のように自己回帰多項式を因子に分解する明示的な識別は、他のケースにも拡張できます。まず、移動平均多項式に適用し、次に他の特別な因子を含めます。たとえば、モデルに因子を含めることは、期間sの非定常季節性をモデルに含める 1 つの方法です。この因子には、データをs期間前の変化として再表現する効果があります。もう 1 つの例は 、期間 2 の (非定常) 季節性を含む因子です。 ^{[説明が必要]}最初のタイプの因子の効果は、各季節の値が時間の経過とともに別々にドリフトできるようにすることですが、2 番目のタイプの因子では、隣接する季節の値が一緒に動きます。^{[説明が必要]}${\displaystyle (1-L^{s})}$${\displaystyle \left(1-{\sqrt {3}}L+L^{2}\right)}$

ARIMA モデルで適切な要素を識別して指定することは、モデリングにおいて重要なステップとなる可能性があります。これにより、推定するパラメータの総数を削減できると同時に、論理と経験から想定される動作の種類をモデルに適用できるようになります。

定常時系列の特性は変化しません。具体的には、広義の定常時系列の場合、平均と分散/自己共分散は時間の経過に伴って一定です。統計における差分は、非定常時系列を平均の意味で定常化するために（つまり、一定でない傾向を除去するために）適用される変換ですが、分散または自己共分散の非定常性には影響しません。同様に、季節差分は季節時系列に適用され、季節成分を除去します。

信号処理、特にフーリエスペクトル解析理論の観点から見ると、トレンドは系列のスペクトルにおける低周波部分であり、季節は周期周波数部分である。したがって、差分はハイパス（つまりローストップ）フィルターであり、季節差分は、スペクトル領域（時間領域で直接ではなく）でそれぞれ低周波トレンドと周期周波数季節を抑制するための櫛形フィルターである。 ^[7]

データの差分をとるには、連続する観測値の差を計算します。数学的には、これは次のように表されます。

${\displaystyle y_{t}'=y_{t}-y_{t-1}\,}$

定常時系列を得るために、データをもう一度差分化する必要がある場合があります。これを2次差分化と呼びます。

${\displaystyle {\begin{aligned}y_{t}^{*}&=y_{t}'-y_{t-1}'\\&=(y_{t}-y_{t-1})-(y_{t-1}-y_{t-2})\\&=y_{t}-2y_{t-1}+y_{t-2}\end{aligned}}}$

季節差分では、観測値と前の季節（たとえば 1 年）の対応する観測値との差を計算します。これは次のように示されます。

${\displaystyle y_{t}'=y_{t}-y_{t-m}\quad {\text{where }}m={\text{duration of season}}.}$

差分データはARMAモデルの推定に使用されます。

いくつかのよく知られた特殊なケースは自然に発生するか、または他の一般的な予測モデルと数学的に同等です。例:

• ARIMA(0, 1, 0)モデル（またはI(1)モデル）は次のように表されます。これは単純にランダムウォークです。${\displaystyle X_{t}=X_{t-1}+\varepsilon _{t}}$
• 定数を持つ ARIMA(0, 1, 0) は、ドリフトを伴うランダム ウォークです。${\displaystyle X_{t}=c+X_{t-1}+\varepsilon _{t}}$
• ARIMA(0, 0, 0) モデルはホワイト ノイズモデルです。
• ARIMA(0, 1, 2)モデルは減衰ホルトモデルです。
• 定数のないARIMA(0, 1, 1)モデルは基本的な指数平滑化モデルである。^[9]
• ARIMA(0, 2, 2)モデルは次のように表される。これは、加法誤差を伴うホルトの線形法、または二重指数平滑法と同等である。^[9]${\displaystyle X_{t}=2X_{t-1}-X_{t-2}+(\alpha +\beta -2)\varepsilon _{t-1}+(1-\alpha )\varepsilon _{t-2}+\varepsilon _{t}}$

pとqの順序は、標本自己相関関数（ACF）、部分自己相関関数（PACF）、および/または拡張自己相関関数（EACF）法を使用して決定できます。^[10]

他の代替方法としては、AIC、BICなどがある。^[10]季節性のないARIMAモデルの次数を決定するために有用な基準は、赤池情報量基準（AIC）である。これは次のように記述される。

${\displaystyle {\text{AIC}}=-2\log(L)+2(p+q+k),}$

ここで、Lはデータの尤度、p は自己回帰部分の次数、q は移動平均部分の次数です。k はARIMAモデルの切片を表します。AIC の場合、k = 1 の場合、ARIMA モデルに切片があり ( c ≠ 0)、k = 0 の場合、ARIMA モデルに切片はありません ( c = 0)。

ARIMAモデルの補正AICは次のように表される。

${\displaystyle {\text{AICc}}={\text{AIC}}+{\frac {2(p+q+k)(p+q+k+1)}{T-p-q-k-1}}.}$

ベイズ情報量基準（BIC）は次のように表される。

${\displaystyle {\text{BIC}}={\text{AIC}}+((\log T)-2)(p+q+k).}$

目的は、AIC、AICc、または BIC 値を最小化して、優れたモデルを作成することです。調査対象のモデルの範囲でこれらの基準のいずれかの値が低いほど、モデルはデータに適合します。AIC と BIC は、まったく異なる 2 つの目的で使用されます。AIC はモデルを実際の状況に近づけようとしますが、BIC は完全に適合するものを見つけようとします。BIC アプローチは、現実の複雑なデータに完全に適合することは決してないため、しばしば批判されます。ただし、AIC よりも多くのパラメータを持つモデルに対してより重いペナルティを課すため、選択には依然として有用な方法です。

AICc は、差分の次数が同じ ARIMA モデルを比較する場合にのみ使用できます。差分の次数が異なる ARIMA の場合、モデルの比較にはRMSE を使用できます。

ARIMA モデルは、2 つのモデルの「カスケード」として考えることができます。最初のモデルは非定常です。

${\displaystyle Y_{t}=(1-L)^{d}X_{t}}$

2番目は広義の定常です。

${\displaystyle \left(1-\sum _{i=1}^{p}\varphi _{i}L^{i}\right)Y_{t}=\left(1+\sum _{i=1}^{q}\theta _{i}L^{i}\right)\varepsilon _{t}\,.}$

現在では、自己回帰予測法の一般化を使用して、プロセスの予測を行うことができます。 ${\displaystyle Y_{t}}$

ARIMA モデルの予測区間 (予測の信頼区間) は、残差が無相関で正規分布しているという仮定に基づいています。これらの仮定のいずれかが当てはまらない場合、予測区間は不正確になる可能性があります。このため、研究者は予測区間を作成する前に、残差の ACF とヒストグラムをプロットして仮定を確認します。

95% 予測区間: 、ここでは の分散です。 ${\displaystyle {\hat {y}}_{T+h\,\mid \,T}\pm 1.96{\sqrt {v_{T+h\,\mid \,T}}}}$${\displaystyle v_{T+h\mid T}}$${\displaystyle y_{T+h}\mid y_{1},\dots ,y_{T}}$

の場合、パラメータと順序に関係なく、すべての ARIMA モデルに適用されます。 ${\displaystyle h=1}$${\displaystyle v_{T+h\,\mid \,T}={\hat {\sigma }}^{2}}$

ARIMA(0,0,q)の場合、${\displaystyle y_{t}=e_{t}+\sum _{i=1}^{q}\theta _{i}e_{t-i}.}$

${\displaystyle v_{T+h\,\mid \,T}={\hat {\sigma }}^{2}\left[1+\sum _{i=1}^{h-1}\theta _{i}e_{t-i}\right],{\text{ for }}h=2,3,\ldots }$^[要出典]

一般に、ARIMA モデルからの予測間隔は、予測期間が長くなるにつれて長くなります。

ARIMAモデルのさまざまなバリエーションが一般的に採用されています。複数の時系列を使用する場合は、をベクトルとして考えることができ、VARIMAモデルが適切である可能性があります。モデルに季節効果が疑われる場合があります。その場合は、モデルのARまたはMA部分の次数を増やすよりも、SARIMA（季節ARIMA）モデルを使用する方がよいと一般的に考えられています。^{[11]時系列が}長距離依存性 を示す疑いがある場合は、自己回帰分数積分移動平均モデル（分数ARIMA（FARIMAまたはARFIMA）モデルとも呼ばれる）でdパラメータに非整数値を許可することができます。 ${\displaystyle X_{t}}$

ARIMA モデルに適切なパラメータを見つけるために、 Box-Jenkinsパラメータ最適化などの方法論を適用するさまざまなパッケージが利用可能です。

• EViews : 広範な ARIMA および SARIMA 機能を備えています。
• Julia : TimeModelsパッケージにARIMA実装が含まれている^[12]
• Mathematica : ARIMAProcess 関数が含まれています。
• MATLAB : 計量経済学ツールボックスには、ARIMA モデルと ARIMA エラーを含む回帰分析が含まれています
• NCSS :ARIMAフィッティングと予測のためのいくつかの手順が含まれています。^{[13] [14] [15]}
• Python : 「statsmodels」パッケージには、時系列分析用のモデル（単変量時系列分析：AR、ARIMA（ベクトル自己回帰モデル）、VAR、構造VAR（時系列分析の記述統計およびプロセス モデル））が含まれています。
• R : 標準の R統計パッケージにはarima関数が含まれており、これは「ARIMA 時系列モデリング」で説明されています。⁠ ⁠${\displaystyle {\text{ARIMA}}(p,d,q)}$部分に加えて、関数には季節要因、切片項、外生変数 ( xreg 、「外部回帰変数」と呼ばれる) も含まれます。 astsa パッケージには、季節モデルまたは非季節モデルを推定するsarimaや、これらのモデルからシミュレーションするsarima.simなどのスクリプトがあります。 CRAN の Time Series タスク ビューは、さらに多くのリンクを含むリファレンスです。Rの「forecast」パッケージは、関数 [多くの場合、疑わしい結果をもたらす可能性があります][1]を使用して、指定された時系列の ARIMA モデルを自動的に選択でき、関数auto.arima()を使用して季節および非季節 ARIMA モデルをシミュレーションすることもできますsimulate.Arima()。^[16]
• Ruby : 「statsample-timeseries」gem は、ARIMA モデルやカルマン フィルタリングなどの時系列分析に使用されます。
• JavaScript : 「arima」パッケージには、時系列分析と予測のモデルが含まれています (ARIMA、SARIMA、SARIMAX、AutoARIMA)
• C : 「ctsa」パッケージには、ARIMA、SARIMA、SARIMAX、AutoARIMA、および時系列分析用の複数の方法が含まれています。
• 安全なツールボックス: ARIMA モデリングと ARIMA エラーを含む回帰分析が含まれます。
• SAS : 計量経済および時系列分析システムである SAS/ETS に広範な ARIMA 処理が含まれています。
• IBM SPSS : Statistics パッケージの Professional 版と Premium 版、および Modeler パッケージに ARIMA モデリングが含まれています。デフォルトの Expert Modeler 機能は、さまざまな季節および非季節の自己回帰 ( p )、積分 ( d )、移動平均 ( q ) 設定と 7 つの指数平滑化モデルを評価します。Expert Modeler は、対象の時系列データを平方根または自然対数に変換することもできます。Expert Modeler を ARIMA モデルに制限するか、Expert Modeler を使用せずに ARIMA の非季節および季節のp、d、q設定を手動で入力することもできます。自動外れ値検出は 7 種類の外れ値に対して使用でき、この機能を選択すると、検出された外れ値は時系列モデルに取り込まれます。
• SAP ： SAP ERPのAPO-FCSパッケージ^[17]では、Box-Jenkins法を使用してARIMAモデルの作成とフィッティングが可能です。
• SQL Server Analysis Services : Microsoftのデータ マイニング アルゴリズムとして ARIMA が含まれています。
• Stata 9 以降では、 Stataに ARIMA モデリング (arima コマンドを使用) が含まれています。
• StatSim: Forecast Web アプリに ARIMA モデルが含まれます。
• Teradata Vantage には、機械学習エンジンの一部として ARIMA 関数が搭載されています。
• TOL（時間指向言語）はARIMAモデル（SARIMA、ARIMAX、DSARIMAXのバリエーションを含む）をモデル化するために設計されています[2]。
• Scala : spark-timeseries ライブラリには、Scala、Java、Python 用の ARIMA 実装が含まれています。実装は、Apache Spark上で実行されるように設計されています。
• PostgreSQL /MadLib: 時系列分析/ARIMA。
• X-12-ARIMA :米国国勢調査局より

• 自己相関
• アルマ
• 部分自己相関
• 有限インパルス応答
• 無限インパルス応答

• Asteriou, Dimitros; Hall, Stephen G. (2011)。「ARIMA モデルと Box–Jenkins 法」。応用計量経済学(第 2 版)。Palgrave MacMillan。pp. 265–286。ISBN 978-0-230-27182-1。
• ミルズ、テレンス C. (1990)。経済学者のための時系列技術。ケンブリッジ大学出版局。ISBN 978-0-521-34339-8。
• パーシバル、ドナルド B.、ウォルデン、アンドリュー T. (1993)。物理応用のためのスペクトル解析。ケンブリッジ大学出版局。ISBN 978-0-521-35532-2。
• Shumway RH および Stoffer, DS (2017)。時系列分析とその応用: R の例付き。Springer。DOI: 10.1007/978-3-319-52452-8
• R の ARIMA モデル。R を使用して時系列データに ARIMA (自己回帰和分移動平均) モデルを適合するエキスパートになりましょう。

• 米国国勢調査局は「季節調整済み」データに ARIMA を使用しています (プログラム、ドキュメント、論文はこちら)
• ARIMA モデルに関する講義ノート (Robert Nau、デューク大学)