定数係数の線形回帰

数学(組合せ論、線型代数、および力学システムを含む)において、定数係数の線型再帰^{[1] : ch. 17  [2] : ch. 10} (線型再帰関係または線型差分方程式とも呼ばれる) は、変数のさまざまな反復、つまり、シーケンスの要素の値において線型である多項式を 0 に等しくします。多項式の線型性とは、各項の次数が0または 1 であることを意味します。線型再帰は、時間の経過に伴う何らかの変数の変化を表します。現在の期間または離散的な瞬間はt、1 つ前の期間はt − 1、1 つ後の期間はt + 1など と表されます。

このような方程式の解はtの関数であり、反復値の関数ではなく、任意の時点での反復の値を示します。解を求めるには、反復のnの特定の値 (初期条件と呼ばれる)を知る必要があり、通常、これらは最も古いn回の反復です。任意の初期条件セットから、時間が無限大になるにつれて変数の極限が存在する場合、方程式またはその変数は安定していると言われます。この極限は定常状態と呼ばれます。

差分方程式は、さまざまな状況で使用されます。たとえば、経済学では、国内総生産、インフレ率、為替レートなどの変数の時間的変化をモデル化します。差分方程式は、このような時系列のモデル化に使用されます。これらの変数の値は離散的な間隔でのみ測定されるためです。計量経済学のアプリケーションでは、線形差分方程式は、自己回帰 (AR) モデルの形式で確率項を使用してモデル化され、AR と他の機能を組み合わせたベクトル自己回帰(VAR) や自己回帰移動平均(ARMA) モデルなどのモデルでもモデル化されます。

定数係数の線形回帰は、パラメータa 1 _、 ...、a _n、およびbで表された次の形式の方程式です。

$${\displaystyle y_{t}=a_{1}y_{t-1}+\cdots +a_{n}y_{tn}+b,}$$

または同等に

$${\displaystyle y_{t+n}=a_{1}y_{t+n-1}+\cdots +a_{n}y_{t}+b.}$$

正の整数は再帰の次数と呼ばれ、反復間の最長の時間差を表します。 b = 0の場合、方程式は同次と呼ばれ、b ≠ 0の場合、方程式は非同次と呼ばれます。 ${\displaystyle n}$

方程式が同次である場合、係数は特性多項式（「補助多項式」または「伴多項式」とも呼ばれる） を決定する。

$${\displaystyle p(\lambda )=\lambda ^{n}-a_{1}\lambda ^{n-1}-a_{2}\lambda ^{n-2}-\cdots -a_{n}}$$

その根は、再帰を満たすシーケンスを見つけて理解する上で重要な役割を果たします。

b ≠ 0の場合、式

$${\displaystyle y_{t}=a_{1}y_{t-1}+\cdots +a_{n}y_{tn}+b}$$

は非同次方程式と言われます。この方程式を解くには、定数項のない同次形式に変換すると便利です。これは、まず方程式の定常値、つまりn回の連続反復がすべてこの値を持つ場合、将来のすべての値もこの値になるような値y * を見つけることによって行われます。この値は、差分方程式でyのすべての値をy *に等しく設定して解くことで見つけられ、次 の式が得られます。

$${\displaystyle y^{*}={\frac {b}{1-a_{1}-\cdots -a_{n}}}}$$

分母が 0 ではないと仮定します。分母が 0 の場合、定常状態は存在しません。

定常状態が与えられれば、差分方程式は定常状態からの反復の偏差で書き直すことができる。

$${\displaystyle \left(y_{t}-y^{*}\right)=a_{1}\left(y_{t-1}-y^{*}\right)+\cdots +a_{n}\left(y_{tn}-y^{*}\right)}$$

定数項は存在せず、より簡潔に次のように書くことができる。

$${\displaystyle x_{t}=a_{1}x_{t-1}+\cdots +a_{n}x_{tn}}$$

ここでx はy − y *に等しい。これが同次形式である。

定常状態が存在しない場合は、差分方程式

$${\displaystyle y_{t}=a_{1}y_{t-1}+\cdots +a_{n}y_{tn}+b}$$

同義語と組み合わせることができる

$${\displaystyle y_{t-1}=a_{1}y_{t-2}+\cdots +a_{n}y_{t-(n+1)}+b}$$

（両方をbについて解くことによって）

$${\displaystyle y_{t}-a_{1}y_{t-1}-\cdots -a_{n}y_{tn}=y_{t-1}-a_{1}y_{t-2}-\cdots -a_{n}y_{t-(n+1)}}$$

同類項を組み合わせることで、元の方程式より 1 次高い同次方程式が得られます。

特性多項式の根は、再帰式を満たす数列を見つけて理解する上で重要な役割を果たします。異なる根がある場合 、再帰式の各解は の形を取ります。ここで、係数は再帰式の初期条件に適合するように決定されます。同じ根が複数回出現する場合、この式で同じ根の 2 回目以降の出現に対応する項は、 の累乗で乗算されます。たとえば、特性多項式を として因数分解でき、同じ根が3 回出現する場合、解は^{[3] の}形になります 。${\displaystyle d}$${\displaystyle r_{1},r_{2},\ldots ,r_{d},}$$${\displaystyle a_{n}=k_{1}r_{1}^{n}+k_{2}r_{2}^{n}+\cdots +k_{d}r_{d}^{n},}$$${\displaystyle k_{i}}$${\displaystyle n}$${\displaystyle (xr)^{3}}$${\displaystyle r}$$${\displaystyle a_{n}=k_{1}r^{n}+k_{2}nr^{n}+k_{3}n^{2}r^{n}.}$$

次数 1 の場合、再帰式は で 解を持ち、最も一般的な解は で解かれます。特性多項式を 0 と等しくすると (特性方程式)、単に となります。 $${\displaystyle a_{n}=ra_{n-1}}$$${\displaystyle a_{n}=r^{n}}$${\displaystyle a_{0}=1}$${\displaystyle a_{n}=kr^{n}}$${\displaystyle a_{0}=k}$${\displaystyle t-r=0}$

このような高次の再帰関係の解は、多くの場合、が特性多項式の根であるときに が再帰の解であるという事実を利用して、体系的な方法で見つけられます。これには、直接アプローチすることも、生成関数(形式的なべき級数) または行列を使用してアプローチすることもできます。 ${\displaystyle a_{n}=r^{n}}$${\displaystyle t=r}$

例えば、次のような再帰関係を考える。 $${\displaystyle a_{n}=Aa_{n-1}+Ba_{n-2}.}$$

が と同じ一般形の解を持つのはどのような場合でしょうか? この推測 ( ansatz ) を再帰関係に代入すると、 すべての に対して が真であることがわかります。 ${\displaystyle a_{n}=r^{n}}$$${\displaystyle r^{n}=Ar^{n-1}+Br^{n-2}}$$ ${\displaystyle n>1}$

を で割ると、これらすべての方程式は同じものになります。 ${\displaystyle r^{n-2}}$

$${\displaystyle {\begin{aligned}r^{2}&=Ar+B,\\r^{2}-Ar-B&=0,\end{aligned}}}$$

これは再帰関係の特性方程式です。を解くと、2つの根 、 が得られます。これらの根は特性方程式の特性根または固有値として知られています。根の性質に応じて異なる解が得られます。これらの根が異なる場合、一般解が得られます。 ${\displaystyle r}$${\displaystyle \lambda _{1}}$${\displaystyle \lambda _{2}}$

$${\displaystyle a_{n}=C\lambda _{1}^{n}+D\lambda _{2}^{n}}$$

一方、それらが同一である場合（のとき）、 ${\displaystyle A^{2}+4B=0}$

$${\displaystyle a_{n}=C\lambda ^{n}+Dn\lambda ^{n}}$$

これは最も一般的なソリューションです。2 つの定数とを、与えられた 2 つの初期条件とに基づいて選択して、特定のソリューションを生成することができます。 ${\displaystyle C}$${\displaystyle D}$${\displaystyle a_{0}}$${\displaystyle a_{1}}$

複素固有値（解パラメータおよびにも複素数値が生じる）の場合、解を三角関数形式で書き直すことで複素数の使用を省くことができる。この場合、固有値は次のように書ける。すると、次の式が示される。 ${\displaystyle C}$${\displaystyle D}$${\displaystyle \lambda _{1},\lambda _{2}=\alpha \pm \beta i.}$

$${\displaystyle a_{n}=C\lambda _{1}^{n}+D\lambda _{2}^{n}}$$

は次のように書き直すことができる^{[4] :576–585}

$${\displaystyle a_{n}=2M^{n}\left(E\cos(\theta n)+F\sin(\theta n)\right)=2GM^{n}\cos(\theta n-\delta ),}$$

どこ

$${\displaystyle {\begin{array}{lcl}M={\sqrt {\alpha ^{2}+\beta ^{2}}}&\cos(\theta )={\tfrac {\alpha }{M}}&\sin(\theta )={\tfrac {\beta }{M}}\\C,D=E\mp Fi&&\\G={\sqrt {E^{2}+F^{2}}}&\cos(\delta )={\tfrac {E}{G}}&\sin(\delta )={\tfrac {F}{G}}\end{array}}}$$

ここで、および（または同等に、および）は初期条件に依存する実定数である。 ${\displaystyle E}$${\displaystyle F}$${\displaystyle G}$${\displaystyle \delta }$$${\displaystyle \lambda _{1}+\lambda _{2}=2\alpha =A,}$$ $${\displaystyle \lambda _{1}\cdot \lambda _{2}=\alpha ^{2}+\beta ^{2}=-B,}$$

上記の解決策を次のように簡略化することができる。

$${\displaystyle a_{n}=(-B)^{\frac {n}{2}}\left(E\cos(\theta n)+F\sin(\theta n)\right),}$$

ここで、およびは初期条件であり、 ${\displaystyle a_{1}}$${\displaystyle a_{2}}$

$${\displaystyle {\begin{aligned}E&={\frac {-Aa_{1}+a_{2}}{B}}\\F&=-i{\frac {A^{2}a_{1}-Aa_{2}+2a_{1}B}{B{\sqrt {A^{2}+4B}}}}\\\theta &=\arccos \left({\frac {A}{2{\sqrt {-B}}}}\right)\end{aligned}}}$$

この方法では、と を解く必要はありません。 ${\displaystyle \lambda _{1}}$${\displaystyle \lambda _{2}}$

実数の異なる固有値、実数の重複した固有値、複素共役固有値のいずれの場合も、方程式は安定しています（つまり、変数は固定値（具体的にはゼロ）に収束します）。ただし、両方の固有値の絶対値は 1 より小さい必要があります。この 2 次ケースでは、この固有値条件はと同等であることが示され^[5] 、これは およびと同等です。 ${\displaystyle a}$${\displaystyle |A|<1-B<2}$${\displaystyle |B|<1}$${\displaystyle |A|<1-B}$

同次方程式を解く

$${\displaystyle x_{t}=a_{1}x_{t-1}+\cdots +a_{n}x_{t-n}}$$

まずその特性多項式を解く必要がある

$${\displaystyle \lambda ^{n}=a_{1}\lambda ^{n-1}+\cdots +a_{n-2}\lambda ^{2}+a_{n-1}\lambda +a_{n}}$$

特性根λ ₁ , ..., λ _nについてです。これらの根は、n ≤ 4であれば代数的に解くことができますが、それ以外の場合は必ずしも解くことができません。解を数値的に使用する場合は、この特性方程式のすべての根を数値法で求めることができます。ただし、理論的な文脈で使用する場合、根について必要な情報は、根の絶対値が 1 以上であるかどうかだけである可能性があります。

すべての根が実数である場合もあれば、複素数である場合もあります。後者の場合、すべての複素根は複素共役ペアになります。

すべての特性根が異なっている場合、同次線形回帰方程式の解は

$${\displaystyle x_{t}=a_{1}x_{t-1}+\cdots +a_{n}x_{t-n}}$$

特性根を使って次のように書くことができる。

$${\displaystyle x_{t}=c_{1}\lambda _{1}^{t}+\cdots +c_{n}\lambda _{n}^{t}}$$

ここで、係数c _{i は}初期条件を呼び出すことによって見つけることができます。具体的には、反復値がわかっている各期間について、この値とそれに対応するtの値を解方程式に代入して、 n個のまだわかっていないパラメータの線形方程式を得ることができます。各初期条件ごとに 1 つずつ、n個のこのような方程式をn 個のパラメータ値に対して同時に解くことができます。すべての特性根が実数である場合、すべての係数値c _iも実数になります。ただし、非実数の複素根の場合、一般にこれらの係数の一部も非実数になります。

複素根がある場合、それらは共役対で表され、解の方程式の複素項も同様に共役対で表されます。これらの複素項のうち2つがc _j λである場合、^tj
_さんそしてc _{j +1} λ^tj _+1
...λ _jの根は次のように書ける 。

$${\displaystyle \lambda _{j},\lambda _{j+1}=\alpha \pm \beta i=M\left({\frac {\alpha }{M}}\pm {\frac {\beta }{M}}i\right)}$$

ここで、iは虚数単位、M は根の 係数です。

$${\displaystyle M={\sqrt {\alpha ^{2}+\beta ^{2}}}.}$$

すると、解の方程式の2つの複素項は次のように表される。

$${\displaystyle {\begin{aligned}c_{j}\lambda _{j}^{t}+c_{j+1}\lambda _{j+1}^{t}&=M^{t}\left(c_{j}\left({\frac {\alpha }{M}}+{\frac {\beta }{M}}i\right)^{t}+c_{j+1}\left({\frac {\alpha }{M}}-{\frac {\beta }{M}}i\right)^{t}\right)\\[6pt]&=M^{t}\left(c_{j}\left(\cos \theta +i\sin \theta \right)^{t}+c_{j+1}\left(\cos \theta -i\sin \theta \right)^{t}\right)\\[6pt]&=M^{t}{\bigl (}c_{j}\left(\cos \theta t+i\sin \theta t\right)+c_{j+1}\left(\cos \theta t-i\sin \theta t\right){\bigr )}\end{aligned}}}$$

ここでθは、その余弦が⁠α/ま⁠そしてその正弦は⁠β/ま⁠ ; ここでの最後の等式はド・モアブルの公式を利用しました。

ここで、係数c _jとc _{j +1 を}求めるプロセスにより、これらも複素共役であることが保証され、γ ± δiと表記できます。これを最後の式で使用すると、解方程式の 2 つの複素項を表す次の式が得られます。

$${\displaystyle 2M^{t}\left(\gamma \cos \theta t-\delta \sin \theta t\right)}$$

これは次のようにも書ける。

$${\displaystyle 2{\sqrt {\gamma ^{2}+\delta ^{2}}}M^{t}\cos(\theta t+\psi )}$$

ここでψは、コサインが⁠である角度である。γ/√γ2 + δ2​^​​⁠そしてその正弦は⁠δ/√γ2 + δ2​^​​⁠ .

初期条件によっては、すべての根が実数であっても、反復は定常値より上または下に行く一時的な傾向を経験することがあります。しかし、真の周期性には変動する永続的な傾向が伴い、これは複素共役特性根のペアが少なくとも 1 つある場合に発生します。これは、cos  θtとsin  θt を含む解方程式への寄与の三角関数形式で確認できます。

2次の場合、2つの根が同一（λ ₁ = λ ₂ ）であれば、両方ともλと表記され、解は次の形式になる。

$${\displaystyle x_{t}=c_{1}\lambda ^{t}+c_{2}t\lambda ^{t}.}$$

別の解法としては、 n次差分方程式を 1 次行列差分方程式に変換する方法があります。これは、w _{1, t} = y _t、w _{2, t} = y _{t −1} = w _{1, t −1}、w _{3, t} = y _{t −2} = w _{2, t −1}などと書くことで実現されます。すると、元の単一のn次方程式

$${\displaystyle y_{t}=a_{1}y_{t-1}+a_{2}y_{t-2}+\cdots +a_{n}y_{t-n}+b}$$

は次のn個の1次方程式 に置き換えることができます。

$${\displaystyle {\begin{aligned}w_{1,t}&=a_{1}w_{1,t-1}+a_{2}w_{2,t-1}+\cdots +a_{n}w_{n,t-1}+b\\w_{2,t}&=w_{1,t-1}\\&\,\,\,\vdots \\w_{n,t}&=w_{n-1,t-1}.\end{aligned}}}$$

ベクトルw _{i を}次のように 定義する。

$${\displaystyle \mathbf {w} _{i}={\begin{bmatrix}w_{1,i}\\w_{2,i}\\\vdots \\w_{n,i}\end{bmatrix}}}$$

これを行列形式で表すと、

$${\displaystyle \mathbf {w} _{t}=\mathbf {A} \mathbf {w} _{t-1}+\mathbf {b} }$$

ここで、Aはn  ×  n行列で、最初の行には 1、...、n が含まれ、他の_{すべての行}には 1 が 1 つ含まれ、他のすべての要素は 0 です。また、b は最初の要素がbで残りの要素が 0 である 列ベクトルです。

この行列方程式は、記事「行列差分方程式」の方法を使用して解くことができます。同次ケースでは、y _{i は}下三角行列のパラパーマネントです^[6]

再発

$${\displaystyle y_{t}=a_{1}y_{t-1}+\cdots +a_{n}y_{t-n}+b,}$$

は生成関数の理論を使って解くことができます。まず、 と書きます。すると、再帰式は次の生成関数方程式と等しくなります。 ${\textstyle Y(x)=\sum _{t\geq 0}y_{t}x^{t}}$

$${\displaystyle Y(x)=a_{1}xY(x)+a_{2}x^{2}Y(x)+\cdots +a_{n}x^{n}Y(x)+{\frac {b}{1-x}}+p(x)}$$

ここで、は最初の項を補正した最大次数の多項式である。この方程式から解くと、 ${\displaystyle p(x)}$${\displaystyle n-1}$

$${\displaystyle Y(x)=\left({\frac {b}{1-x}}+p(x)\right)\cdot {\frac {1}{1-a_{1}x-a_{2}x^{2}-\cdots -a_{n}x^{n}}}.}$$

言い換えれば、正確な係数を気にせず、有理関数として表現できる。${\displaystyle Y(x)}$ ${\displaystyle Y(x)={\frac {f(x)}{g(x)}}.}$

閉じた形は部分分数分解によって導出できる。具体的には、生成関数が次のように書かれる場合、 $${\displaystyle {\frac {f(x)}{g(x)}}=\sum _{i}{\frac {f_{i}(x)}{(x-r_{i})^{m_{i}}}}}$$

すると、多項式によって補正の初期セットが決定され、分母によって指数項が決定され、次数と分子によって多項式の係数が決定されます。 ${\displaystyle p(x)}$${\displaystyle z(n)}$${\displaystyle (x-r_{i})^{m}}$${\displaystyle r_{i}^{n}}$${\displaystyle m}$${\displaystyle f_{i}(x)}$${\displaystyle k_{i}(n)}$

線形微分方程式を解く方法は上記の方法と似ています。定数係数を持つ線形微分方程式の「インテリジェントな推測」（ ansatz ）は、推測を微分方程式に代入することによって決定される複素数です 。${\displaystyle e^{\lambda x}}$${\displaystyle \lambda }$

これは偶然ではありません。線形微分方程式の解の テイラー級数を考えると、

$${\displaystyle \sum _{n=0}^{\infty }{\frac {f^{(n)}(a)}{n!}}(x-a)^{n}}$$

級数の係数は、点 におけるの - 次導関数によって与えられることがわかります。微分方程式は、これらの係数を関連付ける線形差分方程式を提供します。 ${\displaystyle n}$${\displaystyle f(x)}$${\displaystyle a}$

この同値性は、線形微分方程式のべき級数解における係数の再帰関係を素早く解くために使用できます。

経験則（最初の項を乗じる多項式がゼロでゼロでない方程式の場合）は次のとおりです。

$${\displaystyle y^{[k]}\to f[n+k]}$$ そしてより一般的には $${\displaystyle x^{m}*y^{[k]}\to n(n-1)...(n-m+1)f[n+k-m]}$$

例:方程式のテイラー級数係数の再帰関係:

$${\displaystyle (x^{2}+3x-4)y^{[3]}-(3x+1)y^{[2]}+2y=0}$$

は次のように与えられる。

$${\displaystyle n(n-1)f[n+1]+3nf[n+2]-4f[n+3]-3nf[n+1]-f[n+2]+2f[n]=0}$$

または

$${\displaystyle -4f[n+3]+2nf[n+2]+n(n-4)f[n+1]+2f[n]=0.}$$

この例では、通常の微分方程式の授業で教えられるべき級数解法を使用して一般的に解決される問題が、はるかに簡単な方法で解決できることを示しています。

例:微分方程式

$${\displaystyle ay''+by'+cy=0}$$

解決策がある

$${\displaystyle y=e^{ax}.}$$

微分方程式をテイラー係数の差分方程式に変換すると、

$${\displaystyle af[n+2]+bf[n+1]+cf[n]=0.}$$

で評価されたの - 次導関数がであることが簡単にわかります。 ${\displaystyle n}$${\displaystyle e^{ax}}$${\displaystyle 0}$${\displaystyle a^{n}}$

特定の差分方程式、特に線形定数係数差分方程式は、z 変換を使用して解くことができます。z変換は、より便利な代数操作とより簡単な解につながる積分変換の一種です。直接的な解を得ることがほとんど不可能な場合もありますが、慎重に選択された積分変換を介して問題を解決することは簡単です。

解の方程式では

$${\displaystyle x_{t}=c_{1}\lambda _{1}^{t}+\cdots +c_{n}\lambda _{n}^{t},}$$

実数の特性根を持つ項は、特性根の絶対値が 1 未満であれば、t が無限に大きくなるにつれて 0 に収束します。絶対値が 1 の場合、根が +1 であればt が大きくなっても項は一定のままですが、根が -1 であれば 2 つの値の間で変動します。根の絶対値が 1 より大きい場合、項は時間の経過とともにどんどん大きくなります。複素共役の特性根を持つ項のペアは、根の絶対値Mが1 未満であれば、減衰変動を伴って 0 に収束します。絶対値が 1 に等しい場合は、結合された項で一定振幅の変動が持続します。絶対値が 1 より大きい場合は、結合された項で、ますます大きくなる変動が見られます。

したがって、すべての特性根の大きさが 1 未満の場合、 進化変数x は0 に収束します。

最大の根の絶対値が 1 の場合、0 への収束も無限大への発散も発生しません。大きさが 1 である根がすべて実数で正の場合、x は定数項c _iの合計に収束します。安定した場合とは異なり、この収束値は初期条件に依存します。異なる開始点は、長期的には異なる点につながります。いずれかの根が -1 の場合、その項は 2 つの値の間で永続的な変動をもたらします。単位大きさの根のいずれかが複素数である場合、xの一定振幅の変動が持続します。

最後に、特性根のいずれかの大きさが 1 より大きい場合、時間が無限大に近づくにつれて x は無限大に発散するか、またはますます大きくなる正の値と負の値の間で変動します。

イッサイ・シュアの定理によれば、すべての根の大きさは1未満（安定な場合）であるためには、特定の行列式の列がすべて正である必要がある。^{[2] : 247}

非同次線形差分方程式が上記のように解析された同次形式に変換された場合、元の非同次方程式の安定性と周期性の特性は、導出された同次形式のものと同じになり、安定したケースでは 0 ではなく 定常値y *に収束します。

• 再帰関係
• 線形微分方程式
• スコレム・マーラー・レヒの定理
• スコーレム問題