ラジアル基底関数ネットワーク

数学的モデリングの分野において、ラジアル基底関数ネットワークは、ラジアル基底関数を活性化関数として使用する人工ニューラルネットワークです。ネットワークの出力は、入力とニューロンパラメータのラジアル基底関数の線形結合です。ラジアル基底関数ネットワークには、関数近似、時系列予測、分類、システム制御など、多くの用途があります。これらは、1988年の論文で、英国王立信号レーダー研究所の研究者であるブルームヘッドとロウによって初めて定式化されました。^{[1] [2] [3]}

ラジアル基底関数（RBF）ネットワークは、通常、入力層、非線形RBF活性化関数を持つ隠れ層、線形出力層の3つの層から構成されます。入力は実数のベクトルとしてモデル化できます。ネットワークの出力は、入力ベクトルのスカラー関数であり、次のように表されます。 ${\displaystyle \mathbf {x} \in \mathbb {R} ^{n}}$${\displaystyle \varphi :\mathbb {R} ^{n}\to \mathbb {R} }$

${\displaystyle \varphi (\mathbf {x} )=\sum _{i=1}^{N}a_{i}\rho (||\mathbf {x} -\mathbf {c} _{i}| |)}$

ここで、は隠れ層のニューロンの数、はニューロン の中心ベクトル、 は線形出​​力ニューロンにおけるニューロン の重みです。中心ベクトルからの距離のみに依存する関数は、そのベクトルを中心に放射状に対称であるため、放射基底関数と呼ばれます。基本形式では、すべての入力が各隠れニューロンに接続されています。ノルムは通常、ユークリッド距離と見なされます（ただし、パターン認識ではマハラノビス距離の方が優れているようです^{[4] [5] [編集] ）。放射基底関数は、一般的に}ガウスと見なされます。${\displaystyle N}$${\displaystyle \mathbf {c} _{i}}$${\displaystyle i}$${\displaystyle a_{i}}$${\displaystyle i}$

${\displaystyle \rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}=\exp \left[-\beta _{i}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert ^{2}\right]}$。

ガウス基底関数は中心ベクトルに対して局所的であり、

${\displaystyle \lim _{||x||\to \infty }\rho (\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert )=0}$

つまり、1 つのニューロンのパラメータを変更しても、そのニューロンの中心から遠く離れた入力値にはわずかな影響しか及ぼしません。

活性化関数の形状に一定の緩やかな条件が与えられれば、RBFネットワークはコンパクトなサブセット上の普遍的な近似器となる。 [ 6 ]これ^は、十分な数の隠れニューロンを持つRBFネットワークが、閉じた境界付きセット上の任意の連続関数を任意の精度で近似できることを意味する。 ${\displaystyle \mathbb {R} ^{n}}$

パラメータ、、は、とデータ 間の適合を最適化する方法で決定されます。${\displaystyle a_{i}}$${\displaystyle \mathbf {c} _{i}}$${\displaystyle \beta_{i}}$${\displaystyle \varphi}$

上記の非正規化アーキテクチャに加えて、RBFネットワークは正規化することができる。この場合、マッピングは

${\displaystyle \varphi (\mathbf {x} )\ {\stackrel {\mathrm {def} }{=}}\ {\frac {\sum _{i=1}^{N}a_{i}\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}{\sum _{i=1}^{N}\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}=\sum _{i=1}^{N}a_{i}u{\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}$

どこ

${\displaystyle u{\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}\ {\stackrel {\mathrm {def} }{=}}\ {\frac {\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}{\sum _{j=1}^{N}\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{j}\right\Vert {\big )}}}}$

は正規化されたラジアル基底関数として知られています。

確率的データフローの場合、このアーキテクチャには理論的根拠がある。結合確率密度に対する 確率的カーネル近似を仮定する。

${\displaystyle P\left(\mathbf {x} \land y\right)={1 \over N}\sum _{i=1}^{N}\,\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}\,\sigma {\big (}\left\vert y-e_{i}\right\vert {\big )}}$

ここで重み と値はデータからのサンプルであり、カーネルは正規化される必要がある。 ${\displaystyle \mathbf {c} _{i}}$${\displaystyle e_{i}}$

${\displaystyle \int \rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}\,d^{n}\mathbf {x} =1}$

そして

${\displaystyle \int \sigma {\big (}\left\vert y-e_{i}\right\vert {\big )}\,dy=1}$。

入力空間と出力空間の確率密度は

${\displaystyle P\left(\mathbf {x} \right)=\int P\left(\mathbf {x} \land y\right)\,dy={1 \over N}\sum _{i=1}^{N}\,\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}$

そして

入力されたyの期待値は ${\displaystyle \mathbf {x} }$

${\displaystyle \varphi \left(\mathbf {x} \right)\ {\stackrel {\mathrm {def} }{=}}\ E\left(y\mid \mathbf {x} \right)=\int y\,P\left(y\mid \mathbf {x} \right)dy}$

どこ

${\displaystyle P\left(y\mid \mathbf {x} \right)}$

は、与えられたyの条件付き確率である。条件付き確率は、ベイズの定理を通じて結合確率と関連している。${\displaystyle \mathbf {x} }$

${\displaystyle P\left(y\mid \mathbf {x} \right)={\frac {P\left(\mathbf {x} \land y\right)}{P\left(\mathbf {x} \右）}}}$

その結果

${\displaystyle \varphi \left(\mathbf {x} \right)=\int y\,{\frac {P\left(\mathbf {x} \land y\right)}{P\left(\mathbf { x} \右)}}\,dy}$。

これは

${\displaystyle \varphi \left(\mathbf {x} \right)={\frac {\sum _{i=1}^{N}e_{i}\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}{\sum _{i=1}^{N}\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}}=\sum _{i=1}^{N}e_{i}u{\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}$

統合が実行される場合。

アーキテクチャを拡張して局所線形モデルを含めると便利な場合があります。その場合、アーキテクチャは第一に、

${\displaystyle \varphi \left(\mathbf {x} \right)=\sum _{i=1}^{N}\left(a_{i}+\mathbf {b} _{i}\cdot \left(\mathbf {x} -\mathbf {c} _{i}\right)\right)\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}$

そして

${\displaystyle \varphi \left(\mathbf {x} \right)=\sum _{i=1}^{N}\left(a_{i}+\mathbf {b} _{i}\cdot \left(\mathbf {x} -\mathbf {c} _{i}\right)\right)u{\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}$

それぞれ正規化されていないケースと正規化されたケースです。ここで決定する重みがあります。高次の線形項も可能です。 ${\displaystyle \mathbf {b} _{i}}$

この結果は次のように記述できる。

${\displaystyle \varphi \left(\mathbf {x} \right)=\sum _{i=1}^{2N}\sum _{j=1}^{n}e_{ij}v_{ij}{\big (}\mathbf {x} -\mathbf {c} _{i}{\big )}}$

どこ

${\displaystyle e_{ij}={\begin{cases}a_{i},&{\mbox{if }}i\in [1,N]\\b_{ij},&{\mbox{if }}i\in [N+1,2N]\end{cases}}}$

そして

${\displaystyle v_{ij}{\big (}\mathbf {x} -\mathbf {c} _{i}{\big )}\ {\stackrel {\mathrm {def} }{=}}\ {\begin{cases}\delta _{ij}\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )},&{\mbox{if }}i\in [1,N]\\\left(x_{ij}-c_{ij}\right)\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )},&{\mbox{if }}i\in [N+1,2N]\end{cases}}}$

正規化されていない場合

${\displaystyle v_{ij}{\big (}\mathbf {x} -\mathbf {c} _{i}{\big )}\ {\stackrel {\mathrm {def} }{=}}\ {\begin{cases}\delta _{ij}u{\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )},&{\mbox{if }}i\in [1,N]\\\left(x_{ij}-c_{ij}\right)u{\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )},&{\mbox{if }}i\in [N+1,2N]\end{cases}}}$

正規化されたケースでは。

クロネッカーのデルタ関数は次のように定義される 。${\displaystyle \delta _{ij}}$

${\displaystyle \delta _{ij}={\begin{cases}1,&{\mbox{if }}i=j\\0,&{\mbox{if }}i\neq j\end{cases}}}$。

RBF ネットワークは通常、2 段階のアルゴリズムによって入力値とターゲット値のペアからトレーニングされます。 ${\displaystyle \mathbf {x} (t),y(t)}$${\displaystyle t=1,\dots ,T}$

最初のステップでは、隠れ層の RBF 関数の中心ベクトルが選択されます。このステップはいくつかの方法で実行できます。中心は、いくつかの例のセットからランダムにサンプリングすることも、 k 平均法クラスタリングを使用して決定することもできます。このステップは教師なしであることに注意してください。 ${\displaystyle \mathbf {c} _{i}}$

2 番目のステップでは、ある目的関数に関して、隠れ層の出力に 係数を持つ線形モデルを単純に当てはめます。少なくとも回帰/関数推定の場合、一般的な目的関数は最小二乗関数です。${\displaystyle w_{i}}$

${\displaystyle K(\mathbf {w} )\ {\stackrel {\mathrm {def} }{=}}\ \sum _{t=1}^{T}K_{t}(\mathbf {w} )}$

どこ

${\displaystyle K_{t}(\mathbf {w} )\ {\stackrel {\mathrm {def} }{=}}\ {\big [}y(t)-\varphi {\big (}\mathbf {x} (t),\mathbf {w} {\big )}{\big ]}^{2}}$。

重みへの依存性を明示的に含めました。重みの最適な選択による最小二乗目的関数の最小化により、適合の精度が最適化されます。

滑らかさや精度など、複数の目的を最適化しなければならない場合があります。その場合、次のような正規化された目的関数を最適化すると便利です。

${\displaystyle H(\mathbf {w} )\ {\stackrel {\mathrm {def} }{=}}\ K(\mathbf {w} )+\lambda S(\mathbf {w} )\ {\stackrel {\mathrm {def} }{=}}\ \sum _{t=1}^{T}H_{t}(\mathbf {w} )}$

どこ

${\displaystyle S(\mathbf {w} )\ {\stackrel {\mathrm {def} }{=}}\ \sum _{t=1}^{T}S_{t}(\mathbf {w} )}$

そして

${\displaystyle H_{t}(\mathbf {w} )\ {\stackrel {\mathrm {def} }{=}}\ K_{t}(\mathbf {w} )+\lambda S_{t}(\mathbf {w} )}$

ここで、S の最適化は滑らかさを最大化し、正則化パラメータとして知られています。 ${\displaystyle \lambda }$

3番目のオプションのバックプロパゲーションステップを実行して、RBFネットのすべてのパラメータを微調整することができます。^[3]

RBFネットワークは、関数の値が有限個の点上で分かっている場合に関数を補間するために使用できます。既知の点をラジアル基底関数の中心とし、同じ点における基底関数の値を評価すると、重みは次の式から解くことができます。 ${\displaystyle y:\mathbb {R} ^{n}\to \mathbb {R} }$${\displaystyle y(\mathbf {x} _{i})=b_{i},i=1,\ldots ,N}$${\displaystyle \mathbf {x} _{i}}$${\displaystyle g_{ij}=\rho (||\mathbf {x} _{j}-\mathbf {x} _{i}||)}$

${\displaystyle \left[{\begin{matrix}g_{11}&g_{12}&\cdots &g_{1N}\\g_{21}&g_{22}&\cdots &g_{2N}\\\vdots &&\ddots &\vdots \\g_{N1}&g_{N2}&\cdots &g_{NN}\end{matrix}}\right]\left[{\begin{matrix}w_{1}\\w_{2}\\\vdots \\w_{N}\end{matrix}}\right]=\left[{\begin{matrix}b_{1}\\b_{2}\\\vdots \\b_{N}\end{matrix}}\right]}$

上記の式の補間行列は、点が別個であれば特異行列ではないことが示され、重みは単純な線形代数によって解くことができます。 ${\displaystyle \mathbf {x} _{i}}$${\displaystyle w}$

${\displaystyle \mathbf {w} =\mathbf {G} ^{-1}\mathbf {b} }$

どこ。 ${\displaystyle G=(g_{ij})}$

目的が厳密な補間ではなく、より一般的な関数近似または分類を実行することである場合、中心の明確な選択肢がないため、最適化はやや複雑になります。トレーニングは通常、幅と中心を最初に固定し、次に重みを固定する 2 つのフェーズで実行されます。これは、非線形隠しニューロンと線形出力ニューロンの異なる性質を考慮することで正当化できます。

基底関数の中心は、入力インスタンスからランダムにサンプリングするか、直交最小二乗学習アルゴリズムによって取得するか、サンプルをクラスタリングしてクラスタ平均を中心として選択することによって見つけることができます。

RBF の幅は通常、選択された中心間の最大距離に比例する同じ値に固定されます。

中心が固定された後、出力での誤差を最小化する重みは、線形擬似逆解を使用して計算できます。 ${\displaystyle c_{i}}$

${\displaystyle \mathbf {w} =\mathbf {G} ^{+}\mathbf {b} }$、

ここで、 Gの要素は、次 の点で評価されたラジアル基底関数の値です。${\displaystyle x_{i}}$${\displaystyle g_{ji}=\rho (||x_{j}-c_{i}||)}$

この線形解の存在は、多層パーセプトロン (MLP) ネットワークとは異なり、RBF ネットワークには明示的な最小化機能 (中心が固定されている場合) があることを意味します。

もう一つの可能​​なトレーニングアルゴリズムは、勾配降下法です。勾配降下法トレーニングでは、重みは各時間ステップで目的関数の勾配と反対方向に移動することで調整されます（これにより、目的関数の最小値を見つけることができるようになります）。

${\displaystyle \mathbf {w} (t+1)=\mathbf {w} (t)-\nu {\frac {d}{d\mathbf {w} }}H_{t}(\mathbf {w} )}$

ここで「学習パラメータ」です。 ${\displaystyle \nu }$

線形重みを訓練する場合、アルゴリズムは次のようになる。 ${\displaystyle a_{i}}$

${\displaystyle a_{i}(t+1)=a_{i}(t)+\nu {\big [}y(t)-\varphi {\big (}\mathbf {x} (t),\mathbf {w} {\big )}{\big ]}\rho {\big (}\left\Vert \mathbf {x} (t)-\mathbf {c} _{i}\right\Vert {\big )}}$

正規化されていない場合

${\displaystyle a_{i}(t+1)=a_{i}(t)+\nu {\big [}y(t)-\varphi {\big (}\mathbf {x} (t),\mathbf {w} {\big )}{\big ]}u{\big (}\left\Vert \mathbf {x} (t)-\mathbf {c} _{i}\right\Vert {\big )}}$

正規化されたケースでは。

局所線形アーキテクチャの場合、勾配降下法によるトレーニングは

${\displaystyle e_{ij}(t+1)=e_{ij}(t)+\nu {\big [}y(t)-\varphi {\big (}\mathbf {x} (t),\mathbf {w} {\big )}{\big ]}v_{ij}{\big (}\mathbf {x} (t)-\mathbf {c} _{i}{\big )}}$

線形重みとを訓練する場合、アルゴリズムは次のようになる。 ${\displaystyle a_{i}}$${\displaystyle e_{ij}}$

${\displaystyle a_{i}(t+1)=a_{i}(t)+\nu {\big [}y(t)-\varphi {\big (}\mathbf {x} (t),\mathbf {w} {\big )}{\big ]}{\frac {\rho {\big (}\left\Vert \mathbf {x} (t)-\mathbf {c} _{i}\right\Vert {\big )}}{\sum _{i=1}^{N}\rho ^{2}{\big (}\left\Vert \mathbf {x} (t)-\mathbf {c} _{i}\right\Vert {\big )}}}}$

正規化されていない場合

${\displaystyle a_{i}(t+1)=a_{i}(t)+\nu {\big [}y(t)-\varphi {\big (}\mathbf {x} (t),\mathbf {w} {\big )}{\big ]}{\frac {u{\big (}\left\Vert \mathbf {x} (t)-\mathbf {c} _{i}\right\Vert {\big )}}{\sum _{i=1}^{N}u^{2}{\big (}\left\Vert \mathbf {x} (t)-\mathbf {c} _{i}\right\Vert {\big )}}}}$

正規化されたケースでは

${\displaystyle e_{ij}(t+1)=e_{ij}(t)+\nu {\big [}y(t)-\varphi {\big (}\mathbf {x} (t),\mathbf {w} {\big )}{\big ]}{\frac {v_{ij}{\big (}\mathbf {x} (t)-\mathbf {c} _{i}{\big )}}{\sum _{i=1}^{N}\sum _{j=1}^{n}v_{ij}^{2}{\big (}\mathbf {x} (t)-\mathbf {c} _{i}{\big )}}}}$

局所線形の場合。

1つの基底関数に対して、射影演算子の訓練はニュートン法に簡約されます。

ラジアル基底関数の基本的な特性は、単位区間をそれ自体に写像するロジスティック写像という単純な数学的写像で説明できる。これは、便利なプロトタイプデータストリームを生成するために使用できる。ロジスティック写像は、関数近似、時系列予測、および制御理論の検討に使用できる。この写像は人口動態の分野から生まれ、カオス時系列のプロトタイプとなった。完全なカオス状態では、この写像は次のように表される。

${\displaystyle x(t+1)\ {\stackrel {\mathrm {def} }{=}}\ f\left[x(t)\right]=4x(t)\left[1-x(t)\right]}$

ここで、t は時間インデックスです。時刻 t+1 における x の値は、時刻 t における x の放物線関数です。この式は、ロジスティック マップによって生成されるカオス時系列の基礎となる幾何学を表します。

この方程式から時系列を生成することが順問題である。ここでの例は逆問題、すなわち時系列の例からロジスティックマップの根底にあるダイナミクス、つまり基本方程式を特定することを示している。目標は推定値を見つけることである。

${\displaystyle x(t+1)=f\left[x(t)\right]\approx \varphi (t)=\varphi \left[x(t)\right]}$

fの場合。

建築は

${\displaystyle \varphi (\mathbf {x} )\ {\stackrel {\mathrm {def} }{=}}\ \sum _{i=1}^{N}a_{i}\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}$

どこ

${\displaystyle \rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}=\exp \left[-\beta _{i}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert ^{2}\right]=\exp \left[-\beta _{i}\left(x(t)-c_{i}\right)^{2}\right]}$。

入力はベクトルではなくスカラーなので、入力次元は 1 です。基底関数の数を N=5 に、トレーニング セットのサイズをカオス時系列によって生成された 100 個の例に選択します。重みは5 に等しい定数とします。重みは時系列からの 5 つの例です。重みは射影演算子トレーニングでトレーニングされます。 ${\displaystyle \beta }$${\displaystyle c_{i}}$${\displaystyle a_{i}}$

${\displaystyle a_{i}(t+1)=a_{i}(t)+\nu {\big [}x(t+1)-\varphi {\big (}\mathbf {x} (t),\mathbf {w} {\big )}{\big ]}{\frac {\rho {\big (}\left\Vert \mathbf {x} (t)-\mathbf {c} _{i}\right\Vert {\big )}}{\sum _{i=1}^{N}\rho ^{2}{\big (}\left\Vert \mathbf {x} (t)-\mathbf {c} _{i}\right\Vert {\big )}}}}$

ここで、学習率 は 0.3 とします。トレーニングは 100 個のトレーニング ポイントを 1 回通過して実行されます。rms誤差は 0.15 です。 ${\displaystyle \nu }$

正規化されたRBFアーキテクチャは

${\displaystyle \varphi (\mathbf {x} )\ {\stackrel {\mathrm {def} }{=}}\ {\frac {\sum _{i=1}^{N}a_{i}\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}{\sum _{i=1}^{N}\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}}=\sum _{i=1}^{N}a_{i}u{\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}$

どこ

${\displaystyle u{\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}\ {\stackrel {\mathrm {def} }{=}}\ {\frac {\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}{\sum _{i=1}^{N}\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}}}$。

また：

${\displaystyle \rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}=\exp \left[-\beta \left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert ^{2}\right]=\exp \left[-\beta \left(x(t)-c_{i}\right)^{2}\right]}$。

ここでも、基底関数の数を 5 に、トレーニング セットのサイズをカオス時系列によって生成された 100 個の例に選択します。重みは定数 6 とします。重みは時系列からの 5 つの例です。重みは射影演算子トレーニングでトレーニングされます。 ${\displaystyle \beta }$${\displaystyle c_{i}}$${\displaystyle a_{i}}$

${\displaystyle a_{i}(t+1)=a_{i}(t)+\nu {\big [}x(t+1)-\varphi {\big (}\mathbf {x} (t),\mathbf {w} {\big )}{\big ]}{\frac {u{\big (}\left\Vert \mathbf {x} (t)-\mathbf {c} _{i}\right\Vert {\big )}}{\sum _{i=1}^{N}u^{2}{\big (}\left\Vert \mathbf {x} (t)-\mathbf {c} _{i}\right\Vert {\big )}}}}$

ここでも学習率 は 0.3 とします。トレーニングは 100 個のトレーニング ポイントを 1 回通過して実行されます。100個の例のテスト セットのrms 誤差は0.084 で、正規化されていない誤差よりも小さくなります。正規化により精度が向上します。通常、入力の次元が増加すると、正規化された基底関数の精度は正規化されていない関数よりもさらに向上します。 ${\displaystyle \nu }$

前の例のように時系列の基礎となるジオメトリが推定されると、反復によって時系列の予測を行うことができます。

${\displaystyle \varphi (0)=x(1)}$

${\displaystyle {x}(t)\approx \varphi (t-1)}$

${\displaystyle {x}(t+1)\approx \varphi (t)=\varphi [\varphi (t-1)]}$。

実際の時系列と推定時系列の比較が図に表示されています。推定時系列は、x(0) の正確な知識を使用して、時間 0 から始まります。次に、ダイナミクスの推定値を使用して、いくつかの時間ステップの時系列推定値を更新します。

推定値が正確であるのは、いくつかの時間ステップのみであることに注意してください。これは、カオス時系列の一般的な特性です。これは、カオス時系列に共通する初期条件への敏感な依存性の特性です。小さな初期誤差は、時間の経過とともに増幅されます。ほぼ同一の初期条件を持つ時系列の発散の尺度は、リアプノフ指数として知られています。

ロジスティックマップの出力は制御パラメータによって操作できると仮定し、 ${\displaystyle c[x(t),t]}$

${\displaystyle {x}_{}^{}(t+1)=4x(t)[1-x(t)]+c[x(t),t]}$。

目標は、時系列を望ましい出力に導くような制御パラメータを選択することです。これは、制御パラメータを次のように選択することで実現できます。 ${\displaystyle d(t)}$

${\displaystyle c_{}^{}[x(t),t]\ {\stackrel {\mathrm {def} }{=}}\ -\varphi [x(t)]+d(t+1)}$

どこ

${\displaystyle y[x(t)]\approx f[x(t)]=x(t+1)-c[x(t),t]}$

システムの根本的な自然なダイナミクスへの近似です。

学習アルゴリズムは次のように与えられる。

${\displaystyle a_{i}(t+1)=a_{i}(t)+\nu \varepsilon {\frac {u{\big (}\left\Vert \mathbf {x} (t)-\mathbf {c} _{i}\right\Vert {\big )}}{\sum _{i=1}^{N}u^{2}{\big (}\left\Vert \mathbf {x} (t)-\mathbf {c} _{i}\right\Vert {\big )}}}}$

どこ

${\displaystyle \varepsilon \ {\stackrel {\mathrm {def} }{=}}\ f[x(t)]-\varphi [x(t)]=x(t+1)-c[x(t),t]-\varphi [x(t)]=x(t+1)-d(t+1)}$。

• ラジアル基底関数カーネル
• インスタンスベースの学習
• 現場適応型集計
• 予測分析
• カオス理論
• 階層型RBF
• 小脳モデル関節コントローラ
• 瞬時にトレーニングされたニューラルネットワーク

• J. Moody と CJ Darken、「ローカルに調整された処理ユニットのネットワークにおける高速学習」、Neural Computation、1、281-294 (1989)。Moody と Darken によるラジアル基底関数ネットワークも参照してください。
• T. Poggio および F. Girosi、「近似と学習のためのネットワーク」、Proc. IEEE 78(9)、1484-1487 (1990)。
• Roger D. Jones、YC Lee、CW Barnes、GW Flake、K. Lee、PS Lewis、および S. Qian、「ニューラル ネットワークによる関数近似と時系列予測」、国際ニューラル ネットワーク合同会議の議事録、6 月 17 ～ 21 日、p. I-649 (1990)。
• Martin D. Buhmann (2003)。ラジアル基底関数:理論と実装。ケンブリッジ大学。ISBN 0-521-63338-9。
• Yee, Paul V. & Haykin, Simon (2001)。正規化されたラジアル基底関数ネットワーク: 理論と応用。John Wiley。ISBN 0-471-35349-3。
• Davies, John R.、Coggeshall, Stephen V.、Jones, Roger D.、Schutzer, Daniel (1995)。「インテリジェント セキュリティ システム」。Freedman, Roy S.、Flein, Robert A.、Lederman, Jess (編)。『資本市場における人工知能』。シカゴ: Irwin。ISBN 1-55738-811-3。
• Simon Haykin (1999)。ニューラルネットワーク:包括的な基礎(第 2 版)。アッパーサドルリバー、ニュージャージー: Prentice Hall。ISBN 0-13-908385-5。
• S. Chen、CFN Cowan、および PM Grant、「Radial Basis Function Networks の直交最小二乗学習アルゴリズム」、IEEE Transactions on Neural Networks、Vol 2、No 2 (Mar) 1991。