ヴォルテッラ級数

ボルテラ級数は、テイラー級数に似た非線形動作のモデルです。テイラー級数との違いは、「メモリ」効果を捉える機能です。テイラー級数は、システムの出力が特定の時点での入力に厳密に依存する場合、特定の入力に対する非線形システムの応答を近似するために使用できます。ボルテラ級数では、非線形システムの出力は、他のすべての時点でのシステムへの入力に依存します。これにより、コンデンサやインダクタなどのデバイスの「メモリ」効果を捉えることができます。

これは医学（生物医学工学）や生物学、特に神経科学の分野で応用されています。^{[1]また、電気工学では、パワーアンプ[2]}や周波数ミキサーなど、多くのデバイスの相互変調歪みをモデル化するために使用されています。^{[要出典]その主な利点は、その一般化可能性にあります。つまり、幅広いシステムを表現できます。そのため、}ノンパラメトリックモデルと見なされることもあります。

数学において、ボルテラ級数は、動的、非線形、時間不変関数の関数展開を表します。ボルテラ級数は、システム識別で頻繁に使用されます。ボルテラ定理を証明するために使用されるボルテラ級数は、多次元畳み込み積分の無限和です。

ヴォルテラ級数は、1887年にイタリアの数学者ヴィト・ヴォルテラが発表した解析関数の理論を現代風にアレンジしたものである。 ^{[3] [4]} ノーバート・ウィーナーは、ヴォルテラの弟子ポール・レヴィとの交流をきっかけに、1920年代にこの理論に興味を持つようになった。ウィーナーはブラウン運動の理論をヴォルテラの解析関数の積分に応用した。システム解析におけるヴォルテラ級数の使用は、当時MITの数学教授だったウィーナーの1942年の限定的な戦時報告書^[5]に端を発する。ウィーナーはこの級数を用いて、非線形受信回路におけるレーダーノイズの影響を近似的に解析した。この報告書は戦後公表された。^[6]非線形システムの一般的な解析方法として、ヴォルテラ級数は、最初はMITなどから非公開で配布された一連の報告書の結果、1957年頃から使われるようになった。^[7]ヴォルテッラ級数という名前自体は数年後に使われるようになった。

ヴォルテラ級数の理論は、2 つの異なる観点から見ることができます。

• 2つの関数空間（実数または複素数）間の演算子マッピング
• 関数空間から実数または複素数への実数または複素数の関数マッピング

後者の機能マッピングの観点は、システムの時間不変性が想定されているため、より頻繁に使用されます。

x ( t ) を入力、y ( t ) を出力とする連続時間不変システムは、ボルテラ級数で次のように展開できる。

${\displaystyle y(t)=h_{0}+\sum _{n=1}^{N}\int _{a}^{b}\cdots \int _{a}^{b}h_{n}(\tau _{1},\dots ,\tau _{n})\prod _{j=1}^{n}x(t-\tau _{j})\,d\tau _{j}.}$

ここで、右側の定数項は、出力レベルを適切に選択することで、通常はゼロになります。この関数は、 n次ボルテラカーネルと呼ばれます。これは、システムの高次インパルス応答と見なすことができます。表現が一意であるためには、カーネルはn 個の変数で対称でなければなりません。対称でない場合は、これらのn個の変数のn !順列の平均である対称化カーネルに置き換えることができます。 ${\displaystyle h_{0}}$${\displaystyle y}$${\displaystyle h_{n}(\tau _{1},\dots ,\tau _{n})}$${\displaystyle \tau}$${\displaystyle \tau}$

Nが有限の場合、その級数は切り捨てられていると言われます。a、b、およびNが有限の場合、その級数は二重有限であると言われます。

場合によっては、 n次の項がn ! で除算されます。これは、1 つの Volterra システムの出力を別の Volterra システムの入力として取得する場合 (「カスケード」) に便利な規則です。

因果条件: 物理的に実現可能なシステムでは、出力は入力の以前の値にのみ依存するため、変数のいずれかが負の場合、カーネルはゼロになります。積分は、ゼロから無限大までの半分の範囲で記述できます。したがって、演算子が因果関係にある場合、. ${\displaystyle h_{n}(t_{1},t_{2},\ldots ,t_{n})}$${\displaystyle t_{1},t_{2},\ldots ,t_{n}}$${\displaystyle a\geq 0}$

フレシェの近似定理: 時間不変関数関係を表すためにボルテラ級数を使用することは、フレシェによる定理を援用することで正当化されることが多い。この定理は、時間不変関数関係 (特定の非常に一般的な条件を満たす) は、十分に高い有限次数のボルテラ級数によって一様かつ任意の精度で近似できることを述べている。他の条件の中でも、近似が成り立つ許容入力関数の集合はコンパクトであることが要求される。これは通常、等連続で一様に制限された関数の集合であるとみなされ、これはアルツェラ-アスコリ定理によってコンパクトである。多くの物理的状況では、入力集合に関するこの仮定は妥当なものとなる。しかし、この定理は、応用において重要な問題である、良好な近似に必要な項の数については何も示していない。 ${\displaystyle x(t)}$

離散時間の場合は連続時間の場合と似ていますが、積分が合計に置き換えられている点が異なります。

$${\displaystyle y(n)=h_{0}+\sum _{p=1}^{P}\sum _{\tau _{1}=a}^{b}\cdots \sum _{\tau _{p}=a}^{b}h_{p}(\tau _{1},\dots ,\tau _{p})\prod _{j=1}^{p}x(n-\tau _{j}),}$$ ここで、 各関数は離散時間ボルテラ核と呼ばれます。P が有限の場合、級数演算子は切断されていると言われます。a、b 、Pが有限の場合、級数演算子は二重有限ボルテラ級数と呼ばれます。の場合、演算子は因果的であると言われます。 ${\displaystyle P\in \{1,2,\dots \}\cup \{\infty \}.}$${\displaystyle h_{p}}$${\displaystyle a\geq 0}$

一般性を失うことなく、カーネルを常に対称的と見なすことができます。実際、乗算の可換性については、変数のすべての順列のカーネルの平均として取られた新しいカーネルを形成することによって、常に対称化が可能です。 ${\displaystyle h_{p}(\tau _{1},\dots ,\tau _{p})}$${\displaystyle \tau_{1},\dots,\tau_{p}}$

対称核を持つ因果システムの場合、n番目の項を近似的に三角形の形に 書き直すことができる。

${\displaystyle \sum _{\tau _{1}=0}^{M}\sum _{\tau _{2}=\tau _{1}}^{M}\cdots \sum _{\tau _{p}=\tau _{p-1}}^{M}h_{p}(\tau _{1},\dots ,\tau _{p})\prod _{j=1}^{p}x(n-\tau _{j}).}$

ボルテラ級数の基底関数は相関しているので、ボルテラ係数を個別に推定するのは複雑です。これは、係数の一連の積分方程式を同時に解くという問題につながります。したがって、ボルテラ係数の推定は、通常、直交級数、たとえばウィーナー級数の係数を推定し、元のボルテラ級数の係数を再計算することによって実行されます。ボルテラ級数が直交級数よりも優れている主な理由は、その直感的で標準的な構造、つまり入力のすべての相互作用が 1 つの固定次数を持つ点にあります。直交基底関数は、通常、かなり複雑になります。

以下の方法が異なる重要な点は、基底関数の直交化を入力信号の理想化された仕様 (例: ガウス、ホワイト ノイズ) に対して実行するか、入力の実際の実現 (つまり、ガウス ホワイト ノイズの疑似ランダム、有界、ほぼホワイト バージョン、またはその他の刺激) に対して実行するかということです。後者の方法は、数学的な洗練さに欠けるにもかかわらず、より柔軟 (任意の入力を簡単に受け入れることができるため) かつ正確 (入力信号の理想化されたバージョンが常に実現可能であるとは限らないため) であることが示されています。

Lee と Schetzen によって開発されたこの方法は、信号の実際の数学的記述に関して直交化します。つまり、新しい基底関数への投影は、ランダム信号のモーメントに関する知識に基づいています。

ヴォルテラ級数は同次作用素 で次のように表すことができる。

${\displaystyle y(n)=h_{0}+\sum _{p=1}^{P}H_{p}x(n),}$

どこ

${\displaystyle H_{p}x(n)=\sum _{\tau _{1}=a}^{b}\cdots \sum _{\tau _{p}=a}^{b}h_{p}(\tau _{1},\dots ,\tau _{p})\prod _{j=1}^{p}x(n-\tau _{j}).}$

識別直交化を可能にするために、ボルテラ級数を直交非同次G演算子（ウィーナー級数）の観点から並べ替える必要があります。

${\displaystyle y(n)=\sum _{p}H_{p}x(n)\equiv \sum _{p}G_{p}x(n).}$

G演算子は次のように定義できます。

${\displaystyle E\{H_{i}x(n)G_{j}x(n)\}=0;\quad i<j,}$

${\displaystyle E\{G_{i}x(n)G_{j}x(n)\}=0;\quad i\neq j,}$

が任意の同次ボルテラである場合、 x ( n )は平均がゼロで分散がAの定常ホワイトノイズ(SWN)です。 ${\displaystyle H_{i}x(n)}$

すべての Volterra 関数は、それより大きい次のすべての Wiener 関数と直交することを思い出し、次の Volterra 関数を考えます。

${\displaystyle H_{\overline {p}}^{*}x(n)=\prod _{j=1}^{\overline {p}}x(n-\tau _{j}),}$

書くことができます

${\displaystyle E\left\{y(n)H_{\overline {p}}^{*}x(n)\right\}=E\left\{\sum _{p=0}^{\infty }G_{p}x(n)H_{\overline {p}}^{*}x(n)\right\}.}$

xが SWN で、とすると、 ${\displaystyle \tau _{1}\neq \tau _{2}\neq \ldots \neq \tau _{P}}$${\displaystyle A=\sigma _{x}^{2}}$

${\displaystyle E\left\{y(n)\prod _{j=1}^{\overline {p}}x(n-\tau _{j})\right\}=E\left\{G_{\overline {p}}x(n)\prod _{j=1}^{\overline {p}}x(n-\tau _{j})\right\}={\overline {p}}!A^{\overline {p}}k_{\overline {p}}(\tau _{1},\dots ,\tau _{\overline {p}}).}$

したがって対角要素を除けば、 ${\displaystyle {\tau _{i}\neq \tau _{j},\ \forall i,j}}$

${\displaystyle k_{p}(\tau _{1},\dots ,\tau _{p})={\frac {E\left\{y(n)x(n-\tau _{1})\cdots x(n-\tau _{p})\right\}}{p!A^{p}}}.}$

対角要素を考慮したい場合、リーとシェッツェンが提案した解は次のようになる。

${\displaystyle k_{p}(\tau _{1},\dots ,\tau _{p})={\frac {E\left\{\left(y(n)-\sum \limits _{m=0}^{p-1}G_{m}x(n)\right)x(n-\tau _{1})\cdots x(n-\tau _{p})\right\}}{p!A^{p}}}.}$

この手法の主な欠点は、低次カーネルのすべての要素で行われた推定誤差が、対角要素自体の推定の解として考えられた和によって、 p次の各対角要素に影響を及ぼすことである。この欠点を回避するための効率的な公式と対角カーネル要素の推定に関する参考文献が存在する^{[8] [9]}${\displaystyle \sum \limits _{m=0}^{p-1}G_{m}x(n)}$

ウィーナー核が特定されると、ウィーナーからヴォルテラへの公式を使用してヴォルテラ核を取得できます。5 次ヴォルテラ級数については次の式が報告されています。

${\displaystyle h_{5}=k_{5},}$

${\displaystyle h_{4}=k_{4},}$

${\displaystyle h_{3}=k_{3}-10A\sum _{\tau _{4}}k_{5}(\tau _{1},\tau _{2},\tau _{3},\tau _{4},\tau _{4}),}$

${\displaystyle h_{2}=k_{2}-6A\sum _{\tau _{3}}k_{4}(\tau _{1},\tau _{2},\tau _{3},\tau _{3}),}$

${\displaystyle h_{1}=k_{1}-3A\sum _{\tau _{2}}k_{3}(\tau _{1},\tau _{2},\tau _{2})+15A^{2}\sum _{\tau 2}\sum _{\tau _{3}}k_{5}(\tau _{1},\tau _{2},\tau _{2},\tau _{3},\tau _{3}),}$

${\displaystyle h_{0}=k_{0}-A\sum _{\tau _{1}}k_{2}(\tau _{1},\tau _{1})+3A^{2}\sum _{\tau _{1}}\sum _{\tau _{2}}k_{4}(\tau _{1},\tau _{1},\tau _{2},\tau _{2}).}$

従来の直交アルゴリズムでは、高い入力値を使用すると高次の非線形性を刺激し、より正確な高次カーネル識別を実現できるという利点があります。欠点としては、高い値を使用すると、主に入力の非理想性と切り捨て誤差により 、低次カーネルで高い識別誤差が発生します^{[10] 。}${\displaystyle \sigma _{x}}$${\displaystyle \sigma _{x}}$

逆に、識別プロセスで lower を使用すると、低次のカーネルの推定値が向上しますが、高次の非線形性を刺激するには不十分な場合があります。 ${\displaystyle \sigma _{x}}$

この現象は、切断されたボルテラ級数の局所性と呼ばれるもので、入力のさまざまな分散の関数として級数の出力誤差を計算することで明らかにすることができます。このテストは、さまざまな入力分散で識別された級数で繰り返すことができ、識別に使用された分散に対応する最小値を持つさまざまな曲線が得られます。

この制限を克服するには、低次のカーネルには低い値を使用し、高次のカーネルでは徐々に値を大きくする必要があります。ウィーナー関数は互いに直交しているため、これはウィーナーカーネル識別における理論的な問題ではありませんが、異なる分散の使用を考慮するためにウィーナーからボルテラへの変換式で適切な正規化が必要です。さらに、新しいウィーナーからボルテラへの変換式が必要です。 ${\displaystyle \sigma _{x}}$

伝統的なウィーナー核の識別は次のように変更されるべきである: ^[10]

${\displaystyle k_{0}^{(0)}=E\{y^{(0)}(n)\},}$

${\displaystyle k_{1}^{(1)}(\tau _{1})={\frac {1}{A_{1}}}E\left\{y^{(1)}(n)x^{(1)}(n-\tau _{1})\right\},}$

${\displaystyle k_{2}^{(2)}(\tau _{1},\tau _{2})={\frac {1}{2!A_{2}^{2}}}\left\{E\left\{y^{(2)}(n)\prod _{i=1}^{2}x^{(2)}(n-\tau _{i})\right\}-A_{2}k_{0}^{(2)}\delta _{\tau _{1}\tau _{2}}\right\},}$

${\displaystyle k_{3}^{(3)}(\tau _{1},\tau _{2},\tau _{3})={\frac {1}{3!A_{3}^{3}}}\left\{E\left\{y^{(3)}(n)\prod _{i=1}^{3}x^{(3)}(n-\tau _{i})\right\}-A_{3}^{2}\left[k_{1}^{(3)}(\tau _{1})\delta _{\tau _{2}\tau _{3}}+k_{1}^{(3)}(\tau _{2})\delta _{\tau _{1}\tau _{3}}+k_{1}^{(3)}(\tau _{3})\delta _{\tau _{1}\tau _{2}}\right]\right\}.}$

上記の式では、対角カーネルポイントを識別するためにインパルス関数が導入されています。新しい式でウィーナーカーネルを抽出する場合は、次のウィーナーからボルテラへの式 (5 次まで明示) が必要です。

${\displaystyle h_{5}=k_{5}^{(5)},}$

${\displaystyle h_{4}=k_{4}^{(4)},}$

${\displaystyle h_{3}=k_{3}^{(3)}-10A_{3}\sum _{\tau _{4}}k_{5}^{(5)}(\tau _{1},\tau _{2},\tau _{3},\tau _{4},\tau _{4}),}$

${\displaystyle h_{2}=k_{2}^{(2)}-6A_{2}\sum _{\tau _{3}}k_{4}^{(4)}(\tau _{1},\tau _{2},\tau _{3},\tau _{3}),}$

${\displaystyle h_{1}=k_{1}^{(1)}-3A_{1}\sum _{\tau _{2}}k_{3}^{(3)}(\tau _{1},\tau _{2},\tau _{2})+15A_{1}^{2}\sum _{\tau 2}\sum _{\tau _{3}}k_{5}^{(5)}(\tau _{1},\tau _{2},\tau _{2},\tau _{3},\tau _{3}),}$

${\displaystyle h_{0}=k_{0}^{(0)}-A_{0}\sum _{\tau _{1}}k_{2}^{(2)}(\tau _{1},\tau _{1})+3A_{0}^{2}\sum _{\tau _{1}}\sum _{\tau _{2}}k_{4}^{(4)}(\tau _{1},\tau _{1},\tau _{2},\tau _{2}).}$

見てわかるように、以前の式^{[9]の欠点は、} n次のカーネルを識別するために、すべての低次のカーネルをより高い分散で再度識別する必要があることです。しかし、ウィーナーカーネルとボルテラカーネルが新しい式で得られると、出力MSEの顕著な改善が得られます。^[10]

この方法は Wray と Green (1994) によって開発され、単純な 2 層完全接続 ニューラル ネットワーク(つまり、多層パーセプトロン) は計算上は Volterra 級数と同等であり、そのためそのアーキテクチャにカーネルが隠されているという事実を利用しています。このようなネットワークがシステムの現在の状態とメモリに基づいて出力を正常に予測するようにトレーニングされた後、カーネルはそのネットワークの重みとバイアスから計算できます。

n次のボルテラ核 の一般的な表記は次のように表される。

${\displaystyle h_{n}(\tau _{1},\dots ,\tau _{n})=\sum _{i=1}^{M}(c_{i}a_{ni}\omega _{\tau _{1}i}\dots \omega _{\tau _{n}i}),}$

ここで、は次数、は線形出力ノードへの重み、は隠しノードの出力関数の多項式展開の係数、は入力層から非線形隠し層への重みです。この方法では、ネットワークのアーキテクチャにおける入力遅延の数までカーネル抽出が可能であることに注意することが重要です。さらに、システムの有効メモリを表すように、ネットワーク入力層のサイズを慎重に構築することが重要です。 ${\displaystyle n}$${\displaystyle c_{i}}$${\displaystyle a_{ji}}$${\displaystyle \omega _{ji}}$

この方法とそのより効率的なバージョン（高速直交アルゴリズム）は、Korenbergによって発明されました。^[11] この方法では、実際の入力に対して経験的に直交化が行われます。これは、相互相関法よりも正確に機能することが示されています。もう1つの利点は、任意の入力を直交化に使用でき、必要な精度レベルに到達するのにデータポイントが少なくて済むことです。また、ある基準が満たされるまで段階的に推定を実行できます。

線形回帰は、線形解析の標準的なツールです。したがって、その主な利点の 1 つは、線形回帰を効率的に解くための標準的なツールが広く普及していることです。これは、非線形基底関数の線形結合という Volterra 級数の基本的な特性を強調するため、教育的価値があります。推定のためには、元の次数を知っておく必要があります。Volterra 基底関数は直交していないため、推定を段階的に実行することはできません。

^{この方法はフランツとショルコフ[12]}によって発明され、統計的学習理論に基づいています。したがって、このアプローチは経験的誤差の最小化（しばしば経験的リスク最小化と呼ばれる）にも基づいています。フランツとショルコフは、カーネル法が本質的にボルテラ級数表現を置き換えることができると提案しましたが、後者の方が直感的であると指摘しました。 ^[13]

この方法はvan Hemmenと同僚^[14]によって開発され、ディラックのデルタ関数を利用してボルテラ係数をサンプリングします。

• ウィーナーシリーズ
• 多項式信号処理

• Barrett JF: Volterra 級数、Hermite 関数展開、および関連主題の参考文献。Dept. Electr. Engrg、Univ.Tech。Eindhoven、NL 1977、TH レポート 77-E-71。(1977 年までの初期の論文の年代順リスト) URL: http://alexandria.tue.nl/extra1/erap/publichtml/7704263.pdf
• Bussgang, JJ; Ehrman, L.; Graham, JW:複数入力を持つ非線形システムの解析、 Proc. IEEE、vol.62、no.8、pp. 1088–1119、1974 年 8 月
• Giannakis GB & Serpendin E:非線形システム識別に関する参考文献。信号処理、81 2001 533–580。(2001 年までのアルファベット順リスト) www.elsevier.nl/locate/sigpro
• Korenberg MJ Hunter IW:非線形生物システムの識別: Volterra カーネル アプローチ、Annals Biomedical Engineering (1996)、第 24 巻、第 2 号。
• Kuo YL:弱非線形ネットワークの周波数領域解析、IEEE Trans. Circuits & Systems、vol.CS-11(4) 1977年8月; vol.CS-11(5) 1977年10月2–6。
• Rugh WJ:非線形システム理論: ボルテラ-ウィーナーアプローチ。ボルチモア 1981 (ジョンズ ホプキンス大学出版) http://rfic.eecs.berkeley.edu/~niknejad/ee242/pdf/volterra_book.pdf
• Schetzen M: The Volterra and Wiener Theories of Nonlinear Systems、ニューヨーク: Wiley、1980 年。