システム同定とは、システムの入力と出力の測定値から、システムの数学モデルを同定または測定する方法です。システム同定の応用分野は、入力と出力を測定できるあらゆるシステムに及び、工業プロセス、制御システム、経済データ、生物学および生命科学、医学、社会システムなど多岐にわたります。
非線形システムとは、線形ではないシステム、つまり重ね合わせの原理を満たさないシステムと定義されます。この否定的な定義は、非線形システムには非常に多くの種類があるという事実を覆い隠してしまう傾向があります。歴史的に、非線形システムのシステム同定[ 1 ] [ 2 ]は、特定のシステムクラスに焦点を当てることで発展してきました。これは、モデルクラスによって定義される5つの基本的なアプローチに大別できます。
システム同定には、データ収集、モデル仮説、パラメータ同定、モデル検証の4つのステップがあります。データ収集は、同定用語では最初の重要な部分と考えられており、後で作成されるモデルへの入力として使用されます。データ収集は、適切なデータセットの選択、前処理、および処理から構成されます。これには、フライトテープの転写、データストレージとデータ管理、キャリブレーション、処理、分析、およびプレゼンテーションとともに、既知のアルゴリズムの実装が含まれます。さらに、モデル検証は、特定のモデルに対する信頼性を得るか、または拒否するために必要です。特に、パラメータ推定とモデル検証は、システム同定の不可欠な部分です。検証とは、概念モデルを確認し、モデルの計算結果と実際のデータとの間に適切な対応関係があることを示すプロセスを指します。[ 3 ]
初期の研究はボルテラ級数に基づく手法が主流であり、離散時間の場合、それは次のように表される。
ここで、u ( k )、y ( k )(k = 1, 2, 3, ...)はそれぞれ測定された入力と出力であり、はl次ボルテラカーネル、またはl次非線形インパルス応答です。ボルテラ級数は線形畳み込み積分の拡張です。初期の識別アルゴリズムのほとんどは、最初の 2 つの線形および二次ボルテラカーネルのみが存在すると仮定し、ガウス白色ノイズや相関法などの特別な入力を使用して 2 つのボルテラカーネルを識別していました。これらの方法のほとんどでは、入力はガウスで白色でなければならず、これは多くの実際のプロセスにとって厳しい制約です。これらの結果は後に、最初の 3 つのボルテラカーネルを含めるように拡張され、異なる入力や、ウィーナー級数などの他の関連する開発が可能になりました。ウィーナー、リー、ボーズ、および 1940 年代から 1960 年代にかけて MIT の同僚によって、有名なリーとシェッツェン法を含む非常に重要な研究が開発されました。[ 4 ] [ 5 ]これらの方法は今日でも活発に研究されていますが、いくつかの基本的な制約があります。これらには、ボルテラ級数の項数を事前に知る必要性、特別な入力の使用、識別しなければならない推定値の数の多さなどが含まれます。たとえば、1 次ボルテラカーネルが 30 サンプルで記述されるシステムの場合、2 次カーネルには 30 x 30 ポイント、3 次カーネルには 30 x 30 x 30 ポイントが必要となり、したがって、良好な推定値を提供するために必要なデータ量が過剰に大きくなります。[ 6 ]これらの数値は、特定の対称性を利用することで削減できますが、識別に使用されるアルゴリズムに関係なく、要件は依然として過剰です。
ボルテラ モデルの識別の問題のため、非線形システムのシステム識別の基礎として他のモデル形式が調査されました。さまざまな形式のブロック構造非線形モデルが導入されたり、再導入されたりしています。[ 6 ] [ 7 ]ハンマースタイン モデルは、静的な単一値の非線形要素の後に線形の動的要素が続く構成です。[ 8 ]ウィーナー モデルは、この組み合わせの逆で、線形要素が静的な非線形特性の前に現れます。[ 9 ]ウィーナー-ハンマースタイン モデルは、2 つの動的線形要素の間に挟まれた静的な非線形要素で構成され、他にもいくつかのモデル形式が利用可能です。ハンマースタイン-ウィーナー モデルは、2 つの静的な非線形ブロックの間に挟まれた線形の動的ブロックで構成されています。[ 10 ]ウリソン モデル[ 11 ] [ 12 ]は他のブロック モデルとは異なり、線形ブロックと非線形ブロックのシーケンスではなく、演算子のカーネルの表現における動的および静的な非線形性の両方を記述します。[ 13 ]これらのモデルはすべてボルテラ級数で表現できますが、この場合、ボルテラカーネルはそれぞれ特別な形式をとります。識別は相関ベース法とパラメータ推定法で構成されます。相関法はこれらのシステムの特定の特性を利用するため、特定の入力(多くの場合、白色ガウスノイズ)を使用すると、個々の要素を一度に1つずつ識別できます。これにより、管理可能なデータ要件が得られ、個々のブロックは、研究対象のシステムのコンポーネントに関連付けられる場合があります。
より最近の成果は、パラメータ推定とニューラルネットワークに基づくソリューションに基づいています。多くの成果が発表されており、これらのシステムは引き続き深く研究されています。一つの問題は、これらの手法はそれぞれの場合において非常に特殊な形式のモデルにしか適用できず、通常、このモデル形式は識別を行う前に知っておく必要があるということです。
人工ニューラルネットワークは、多数の単純な処理要素を通して計算が行われる脳内のニューロンのネットワークを大まかに模倣しようとします。典型的なニューラルネットワークは、複雑なネットワークを形成するために相互接続された多数の単純な処理ユニットで構成されています。このようなユニットの層は、データが入力層に入力され、出力層に到達する前に 1 つまたは複数の中間層を通過するように配置されています。教師あり学習では、ネットワークの実際の出力と望ましい出力の差、つまり予測誤差を操作してノード間の接続強度を変更することにより、ネットワークをトレーニングします。反復により、出力誤差が許容レベルに達するまで重みが変更されます。このプロセスは、出力パターンが再現されるようにネットワークが重みを調整するため、機械学習と呼ばれます。ニューラルネットワークは広範囲に研究されており、このトピック全般に特化した優れた教科書が多数あり、[ 1 ] [ 14 ]制御とシステムアプリケーションに重点を置いたより専門的な教科書もあります。[ 1 ] [ 15 ] ニューラルネットワークを使用して研究できる主な問題タイプは、静的問題と動的問題の 2 つです。静的問題には、パターン認識、分類、および近似が含まれます。動的問題には遅延変数が含まれ、システム同定および関連するアプリケーションにより適しています。ネットワークのアーキテクチャに応じて、トレーニング問題は、最適化を伴う非線形パラメータ問題または古典的なアプローチを使用して解決できる線形パラメータ問題のいずれかになります。トレーニングアルゴリズムは、教師あり学習、教師なし学習、または強化学習に分類できます。ニューラルネットワークは優れた近似特性を持っていますが、これらは通常、たとえば多項式、有理関数、およびその他のよく知られたモデルに同様に適用できるワイエルシュトラスの定理を使用した標準的な関数近似結果に基づいています。ニューラルネットワークは、非線形および動的な関係を含むシステム同定問題に広く適用されています。ただし、古典的なニューラルネットワークは、純粋に大まかな静的近似マシンです。ネットワーク内にはダイナミクスはありません。したがって、動的モデルを適合させる場合、ネットワークの入力層に遅延入力と出力を割り当てることで、すべてのダイナミクスが発生します。トレーニング手順では、入力ノードに割り当てられた遅延変数と出力を関連付ける最適な静的近似が生成されます。リカレントネットワークなど、より複雑なネットワークアーキテクチャもあります。[ 1 ]入力ノードに遅延変数の次数を増加させて導入することでダイナミクスを生み出す。しかし、このような場合、遅延を過剰に指定することは非常に容易であり、これは過学習や汎化特性の低下につながる可能性がある。ニューラルネットワークにはいくつかの利点がある。概念的に単純で、トレーニングや使用が容易であり、優れた近似特性を持ち、ローカルおよび並列処理の概念が重要であり、これにより整合性と耐障害性動作が提供される。古典的なニューラルネットワークモデルに対する最大の批判は、生成されるモデルが完全に不透明であり、通常は記述または分析できないことである。したがって、何が何を引き起こしているのかを知ること、モデルを分析すること、またはモデルから動的特性を計算することは非常に困難である。これらの点のいくつかはすべてのアプリケーションに関係するわけではないが、動的モデリングには関係する。
外生入力を持つnオンライン自己回帰移動平均モデル(NARMAXモデル)は、幅広い非線形システムを表すことができ、[ 2 ]次のように定義されます。
ここで、y ( k )、u ( k )、e ( k )はそれぞれシステムの出力、入力、ノイズのシーケンスである。、、 そしては、システム出力、入力、およびノイズの最大遅延です。F[•] は何らかの非線形関数、d は通常d = 1 に設定される時間遅延です。このモデルは、基本的に過去の入力、出力、およびノイズ項の展開です。ノイズが明示的にモデル化されているため、観測されていない相関が高く非線形なノイズが存在する場合でも、システムモデルの不偏推定値を取得できます。ボルテラ、ブロック構造モデル、および多くのニューラルネットワークアーキテクチャはすべて、NARMAX モデルのサブセットとみなすことができます。NARMAX が導入されて以来、このモデルで表現できる非線形システムのクラスを証明することにより、この記述に基づいて多くの結果とアルゴリズムが導出されてきました。初期の研究のほとんどは、NARMAX モデルの多項式展開に基づいていました。これらは今日でも最も一般的な方法ですが、深刻な非線形システムや非常に複雑な非線形システムを表現するために、ウェーブレットや他の展開に基づくより複雑な形式が導入されています。非線形システムの大部分は、カオス、分岐、サブハーモニクスなどの特異な挙動を示すシステムを含め、NARMAXモデルで表現できます。NARMAXは当初モデル名として始まりましたが、現在では非線形システム同定の哲学へと発展しています。[ 2 ] NARMAXアプローチは、いくつかのステップで構成されています。
構造検出はNARMAXの最も基本的な部分を形成します。例えば、1つの遅延入力項と1つの遅延出力項、3つの遅延ノイズ項から構成され、3次多項式として展開されるNARMAXモデルは、82個の候補項から構成されます。この候補項の数は、定義上、3次展開内のすべての可能な組み合わせが含まれるためです。これらの項すべてを含むモデルを単純に推定してから剪定すると、数値計算上の問題が発生するため、常に避けるべきです。しかし、モデルにおいて重要な項はごく少数であることがよくあります。そのため、項を1つずつ選択することを目的とする構造検出は非常に重要です。これらの目的は、直交最小二乗法[ 2 ] アルゴリズムとその派生アルゴリズムを使用してNARMAXモデルの項を1つずつ選択することで容易に達成できます。これらのアイデアは、パターン認識や特徴選択にも適用でき、主成分分析の代替手段となりますが、特徴が元の問題に容易に関連付けられる基底関数として明らかになるという利点があります。
NARMAX法は、最適な近似モデルを見つける以上のことを行うように設計されています。システム同定は、2つの目的に分けられます。1つ目は近似であり、その主な目的は、良好な予測ができるようにデータセットを近似するモデルを開発することです。このアプローチが適切なアプリケーションは数多くあり、たとえば、天気、株価、音声、ターゲット追跡、パターン分類などの時系列予測が挙げられます。このようなアプリケーションでは、モデルの形式はそれほど重要ではありません。目的は、予測誤差が最小となる近似スキームを見つけることです。システム同定の2つ目の目的は、最初の目的を部分集合として含み、平均二乗誤差が最小となるモデルを見つけること以上のことを含みます。この2つ目の目的こそがNARMAXの理念が開発された理由であり、最も単純なモデル構造を見つけるという考え方と結びついています。ここでの目的は、基礎となるシステムの動的特性を再現するモデルを開発し、可能な限り単純なモデルを見つけ、可能であれば、これを研究対象システムのコンポーネントと動作に関連付けることです。したがって、この2つ目の同定アプローチの中核的な目的は、システムを表すルールを特定し、明らかにすることです。これらの目標は、モデルシミュレーションや制御システム設計に関連するだけでなく、医学、神経科学、生命科学といった分野への応用にもますます関連しています。ここでは、これらのシステムがどのように動作し、どのように振る舞うかという基本的なメカニズムを理解するために使用できるモデル(多くの場合、非線形)を特定し、それらを操作・活用できるようにすることが目的です。NARMAX法は、周波数領域および時空間領域においても開発されています。
一般的な状況では、何らかの外生的不確実外乱が非線形ダイナミクスを通過して出力に影響を与える可能性があります。この状況を捉えるのに十分な一般的なモデルクラスは、確率的非線形状態空間モデルのクラスです。状態空間モデルは通常、機械的、電気的、または熱力学的物理法則などの第一原理法則[ 16 ]を使用して取得され、識別されるパラメータは通常、何らかの物理的な意味または重要性を持っています。
離散時間状態空間モデルは、差分方程式によって定義される。
その中では時間を表す正の整数です。そしてこれらは一般的な非線形関数です。最初の式は状態方程式、2番目の式は出力方程式と呼ばれます。すべての信号は確率過程を用いてモデル化されます。状態プロセスとして知られています。 そして通常、独立かつ相互に独立であると想定されるため、パラメータは通常、推定対象となる有限次元(実数)パラメータです(実験データを使用)。状態プロセスは物理信号である必要はなく、通常は観測されない(測定されない)ことに注意してください。データセットは、入力と出力のペアの集合として与えられます。のためにある有限の正の整数値に対して。
残念ながら、観測されない確率変数の非線形変換のため、出力の尤度関数は解析的に扱いにくく、多次元周辺化積分で表されます。したがって、最尤法や最適な1ステップ先予測器に基づく予測誤差法[ 16 ]などの一般的に使用されるパラメータ推定法は解析的に扱いにくくなります。最近では、逐次モンテカルロ法に基づくアルゴリズムが、出力の条件付き平均を近似したり、期待値最大化アルゴリズムと組み合わせて最尤推定量を近似したりするために使用されています。[ 17 ] これらの方法は漸近的に最適ではありますが、計算負荷が高く、その使用は、使用される粒子フィルタの根本的な制限を回避できる特定のケースに限定されます。代替ソリューションは、準最適予測器を使用して予測誤差法を適用することです。[ 18 ] [ 19 ] [ 20 ]結果として得られる推定量は、強一致性と漸近正規性を持つことが示され、比較的単純なアルゴリズムを使用して評価できます。[ 21 ] [ 20 ]