Loading article…
グループデータ処理法（GMDH ）は、経験的データに基づいてモデルの構造とパラメータを自動的に決定する、数学的モデリングのための帰納的自己組織化アルゴリズムのファミリーです。GMDHは、多くの場合多項式関数を使用して候補モデルを反復的に生成および評価し、外部基準に基づいて最もパフォーマンスの高いモデルを選択します。このプロセスにより、最適な複雑さのフィードフォワードネットワークが構築され、データのノイズレベルに適応し、過学習を最小限に抑え、結果として得られるモデルが正確で汎化可能であることが保証されます。[ 1 ]
GMDH は、データの複雑な非線形関係を処理できるため、機械学習、予測、最適化、パターン認識などの分野で使用されています。帰納的な性質により、強い事前仮定を必要とせずにパターンと相互依存関係を発見できるため、非常に複雑なシステムに特に効果的です。自己組織化によってモデルの複雑さと精度をバランスさせることで、GMDH はモデルがデータの根底にある関係を反映することを保証します。[ 2 ]このアプローチは現代の機械学習技術に影響を与え、自動機械学習と深層学習の最も初期のアプローチの 1 つとして認識されています。
複数の入力と1つの出力を持つGMDHモデルは、基本関数(1)の構成要素のサブセットである。
ここで、f iは異なる入力セットに依存する基本関数、a iは係数、mは基本関数の構成要素の数である。
最適な解を見つけるために、GMDHアルゴリズムは、基本関数（1）のさまざまな構成要素サブセット（部分モデルと呼ばれる）を考慮します。これらのモデルの係数は、最小二乗法によって推定されます。GMDHアルゴリズムは、部分モデルの構成要素の数を徐々に増やし、外部基準の最小値によって示される最適な複雑さを持つモデル構造を見つけます。このプロセスは、モデルの自己組織化と呼ばれます。
GMDHで使用される最初の基底関数は、徐々に複雑化するコルモゴロフ・ガボール多項式（2）でした。
通常、2次関数までのより単純な部分モデルが使用されます。[ 1 ]
その他の名称としては、「ヒューリスティックなモデルの自己組織化」や「多項式フィードフォワードニューラルネットワーク」などがある。[ 3 ]ユルゲン・シュミットフーバーは、GMDHを最初の深層学習手法の1つとして挙げ、1971年にはすでに8層ニューラルネットワークのトレーニングに使用されていたと述べている。[ 4 ] [ 5 ]
この手法は、1968年にキエフのサイバネティクス研究所のアレクセイ・G・イヴァフネンコ教授によって考案されました。この帰納的アプローチは当初からコンピュータベースの手法であり、新しい理論的原理に基づいて得られた主な実用的成果は、一連のコンピュータプログラムとアルゴリズムでした。著者のオープンコード共有の方針のおかげで、この手法は世界中の多くの研究室に急速に普及しました。ルーチン作業のほとんどがコンピュータに委ねられるため、客観的な結果に対する人間の影響は最小限に抑えられます。実際、このアプローチは、コンピュータが人間にとって強力なアドバイザーとなり得るという人工知能のテーゼを具現化したものの一つと言えるでしょう。
GMDH の開発は、さまざまな科学分野のアイデアの統合から成り立っています。サイバネティクスの「ブラックボックス」の概念[ 6 ]とペアワイズ特徴の逐次遺伝的選択の原理 、ゲーデルの不完全性定理とガボールの「意思決定の自由選択」の原理[ 7 ]、そしてビアの外部追加原理[ 8 ]です。
GMDH は、不確実性下での実験データのモデルの構造的パラメトリック識別の問題を解決するためのオリジナルの手法です。[ 9 ]このような問題は、調査対象またはプロセスの未知のパターンを近似する数学モデルの構築で発生します。 [ 10 ]これは、データに暗黙的に含まれる情報を使用します。GMDH は、自動モデル生成、不確定な決定、最適な複雑さのモデルを見つけるための外部基準による一貫した選択という原則を積極的に適用することで、他のモデリング手法と異なります。GMDH は、ペアワイズ連続特徴を考慮した生物学的選択のプロセスを模倣した、自動モデル構造生成のための独自の多層手順を持っていました。このような手順は現在、ディープラーニングネットワークで使用されています。[ 11 ]最適なモデルを比較して選択するために、データサンプルの 2 つ以上のサブセットが使用されます。これにより、サンプルの分割が最適なモデルの自動構築中に異なるタイプの不確実性を暗黙的に認識するため、事前の仮定を回避することが可能になります。
開発の過程で、ノイズのあるデータのモデル構築の問題と、ノイズのあるチャネルを通過する信号との間に有機的な類似性が確立されました。[ 12 ]これにより、ノイズ耐性モデリング理論の基礎を築くことが可能になりました。[ 9 ]この理論の主な結果は、最適な予測モデルの複雑さがデータの不確実性のレベルに依存するということです。このレベルが高いほど（例えばノイズによる）、最適なモデルはより単純でなければなりません（推定パラメータが少なくなります）。これにより、ファジーデータのノイズ変動のレベルに最適なモデルの複雑さを自動的に適応させる帰納的方法として、GMDH 理論の開発が始まりました。したがって、GMDH は、実験データから知識を抽出するためのオリジナルの情報技術であるとよく考えられています。
1968年から1971年の期間は、識別、パターン認識、短期予測といった問題の解決に、規則性基準のみが適用された時期であった。参照関数としては、多項式、論理ネットワーク、ファジィザデー集合、ベイズ確率式などが用いられた。著者らは、この新しい手法による予測精度の高さに刺激を受けた。ノイズ耐性については検討されなかった。
1972年～1975年の期間。ノイズを含むデータと不完全な情報に基づくモデリングの問題が解決された。ノイズ耐性向上のための多基準選択と追加の事前情報の利用が提案された。最良の実験では、最適モデルの定義に別の基準を追加することで、ノイズレベルが信号の10倍になる可能性があることが示された。その後、シャノンの一般通信理論の定理を用いて改良された。
1976年から1979年の期間。多層GMDHアルゴリズムの収束が調査された。一部の多層アルゴリズムは、制御システムの静的誤差に類似した「多層性誤差」と呼ばれる誤差を示すことが実証された。1977年には、多層GMDHアルゴリズムによる客観的システム解析問題の解法が提案された。基準アンサンブルによるソートアウトによって最適な方程式系が1つだけ見つかり、複雑な対象要素、その主要な入力変数と出力変数が示されることが判明した。
1980年～1988年の期間。多くの重要な理論的成果が得られた。完全な物理モデルは長期予測には使用できないことが明らかになった。GMDHの非物理モデルは、回帰分析の物理モデルよりも近似および予測において精度が高いことが証明された。モデリングに2つの異なる時間スケールを使用する2段階アルゴリズムが開発された。
1989年以来、ファジーオブジェクトの非パラメトリックモデリングのための新しいアルゴリズム（AC、OCC、PF）とエキスパートシステムのためのSLPが開発され、研究されてきた。[ 13 ] GMDH開発の現在の段階は、ディープラーニングニューラルネットワークとマルチプロセッサコンピュータ向けの並列帰納アルゴリズムの開花として説明できる。
外部基準はGMDHの重要な特徴の一つです。この基準は、例えば最小二乗法の最小化など、モデルに対する要件を記述します。これは常に、係数の推定に使用されていないデータサンプルの別の部分を用いて計算されます。これにより、入力データの不確実性のレベルに応じて最適な複雑さのモデルを選択することが可能になります。よく用いられる基準はいくつかあります。
GMDH を使用したモデリングでは、選択基準と最大モデル複雑度のみが事前に選択されます。次に、設計プロセスは最初の層から開始され、続きます。隠れ層の層数とニューロン数、モデル構造は自動的に決定されます。許容される入力のすべての可能な組み合わせ (すべての可能なニューロン) を考慮することができます。次に、特異値分解(トレーニングデータを使用) などの利用可能な最小化方法のいずれかを使用して多項式係数が決定されます。次に、より良い外部基準値 (テストデータ用) を持つニューロンが保持され、他のニューロンは削除されます。層の最良ニューロンの外部基準が最小値に達するか、停止基準を超えると、ネットワーク設計が完了し、最後の層の最良ニューロンの多項式表現が数学的予測関数として導入されます。そうでない場合は、次の層が生成され、このプロセスが続きます。[ 14 ]
部分モデルの検討順序を選択する方法は数多くあります。GMDH で最初に使用される検討順序は、当初は多層帰納的手順と呼ばれていましたが、最も一般的なものです。これは、基本関数から生成された段階的に複雑なモデルを並べ替えるものです。最適なモデルは、外部基準特性の最小値によって示されます。多層手順は、ニューロンの多項式活性化関数を持つ人工ニューラルネットワークに相当します。したがって、このようなアプローチのアルゴリズムは、通常、GMDH 型ニューラルネットワークまたは多項式ニューラルネットワークと呼ばれます。Li は、GMDH 型ニューラルネットワークが、単一指数平滑化、二重指数平滑化、ARIMA、バックプロパゲーションニューラルネットワークなどの古典的な予測アルゴリズムよりも優れたパフォーマンスを発揮することを示しました。[ 15 ]
部分モデルの検討において、近年ますます普及しつつある重要なアプローチとして、限定的または完全な組み合わせ探索があります。このアプローチは多項式ニューラルネットワークに比べていくつかの利点がありますが、かなりの計算能力を必要とするため、入力数の多いオブジェクトには効果的ではありません。組み合わせGMDHの重要な成果は、入力データのノイズレベルがゼロより大きい場合、線形回帰アプローチを完全に凌駕することです。これにより、網羅的なソート中に最も最適なモデルが見つかることが保証されます。
基本的な組み合わせアルゴリズムは、以下の手順を実行します。
GMDH型ニューラルネットワークとは対照的に、組み合わせアルゴリズムは通常、ある一定の複雑さのレベルで停止しません。なぜなら、基準値の増加点は単に局所的な最小値である可能性があるからです（図1参照）。
