アレクセイ・イヴァクネンコ

アレクセイ・イヴァクネンコ
生まれる	オレクシー・フリホロヴィチ・イヴァフネンコ ( 1913-03-30 )1913年3月30日 ロシア帝国、ポルタヴァ県、コブリャキ
死亡	2007年10月16日(2007-10-16)（享年94歳） キエフ、ウクライナ
国籍	ウクライナ語
母校	レニングラード電気技術大学 (修士)
知られている	データ処理のグループ法、 ディープラーニング、 帰納的モデリング
受賞歴	ソ連名誉科学者ソ連の 二つの国家賞
科学者としてのキャリア
フィールド	人工知能、 機械学習、 コンピュータサイエンス
機関	グルシュコフサイバネティクス研究所 [英国]、 キエフ電気技術大学、 キエフ工科大学 ( D.Sc )
論文	電動機の自動制御のための複合システムの理論 （1954）

アレクセイ・イヴァクネンコ（ウクライナ語：Олексий Григо́рович Іва́хненко、1913年3月30日 - 2007年10月16日）は、ソ連およびウクライナの数学者であり、帰納的統計学習法であるグループ法データ処理（GMDH）の開発で最も有名であり、これによりディープラーニングの創始者の一人とみなされている。^{[1] [2]}

アレクセイはポルタヴァ県コベリャキの教師の家庭に生まれた。 ^[3] 1932年にキエフの電気技術大学を卒業し、ベレズニキの大規模発電所の建設に2年間エンジニアとして従事した。その後、1938年にレニングラード電気技術大学を卒業した後、イヴァフネンコは戦時中にモスクワの全連邦電気技術大学で働いた。そこで彼はセルゲイ・レベデフが率いる研究室で自動制御の問題を調査した。

1944年にキエフに戻った後、彼はウクライナの他の研究機関で研究を続けました。その年に博士号を取得し、その後1954年に理学博士号を取得しました。1964年に、サイバネティクス研究所の複合制御システム部門の責任者に任命されました。同時に、最初は講師として、そして1961年からはキエフ工科大学で自動制御および技術サイバネティクスの教授として働きました。

イヴァクネンコは、パターン認識や複雑系予測に用いられる科学的アプローチである帰納的モデリングの創始者として知られている。^{[4]彼はこのアプローチを}、グループデータ処理法(GMDH)の開発中に使用した。1968 年、雑誌「アフトマティカ」に彼の論文「グループデータ処理法 - 確率的近似法のライバル」が掲載され、^[5]彼の科学的研究の新たな段階の始まりとなった。彼は、サイバネティクス研究所の数学者とエンジニアの専門チームとともに、このアプローチの開発を主導した。

GMDH法は、人工知能における問題を解決するための独自のアプローチ、さらには現代のコンピュータを使用して可能になった科学研究への新しい哲学を提示しています。 ^[4]研究者は、「一般理論から特定のモデルへ」という従来の演繹的モデル構築方法、つまりオブジェクトの監視、その構造の研究、その動作原理の理解、理論の開発、およびオブジェクトのモデルのテストに厳密に従う必要はありません。代わりに、「指定されたデータから一般的なモデルへ」という新しいアプローチが提案されています。データの入力後、研究者はモデルのクラス、モデルの種類（バリアント生成）を選択し、モデル選択の基準を設定します。ほとんどの日常的な作業がコンピュータに移行されるため、客観的な結果に対する人間の影響は最小限に抑えられます。実際、このアプローチは、コンピュータが人間の強力なアドバイザーとして機能できるという人工知能のテーゼの実装の1つと見なすことができます。

GMDHの開発は、サイバネティックスの「ブラックボックス」の概念と対の特徴の連続的な遺伝的選択の原理、ゲーデルの不完全性定理とガボールの「決定選択の自由」の原理、^[6]アデマールの不正確さとビールの外部追加の原理^{[7]など、さまざまな科学分野のアイデアの統合で構成されています。}

GMDHは、不確実性の下での実験データのモデルの構造パラメータ同定の問題を解決するための独自の方法です。^[8]このような問題は、調査対象のオブジェクトまたはプロセスの未知のパターンを近似する数学モデルの構築時に発生します。 ^[9]データに暗黙的に含まれている情報を使用します。 GMDHは、自動モデル生成、不確定な決定、最適な複雑さのモデルを見つけるための外部基準による一貫した選択という原則を積極的に適用することで、他のモデリング方法とは異なります。 GMDHには、ペアワイズ連続機能を考慮して生物学的選択の進化プロセスを模倣する、自動モデル構造生成のための独自の多層手順がありました。 このような手順は現在、ディープラーニングネットワークで使用されています。^[10]最適なモデルを比較して選択するために、データサンプルの2つ以上のサブセットが使用されます。 これにより、サンプル分割によって最適モデルの自動構築中にさまざまな種類の不確実性が暗黙的に認識されるため、予備的な仮定を回避できます。

1980年代初頭、イヴァクネンコは、ノイズの多いデータのモデル構築の問題と、ノイズのあるチャネルを通過する信号との間に有機的な類似性を確立しました。^[11]これにより、ノイズ耐性モデリング理論の基礎を築くことができました。^[8]この理論の主な結果は、最適な予測モデルの複雑さはデータの不確実性のレベルに依存するというものです。このレベルが高いほど（ノイズなどにより）、最適なモデルはより単純になります（推定パラメータが少なくなります）。これが、ファジーデータの情報レベルに最適なモデルの複雑さを自動的に適応させる帰納的方法として、GMDH理論の開発のきっかけとなりました。そのため、GMDHは実験データから知識を抽出するための元祖情報技術であると考えられることがよくあります。

GMDH と並行して、Ivakhnenko は次の一連の結果を開発しました。

• 自己組織化深層学習ネットワークの構築原理。^[4]
• 実験データに基づく自己組織化モデルの理論。^[12]
• 予測最適化による制御方法。^[13]
• 交流および非同期電動機の速度の自動制御の新しい原理。^[14]
• 測定された外乱を補償する適応制御のための不変システムの理論。 ^[15]彼は、後に実際に使用されることになる「微分フォーク」と呼ばれる外乱の間接測定の原理を開発した。
• 複合制御の原理（制御変数に対する負帰還と制御外乱に対する正帰還）。^[16]電気モーターの速度制御のためのこのようなシステムは、実際に数多く実装されています。これにより、偏差制御（高精度）のクローズドシステムとオープンシステム（パフォーマンス）の利点を組み合わせた複合制御システムにおける不変条件の実際的な実現可能性が証明されました。
• 状況認識に基づく非探索的極限規制^[17]
• 自己学習パターン認識の原理。これは、彼のリーダーシップの下で作成された認知システム「アルファ」^[9]で最初に実証されました。
• サイバネティック予測装置の構築の基礎。^[18]
• ノイズを含むデータに対する堅牢なモデリングのノイズ耐性原理。^[8]
• 各ニューロンがアルゴリズムであるアクティブニューロンを持つ多層ニューラルネットワークの設計。

イヴァクネンコは、不変性の理論と、測定された外乱の補償の原理に基づいて動作する複合自動制御システムの理論における業績でよく知られています。彼は、磁気増幅器とモーターを備えたシステムの適応制御のためのデバイスと方法を開発しました。

彼は、ソ連初の工学サイバネティクスに関するモノグラフ^[17]の著者であり、これは世界中で7つの言語で出版されました。^[19]彼の研究では、複合制御の原理のさらなる発展が、制御システムにおける進化的 自己組織化、パターン認識、予測の方法の実装と結び付けられていました。

近年、彼の主なイノベーションであるGMDH法は、帰納的モデリング、複雑なプロセス、およびシステム予測の方法として開発されました。彼のアイデアは現在、ディープラーニングネットワークで利用されています。 ^{[2]この方法の有効性は、}生態学、気象学、経済、テクノロジーの実際の複雑な問題の解決中に繰り返し確認され、国際的な科学コミュニティでの人気が高まりました。^[20]並行して、関連分野であるパターン認識のクラスタリング問題における進化的自己組織化アルゴリズムの開発が行われました。^[21]環境プロセスのモデリングの進歩はモノグラフに反映され、^{[22] [11]}経済プロセスのモデリングの進歩は書籍に反映されています。^{[13] [23]}再帰型多層GMDHアルゴリズムの調査結果は書籍に記載されています。^{[12] [4]}

1963 年から 1989 年まで、イヴァクネンコは専門科学雑誌「Avtomatika」(後の「管理とコンピュータ サイエンスの問題」) の編集者を務め、ウクライナの帰納的モデリング学派の形成と発展に重要な役割を果たしました。この間、この雑誌は米国で「Soviet Automatic Control」(後の「Journal of Automation and Information Sciences」) として翻訳され、再版されました。

1945年以来、イヴァクネンコは自身の分野で絶え間ない革新を続ける傍ら、最初は理論力学部門の助教授として、その後は制御システム学部で教職に就き、活発な教育活動を続けてきた。1960年以降はキエフ工科大学の技術サイバネティクス部門の教授として、大学や学生団体に講義を行い、多くの大学院生の研究を監督した。1958年から1964年にかけて、彼はキエフで不変に関する全連邦会議の主催者を務め、そこでは禁止されていた不変制御システム理論の発展が復活した。^[24]

彼の尽きることのない情熱により、KPI とサイバネティクス研究所では 220 人以上の若い科学者が彼の指導の下、博士論文を準備し、無事に審査を受けることができました。また、彼の教え子のうち 30 人近くが博士論文審査を受けました。イヴァフネンコの科学学校は、当時も今も、非常に優秀な科学者のゆりかごです。さらに、彼の教え子である VMKuntsevych、VIKostyuk、VIIvanenko、VIVasiliev、AAPavlov らは、それぞれ独自の尊敬される科学学校を設立しました。イヴァフネンコは、新しくて素晴らしい科学的直感力を持つ、科学者の輝かしい手本でした。彼は亡くなるまで、積極的に研究を続け、独創的な科学的アイデアと結果を惜しみなく生み出しました。

イヴァクネンコはソ連の名誉科学者（1972 年）であり、不変自動システムの理論に関する研究と人工知能分野の情報技術に関する一連の出版物により、国家賞を 2 度受賞（1991 年、1997 年）。著書は 40 冊、科学論文は 500 本以上。国立工科大学「KPI」（2003 年）およびリヴィウ工科大学（2005 年）の名誉博士。ソ連科学アカデミー通信員（1961 年）、ウクライナ科学アカデミー会員（2003 年）であった。

• Ivakhnenko AG「工学サイバネティクスの問題におけるヒューリスティックな自己組織化」、Automatica、第6巻、1970年 — p. 207-219。
• Ivakhnenko AG 複雑系の多項式理論、IEEE Transactions on Systems Man and Cyber​​netics、4、1971 — p. 364-378。
• Ivakhnenko, AG; Ivakhnenko, GA (1995). 「グループデータ処理法 (GMDH) のアルゴリズムで解決可能な問題のレビュー」(PDF) .パターン認識と画像解析. 5 (4): 527– 535. CiteSeerX  10.1.1.19.2971 .
• Ivakhnenko, AG; Müller, J.-A. (1997)「株式市場の予測と分析における自己組織化モデリングの最近の開発」(PDF)。

• データ処理のグループ方式
• GMDH の書籍と記事のライブラリ
• GMDH:著者について — Aleksey Ivakhnenko の経歴とプレゼンテーション。