人工ニューラルネットワークの種類

人工ニューラルネットワーク( ANN ) には多くの種類があります。

人工ニューラルネットワークは、生物学的ニューラルネットワークにヒントを得た計算モデルであり、一般には未知の機能を近似するために使用されます。特に、ニューロンの挙動と、ニューロンが脳からの入力（目や手の神経終末などからの入力）、処理、出力（光、接触、熱への反応など）の間で伝達する電気信号にヒントを得ています。ニューロンが意味的に通信する方法は、現在も研究が進められています。^{[1] [2] [3] [4]}ほとんどの人工ニ​​ューラルネットワークは、より複雑な生物学的ニューラルネットワークと似ているところがありますが、意図したタスク（分類やセグメンテーションなど）では非常に効果的です。

一部の人工ニューラル ネットワークは適応型システムであり、たとえば、常に変化する集団や環境をモデル化するために使用されます。

ニューラル ネットワークは、ハードウェア ベース (ニューロンは物理コンポーネントで表現されます) またはソフトウェア ベース(コンピューター モデル)にすることができ、さまざまなトポロジと学習アルゴリズムを使用できます。

フィードフォワード ニューラル ネットワークは、最初の最も単純なタイプです。このネットワークでは、情報は入力層から隠れ層を直接通過して出力層に循環やループなしで移動します。フィードフォワード ネットワークは、バイナリMcCulloch–Pitts ニューロンなど、さまざまな種類のユニットで構築できます。最も単純なのはパーセプトロンです。連続ニューロンは、多くの場合、シグモイド活性化を使用して、バックプロパゲーションのコンテキストで使用されます。

グループデータ処理法（GMDH）^[5]は、完全に自動化された構造およびパラメトリックモデルの最適化を特徴としています。ノード活性化関数は、加算と乗算を可能にするコルモゴロフ-ガボール多項式です。8層の深層多層パーセプトロンを使用します。 ^{[6]これは、層ごとに成長する}教師あり学習ネットワークであり、各層は回帰分析によってトレーニングされます。役に立たない項目は検証セットを使用して検出され、正則化によって削除されます。結果として得られるネットワークのサイズと深さは、タスクによって異なります。^[7]

オートエンコーダ、オートアソシエータ、またはディアボロネットワーク^{[8] : 19 は}、入力層、出力層、およびそれらを接続する 1 つ以上の隠れ層を持つ多層パーセプトロン(MLP)に似ています。ただし、出力層には入力層と同じ数のユニットがあります。その目的は、（ターゲット値を出力するのではなく）独自の入力を再構築することです。したがって、オートエンコーダは教師なし学習モデルです。オートエンコーダは、効率的なコーディングの教師なし学習に使用され、^{[9] [10]通常は}次元削減とデータの生成モデルの学習のために使用されます。^{[11] [12]}

確率ニューラルネットワーク（PNN）は、4層のフィードフォワードニューラルネットワークです。層は、入力、隠れパターン/合計、出力です。PNNアルゴリズムでは、各クラスの親確率分布関数（PDF）は、パルゼンウィンドウとノンパラメトリック関数によって近似されます。次に、各クラスのPDFを使用して、新しい入力のクラス確率が推定され、ベイズの規則を使用して、事後確率が最も高いクラスに割り当てます。^{[13]これは、}ベイジアンネットワーク^[14]とカーネルフィッシャー判別分析と呼ばれる統計アルゴリズムから派生しました。^[15]分類とパターン認識に使用されます。

時間遅延ニューラル ネットワーク (TDNN) は、シーケンスの位置に関係なく特徴を認識する、シーケンシャル データ用のフィードフォワード アーキテクチャです。時間シフト不変性を実現するために、入力に遅延が追加され、複数のデータ ポイント (時点) が一緒に分析されます。

これは通常、より大きなパターン認識システムの一部を形成します。これは、バックプロパゲーション（教師あり学習）によって接続重みが訓練されたパーセプトロンネットワークを使用して実装されています。 ^[16]

畳み込みニューラルネットワーク（CNN、ConvNet、シフト不変、空間不変）は、1つ以上の畳み込み層とその上の完全結合層（一般的なANNの層に一致）で構成されるディープネットワークの一種です。^{[17] [18]}これは、結合重みとプーリング層を使用します。特に、最大プーリングです。^[19]これは、多くの場合、福島の畳み込みアーキテクチャを介して構築されます。^{[20]これらは、最小限の}前処理を使用する多層パーセプトロンのバリエーションです。^[21]このアーキテクチャにより、CNNは入力データの2D構造を利用できます。

そのユニット接続パターンは視覚皮質の構成にヒントを得ている。ユニットは受容野と呼ばれる限られた空間領域内の刺激に反応する。受容野は部分的に重なり合って視野全体を覆っている。ユニットの反応は畳み込み演算によって数学的に近似できる。^[22]

CNNは、視覚データやその他の2次元データの処理に適しています。^{[23] [24]}画像と音声の両方のアプリケーションで優れた結果を示しています。標準的なバックプロパゲーションでトレーニングできます。CNNは、他の通常のディープフィードフォワードニューラルネットワークよりもトレーニングが容易で、推定するパラメータがはるかに少なくなります。^[25]

カプセルニューラルネットワーク（CapsNet）は、CNNにカプセルと呼ばれる構造を追加し、複数のカプセルからの出力を再利用して、より安定した（さまざまな摂動に対して）表現を形成します。^[26]

コンピュータビジョンの応用例としては、DeepDream ^[27]やロボットナビゲーション^[28]などが挙げられます。これらは、画像やビデオの認識、レコメンデーションシステム^[29]、自然言語処理^[30]など、幅広い分野で応用されています。

ディープスタッキングネットワーク（DSN）^[31]（ディープコンベックスネットワーク）は、簡略化されたニューラルネットワークモジュールのブロックの階層に基づいています。これは、2011年にDengとYuによって導入されました。^{[32]これは、}スタックされた一般化とのメカニズムの類似性を強調し、閉じた形式のソリューションを持つ凸最適化問題として学習を定式化します。^[33]各DSNブロックは、ブロック全体をバックプロパゲーションすることなく、教師あり方式で単独で簡単にトレーニングできる単純なモジュールです。 ^[8]

各ブロックは、単一の隠し層を持つ簡略化された多層パーセプトロン(MLP) で構成されています。隠し層hにはロジスティックシグモイド ユニットがあり、出力層には線形ユニットがあります。これらの層間の接続は重み行列U で表され、入力から隠し層への接続には重み行列Wがあります。ターゲット ベクトルtは行列Tの列を形成し、入力データ ベクトルx は行列Xの列を形成します。隠しユニットの行列は です。モジュールは順番にトレーニングされるため、各段階で下位層の重みWが既知です。関数は要素ごとのロジスティック シグモイド演算を実行します。各ブロックは同じ最終ラベル クラスy を推定し、その推定値は元の入力Xと連結されて次のブロックの拡張入力を形成します。したがって、最初のブロックへの入力には元のデータのみが含まれ、下流のブロックの入力には前のブロックの出力が追加されます。次に、ネットワーク内の他の重みが与えられた上位層の重み行列U を学習することは、凸最適化問題として定式化できます。 ${\displaystyle {\boldsymbol {H}}=\sigma ({\boldsymbol {W}}^{T}{\boldsymbol {X}})}$

${\displaystyle \min _{U^{T}}f=\|{\boldsymbol {U}}^{T}{\boldsymbol {H}}-{\boldsymbol {T}}\|_{F}^{2},}$

これには閉じた形の解がある。^[31]

DBNなどの他のディープ アーキテクチャとは異なり、目的は変換された特徴表現を発見することではありません。この種のアーキテクチャの階層構造により、バッチ モードの最適化問題として並列学習が簡単になります。純粋に識別的なタスクでは、DSN は従来の DBN よりも優れています。

このアーキテクチャはDSNの拡張です。2つの重要な改善点があります。共分散統計からの高次情報を使用することと、下位層の非凸問題を上位層の凸サブ問題に変換することです。 ^{[34] TDSNは、3次}テンソルを介して、同じ層にある2つの異なる隠れユニットセットのそれぞれから予測への双線形マッピングで共分散統計を使用します。

従来のDNNでは並列化とスケーラビリティは真剣に考慮されていませんが、^{[35] [36] [37]} DSNとTDSNの学習はすべてバッチモードで行われ、並列化が可能になっています。^{[32] [31]}並列化により、より大きな（より深い）アーキテクチャとデータセットに設計を拡張することができます。

基本的なアーキテクチャは、分類や回帰などのさまざまなタスクに適しています。

調節フィードバック ネットワークは、ネットワーク全体のバーストや感覚認識で普遍的に見られる類似性の難しさなど、認識中に見られる脳の現象を説明するためのモデルとして始まりました。認識中に最適化を実行するメカニズムは、それらをアクティブにする同じ入力への抑制フィードバック接続を使用して作成されます。これにより、学習中の要件が軽減され、複雑な認識を実行しながらも、学習と更新が容易になります。

調節フィードバックネットワークは、負のフィードバックを使用して推論を行います。^[38] フィードバックは、ユニットの最適な活性化を見つけるために使用されます。これは、ノンパラメトリック法に最も似ていますが、フィードフォワードネットワークを数学的にエミュレートする点で K近傍法とは異なります。

ラジアル基底関数は、中心に対する距離基準を持つ関数です。ラジアル基底関数は、多層パーセプトロンのシグモイド隠れ層伝達特性の代わりとして適用されてきました。RBF ネットワークには 2 つの層があります。最初の層では、入力は「隠れ」層の各 RBF にマッピングされます。選択される RBF は通常、ガウス分布です。回帰問題では、出力層は平均予測出力を表す隠れ層値の線形結合です。この出力層値の解釈は、統計学の回帰モデルと同じです。分類問題では、出力層は通常、事後確率を表す隠れ層値の線形結合のシグモイド関数です。どちらの場合も、パフォーマンスは、古典的な統計学でリッジ回帰と呼ばれる収縮技術によって改善されることがよくあります。これは、ベイズフレームワークにおける小さなパラメーター値 (したがって滑らかな出力関数) に対する事前確信に対応します。

RBF ネットワークには、多層パーセプトロンと同様に、局所的最小値を回避できるという利点があります。これは、学習プロセスで調整される唯一のパラメータが、隠れ層から出力層への線形マッピングであるためです。線形性により、誤差面が 2 次式になり、簡単に見つかる最小値が 1 つになります。回帰問題では、これは 1 つの行列演算で見つけることができます。分類問題では、シグモイド出力関数によって導入される固定非線形性は、反復的に再重み付けされた最小二乗法を使用して最も効率的に処理されます。

RBF ネットワークには、ラジアル基底関数によって入力空間を十分にカバーする必要があるという欠点があります。RBF の中心は、入力データの分布を参照して決定されますが、予測タスクは参照されません。その結果、タスクに関係のない入力空間の領域で表現リソースが無駄になる可能性があります。一般的な解決策は、各データ ポイントを独自の中心に関連付けることですが、これにより最終層で解決する線形システムが拡張され、過剰適合を回避するために縮小技術が必要になります。

各入力データを RBF に関連付けると、サポート ベクター マシン(SVM) やガウス過程 (RBF はカーネル関数) などのカーネル法が自然に生まれます。3 つのアプローチはすべて、非線形カーネル関数を使用して、学習問題を線形モデルを使用して解決できる空間に入力データを投影します。ガウス過程と同様に、SVM とは異なり、RBF ネットワークは通常、確率を最大化する (エラーを最小化する) 最大尤度フレームワークでトレーニングされます。SVM は、代わりにマージンを最大化することでオーバーフィッティングを回避します。ほとんどの分類アプリケーションでは、SVM が RBF ネットワークよりも優れています。回帰アプリケーションでは、入力空間の次元が比較的小さい場合に競争力を発揮できます。

RBF ニューラル ネットワークは、概念的にはK 近傍法(k-NN) モデルに似ています。基本的な考え方は、類似の入力により類似の出力が生成されるというものです。

トレーニング セット内の各ケースに x と y の 2 つの予測変数があり、ターゲット変数に正と負の 2 つのカテゴリがあるとします。予測値が x=6、y=5.1 の新しいケースの場合、ターゲット変数はどのように計算されるでしょうか。

この例で実行される最近傍分類は、考慮される隣接ポイントの数によって異なります。1-NN が使用され、最も近いポイントが負の場合、新しいポイントは負として分類される必要があります。または、9-NN 分類が使用され、最も近い 9 つのポイントが考慮される場合、周囲の 8 つの正のポイントの影響が、最も近い 9 番目 (負) のポイントよりも大きくなる可能性があります。

RBF ネットワークは、予測変数 (この例では x、y) によって記述される空間にニューロンを配置します。この空間には、予測変数と同じ数の次元があります。新しいポイントから各ニューロンの中心までのユークリッド距離が計算され、その距離にラジアル ベース関数 (RBF、カーネル関数とも呼ばれる) が適用されて、各ニューロンの重み (影響) が計算されます。ラジアル ベース関数は、半径距離が関数の引数であるため、このように呼ばれています。

重量= RBF(距離)

新しいポイントの値は、RBF 関数の出力値に各ニューロンに対して計算された重みを掛けて合計することで求められます。

ニューロンのラジアル基底関数には、中心と半径 (広がりとも呼ばれる) があります。半径はニューロンごとに異なる場合があり、DTREG によって生成された RBF ネットワークでは、半径は各次元で異なる場合があります。

広がりが大きいほど、ある点から離れたニューロンの影響が大きくなります。

RBF ネットワークには 3 つの層があります。

• 入力層: 入力層には、予測変数ごとに 1 つのニューロンが表示されます。カテゴリ変数の場合、N-1 個のニューロンが使用されます (N はカテゴリの数)。入力ニューロンは、中央値を減算し、四分位範囲で割ることで値の範囲を標準化します。次に、入力ニューロンは値を隠し層の各ニューロンに渡します。
• 隠し層:この層には、ニューロンの数が可変です (トレーニング プロセスによって決定されます)。各ニューロンは、予測変数と同じ数の次元を持つ点を中心とするラジアル ベース関数で構成されます。RBF 関数の広がり (半径) は、次元ごとに異なる場合があります。中心と広がりはトレーニングによって決定されます。入力層からの入力値の x ベクトルが提示されると、隠しニューロンは、ニューロンの中心点からのテスト ケースのユークリッド距離を計算し、広がり値を使用してこの距離に RBF カーネル関数を適用します。結果の値は合計層に渡されます。
• 合計層:隠れ層のニューロンから出力される値は、ニューロンに関連付けられた重みで乗算され、他のニューロンの重み付き値に加算されます。この合計が出力になります。分類問題の場合、ターゲット カテゴリごとに 1 つの出力が生成されます (重みと合計単位の個別のセットを使用)。カテゴリの値出力は、評価対象のケースにそのカテゴリが含まれる確率です。

トレーニング プロセスによって次のパラメータが決定されます。

• 隠れ層のニューロンの数
• 各隠れ層RBF関数の中心の座標
• 各次元における各RBF関数の半径（広がり）
• RBF関数の出力に適用される重みは、合計層に渡される。

RBF ネットワークのトレーニングには、さまざまな方法が使用されています。1 つのアプローチでは、まずK 平均法クラスタリングを使用してクラスターの中心を見つけ、それを RBF 関数の中心として使用します。ただし、K 平均法クラスタリングは計算量が多く、最適な数の中心を生成しないことがよくあります。別のアプローチでは、トレーニング ポイントのランダムなサブセットを中心として使用します。

DTREG は、進化的アプローチを使用して各ニューロンの最適な中心点と広がりを決定するトレーニング アルゴリズムを使用します。推定された Leave-One-Out (LOO) エラーを監視し、オーバーフィッティングにより LOO エラーが増加し始めたときに終了することで、ネットワークへのニューロンの追加を停止するタイミングを決定します。

隠れ層と合計層のニューロン間の最適な重みの計算は、リッジ回帰を使用して行われます。反復手順により、一般化クロス検証 (GCV) エラーを最小化する最適な正規化 Lambda パラメータが計算されます。

GRNN は、確率ニューラル ネットワークに似た連想記憶ニューラル ネットワークですが、分類ではなく回帰と近似に使用されます。

ディープビリーフネットワーク（DBN）は、複数の隠れ層で構成された確率的生成モデルであり、単純な学習モジュールの組み合わせと考えることができる。 ^[39]

DBN は、学習した DBN の重みを初期 DNN の重みとして使用することで、ディープ ニューラル ネットワーク (DNN) を生成的に事前トレーニングするために使用できます。その後、さまざまな識別アルゴリズムを使用してこれらの重みを調整できます。これは、トレーニング データが限られている場合に特に役立ちます。初期化が不十分な重みは学習を大幅に妨げる可能性があるためです。これらの事前トレーニングされた重みは、ランダムな選択よりも最適な重みに近い重み空間の領域に配置されます。これにより、モデリングが改善され、最終的な収束が速くなります。^[40]

リカレント ニューラル ネットワーク(RNN) は、データを後続の処理段階から前続の処理段階に前方だけでなく後方にも伝播します。RNN は、一般的なシーケンス プロセッサとして使用できます。

このアーキテクチャは 1980 年代に開発されました。そのネットワークは、ユニットの各ペア間に有向接続を作成します。各ユニットには、時間によって変化する実数値 (0 または 1 以上の値) のアクティベーション (出力) があります。各接続には、変更可能な実数値の重みがあります。ノードの一部はラベル付きノード、一部は出力ノード、残りは隠しノードと呼ばれます。

離散時間設定での教師あり学習の場合、実数値入力ベクトルのトレーニング シーケンスは、入力ノードのアクティベーションのシーケンス (一度に 1 つの入力ベクトル) になります。各時間ステップで、各非入力ユニットは、接続を受信するすべてのユニットのアクティベーションの加重合計の非線形関数として、現在のアクティベーションを計算します。システムは、特定の時間ステップで一部の出力ユニットを明示的にアクティブ化できます (着信信号とは無関係)。たとえば、入力シーケンスが発話された数字に対応する音声信号である場合、シーケンスの最後の最終ターゲット出力は、数字を分類するラベルになります。各シーケンスのエラーは、ネットワークによって計算されたすべてのアクティベーションの、対応するターゲット信号からの偏差の合計です。多数のシーケンスのトレーニング セットの場合、合計エラーは、すべての個別のシーケンスのエラーの合計です。

総誤差を最小化するために、非線形活性化関数が微分可能であることを条件として、勾配降下法を使用して、誤差に関する導関数に比例して各重みを変更できます。標準的な方法は、「時間によるバックプロパゲーション」または BPTT と呼ばれ、フィードフォワードネットワークのバックプロパゲーションの一般化です。^{[41] [42]}より計算コストの高いオンラインバリアントは、「リアルタイムリカレントラーニング」または RTRL と呼ばれます。^{[43] [44]} BPTT とは異なり、このアルゴリズムは時間的にはローカルですが、空間的にはローカルではありません。^{[45] [46]} BPTT と RTRL の中間の複雑さのオンラインハイブリッドが存在し、^{[47] [48]}連続時間用のバリアントがあります。^[49]標準的な RNN アーキテクチャの勾配降下法の主な問題は、重要なイベント間の時間差の大きさに応じて、誤差勾配が指数関数的に急速に消失することです。^{[50] [51]}長期短期記憶アーキテクチャはこれらの問題を克服します。^[52]

強化学習の設定では、教師はターゲット信号を提供しません。代わりに、適応度関数、報酬関数、または効用関数がパフォーマンスを評価するために使用されることがあります。これらは、環境に影響を与えるアクチュエータに接続された出力ユニットを通じて入力ストリームに影響を与えます。進化計算のバリアントは、重みマトリックスを最適化するためによく使用されます。

ホップフィールド ネットワーク(類似のアトラクター ベースのネットワークと同様) は、パターンのシーケンスを処理するように設計されていないため、一般的な RNN ではありませんが、歴史的に興味深いものです。代わりに、定常入力が必要です。これは、すべての接続が対称である RNN です。収束することが保証されます。接続がヘブビアン学習を使用してトレーニングされている場合、ホップフィールド ネットワークは、接続の変更に耐性のある堅牢なコンテンツ アドレス可能メモリとして機能します。

ボルツマンマシンは、ノイズの多いホップフィールド ネットワークと考えることができます。これは、潜在変数(隠れたユニット) の学習を実証した最初のニューラル ネットワークの 1 つです。ボルツマン マシン学習は、最初はシミュレーションに時間がかかりましたが、コントラスト ダイバージェンス アルゴリズムにより、ボルツマン マシンとProduct of Expertsのトレーニングが高速化されました。

自己組織化マップ (SOM) は、教師なし学習を使用します。ニューロンのセットは、入力空間の点を出力空間の座標にマッピングすることを学習します。入力空間は出力空間とは異なる次元とトポロジを持つことができ、SOM はこれらを維持しようとします。

学習ベクトル量子化(LVQ) は、ニューラル ネットワーク アーキテクチャとして解釈できます。クラスのプロトタイプの代表は、適切な距離測定とともに、距離ベースの分類スキームでパラメーター化されます。

単純再帰型ネットワークは3層から成り、入力層に「コンテキストユニット」のセットが追加されています。これらのユニットは、固定重み1で隠れ層または出力層から接続します。^[53]各時間ステップで、入力は標準的なフィードフォワード方式で伝播され、その後、バックプロパゲーションのような学習ルールが適用されます（勾配降下法は実行されません）。固定されたバック接続は、コンテキストユニット内の隠れユニットの以前の値のコピーを残します（学習ルールが適用される前に接続を介して伝播するため）。

リザーバコンピューティングは、ニューラルネットワークの拡張として見ることができる計算フレームワークです。^[54]通常、入力信号はリザーバと呼ばれる固定（ランダム）動的システムに入力され、そのダイナミクスによって入力が高次元にマッピングされます。読み出しメカニズムは、リザーバを目的の出力にマッピングするようにトレーニングされます。トレーニングは読み出し段階でのみ実行されます。液体状態マシン^[55]は、リザーバコンピューティングの一種です。^[56]

エコーステートネットワーク（ESN）は、疎に接続されたランダムな隠れ層を採用しています。出力ニューロンの重みは、ネットワークの中で唯一訓練される部分です。ESNは、特定の時系列を再現するのに優れています。^[57]

長短期記憶（LSTM）^[52]は勾配消失問題を回避します。入力間の遅延が長い場合でも機能し、低周波成分と高周波成分が混在する信号も処理できます。LSTM RNNは、言語学習^[58]や接続された手書き認識^[59]などのアプリケーションにおいて、他のRNNやHMMなどの他のシーケンス学習方法よりも優れた性能を示しました。

双方向RNN（BRNN）は、有限シーケンスを使用して、要素の過去と未来の両方のコンテキストに基づいてシーケンスの各要素を予測またはラベル付けします。^[60]これは、2つのRNNの出力を追加することによって行われます。1つはシーケンスを左から右に処理し、もう1つは右から左に処理します。結合された出力は、教師が指定したターゲット信号の予測です。この手法は、LSTMと組み合わせると特に有用であることが証明されています。^[61]

階層型RNNはさまざまな方法で要素を接続し、階層的な動作を有用なサブプログラムに分解します。^{[62] [63]}

従来のニューラル ネットワークとは異なる、ランダム関数の近似として使用される確率的人工ニューラル ネットワーク。

RNN (多くの場合 LSTM) では、シリーズが複数のスケールに分解され、各スケールは 2 つの連続するポイント間の主な長さを示します。1 次スケールは通常の RNN で構成され、2 次スケールは 2 つのインデックスで区切られたすべてのポイントで構成されます。N 次 RNN は、最初のノードと最後のノードを接続します。さまざまなスケールからの出力はすべて、マシンの委員会として扱われ、関連するスコアは次の反復で遺伝的に使用されます。

生物学的研究により、人間の脳は小さなネットワークの集合体として機能していることがわかっています。この認識により、いくつかの小さなネットワークが協力したり競合したりして問題を解決するモジュール型ニューラル ネットワークの概念が生まれました。

マシン委員会 (CoM) は、特定の例に対して共同で「投票」するさまざまなニューラル ネットワークの集合です。これは通常、個別のネットワークよりもはるかに優れた結果をもたらします。ニューラル ネットワークは局所最小値の影響を受けるため、同じアーキテクチャとトレーニングから始めても、ランダムに異なる初期重みを使用すると、結果が大きく異なることがよくあります。^{[引用が必要]} CoM は結果を安定させる傾向があります。

CoM は一般的な機械学習の バギング法に似ていますが、委員会内の必要なマシンの多様性は、トレーニング データのランダムに選択された異なるサブセットでトレーニングするのではなく、異なる開始重みからトレーニングすることによって取得される点が異なります。

連想ニューラルネットワーク（ASNN）は、複数のフィードフォワードニューラルネットワークとk近傍法を組み合わせたマシン委員会の拡張版です。kNNの分析されたケース間の距離の尺度として、アンサンブル応答間の相関関係を使用します。これにより、ニューラルネットワークアンサンブルのバイアスが修正されます。連想ニューラルネットワークには、トレーニングセットと一致できるメモリがあります。新しいデータが利用可能になると、ネットワークは即座に予測能力を向上させ、再トレーニングなしでデータの近似（自己学習）を提供します。ASNNのもう1つの重要な機能は、モデル空間内のデータケース間の相関関係を分析することで、ニューラルネットワークの結果を解釈できることです。^[64]

物理ニューラルネットワークには、人工シナプスをシミュレートするための電気的に調整可能な抵抗材料が含まれています。例としては、ADALINE メモリスタベースのニューラルネットワークがあります。^[65]光 ニューラルネットワークは、光学コンポーネント を備えた 人工ニューラルネットワーク の物理的な実装です 。

静的ニューラルネットワークとは異なり、動的ニューラルネットワークは推論中に構造やパラメータを入力に適応させ、過渡現象や遅延効果などの時間依存の動作を示します^[66]。パラメータが時間の経過とともに変化する可能性のある動的ニューラルネットワークは、1つのニューラルネットワークが別のニューラルネットワークの重みを出力する高速重みアーキテクチャ（1987）^[67]に関連しています。

カスケード相関は、アーキテクチャと教師あり学習 アルゴリズムです。固定トポロジーのネットワークで重みを調整する代わりに、^[68]カスケード相関は最小限のネットワークから開始し、新しい隠れユニットを 1 つずつ自動的にトレーニングして追加し、多層構造を作成します。新しい隠れユニットがネットワークに追加されると、その入力側の重みは固定されます。このユニットは、ネットワーク内で永続的な特徴検出器となり、出力を生成したり、他のより複雑な特徴検出器を作成したりするために使用できます。カスケード相関アーキテクチャには、学習が速く、サイズとトポロジーを独自に決定し、トレーニング セットが変更されても構築した構造を保持し、バックプロパゲーションを必要としないなど、いくつかの利点があります。

ニューロファジーネットワークは、人工ニューラルネットワークの本体にあるファジー 推論システムです。 FIS の種類に応じて、複数のレイヤーがファジー推論のようなファジー化、推論、集約、および非ファジー化に関わるプロセスをシミュレートします。 FIS を ANN の一般的な構造に埋め込むと、利用可能な ANN トレーニング方法を使用してファジーシステムのパラメータを見つけることができるという利点があります。

合成パターン生成ネットワーク (CPPN) は人工ニューラル ネットワークの一種で、活性化関数のセットとその適用方法が異なります。一般的な人工ニューラル ネットワークにはシグモイド関数(場合によってはガウス関数) のみが含まれることが多いのに対し、CPPN には両方のタイプの関数とその他多くの関数を含めることができます。さらに、一般的な人工ニューラル ネットワークとは異なり、CPPN は入力可能な空間全体に適用され、完全な画像を表すことができます。関数の組み合わせであるため、CPPN は実質的に無限の解像度で画像をエンコードし、特定のディスプレイに最適な解像度でサンプリングできます。

メモリネットワーク^{[69] [70]には}長期記憶が組み込まれています。長期記憶は予測に使用することを目的として、読み書きすることができます。これらのモデルは質問応答（QA）のコンテキストに適用されており、長期記憶は（動的な）知識ベースとして効果的に機能し、出力はテキスト応答です。^[71]

疎分散メモリや階層的時間メモリでは、ニューラルネットワークによってエンコードされたパターンが内容アドレス可能メモリのアドレスとして使用され、「ニューロン」は本質的にアドレスエンコーダーとデコーダーとして機能します。しかし、このようなメモリの初期のコントローラーは微分可能ではありませんでした。^[72]

このタイプのネットワークは、再トレーニングなしで新しいパターンを追加できます。これは、隣接して接続された階層配列を使用して各新しいパターンを直交平面に割り当てる特定のメモリ構造を作成することによって行われます。^{[73]このネットワークは、リアルタイムのパターン認識と高いスケーラビリティを提供します。これには並列処理が必要であるため、}ワイヤレスセンサーネットワーク、グリッドコンピューティング、GPGPUなどのプラットフォームに最適です。

階層的時間記憶 (HTM) は、大脳新皮質の構造的およびアルゴリズム的特性の一部をモデル化します。HTM は、記憶予測理論に基づく生体模倣モデルです。HTM は、観察された入力パターンとシーケンスの高レベルの原因を発見および推論し、ますます複雑化する世界のモデルを構築する方法です。

HTM は、多くの機能を提供するシンプルな設計で大脳新皮質を模倣する既存のアイデアを組み合わせています。HTM は、ベイジアン ネットワーク、空間および時間クラスタリング アルゴリズムで使用されるアプローチを組み合わせて拡張し、ニューラル ネットワークで一般的なツリー状のノード階層を使用します。

ホログラフィック連想記憶 (HAM) は、アナログで相関ベースの連想刺激応答システムです。情報は複素数の位相方向にマッピングされます。このメモリは、連想 記憶タスク、一般化、および変更可能な注意によるパターン認識に効果的です。動的検索ローカリゼーションは、生物学的記憶の中心です。視覚知覚では、人間はパターン内の特定のオブジェクトに焦点を合わせます。人間は学習せずにオブジェクトからオブジェクトへと焦点を変えることができます。HAM は、焦点の明示的な表現を作成することでこの能力を模倣できます。パターンのバイモーダル表現と、ホログラムのような複雑な球状重み状態空間を使用します。HAM は、基礎となる超球状計算を光学計算で実装できるため、光学的実現に役立ちます。^[74]

長短期記憶(LSTM)以外にも、微分可能なメモリを再帰関数に追加するアプローチはあります。たとえば、

• ニューラルスタックマシンと呼ばれる代替記憶ネットワークの微分可能なプッシュとポップアクション^{[75] [76]}
• 制御ネットワークの外部微分可能記憶が別のネットワークの高速重みに格納されているメモリネットワーク^[77]
• LSTM忘却ゲート^[78]
• RNN自身の重みを微分可能な方法でアドレス指定し、迅速に操作するための特別な出力ユニットを備えた自己参照型RNN（内部ストレージ）^{[79] [80]}
• 無限の記憶力で変換することを学ぶ^[81]

ニューラルチューリングマシン（NTM）^[82]は、LSTMネットワークを外部メモリリソースに結合し、注意プロセスによって相互作用することができます。この結合システムはチューリングマシンに類似していますが、エンドツーエンドで微分可能であるため、勾配降下法によって効率的にトレーニングできます。予備的な結果では、ニューラルチューリングマシンは、入力例と出力例からコピー、ソート、連想呼び出しなどの単純なアルゴリズムを推論できることが示されています。

微分可能ニューラルコンピュータ（DNC）はNTMの拡張である。シーケンス処理タスクにおいて、ニューラルチューリングマシン、長期短期記憶システム、メモリネットワークよりも優れた性能を示した。 ^{[83] [84] [85] [86] [87]}

以前の経験を直接表現し、類似の経験を使用してローカルモデルを形成するアプローチは、しばしば最近傍法またはk近傍法と呼ばれます。^[88]ディープラーニングは、大量の文書から得られた単語数ベクトル^[90]を深いグラフィカルモデル化するセマンティックハッシュ^[89]に役立ちます。 ^{[説明が必要]}文書は、意味的に類似した文書が近くのアドレスに配置されるようにメモリアドレスにマップされます。クエリ文書に類似した文書は、クエリ文書のアドレスと数ビットしか異なるすべてのアドレスにアクセスすることによって見つけることができます。1000ビットのアドレスで動作するスパース分散メモリとは異なり、セマンティックハッシュは、従来のコンピュータアーキテクチャにある32ビットまたは64ビットのアドレスで動作します。

ディープニューラルネットワークは、訓練可能性を維持しながら、深化とパラメータ削減によって潜在的に改善される可能性があります。非常に深い（たとえば、100万層）ニューラルネットワークを訓練することは実用的ではないかもしれませんが、ポインタネットワーク^[91]やニューラルランダムアクセスマシン^[92]などのCPUのようなアーキテクチャは、外部ランダムアクセスメモリや、レジスタ、ALU、ポインタなどのコンピュータアーキテクチャに通常属するその他のコンポーネントを使用することでこの制限を克服します。このようなシステムは、メモリセルとレジスタに格納された確率分布ベクトルに対して動作します。したがって、モデルは完全に微分可能であり、エンドツーエンドで訓練されます。これらのモデルの主な特徴は、深さ、短期メモリのサイズ、およびパラメータの数を個別に変更できることです。

エンコーダー-デコーダーフレームワークは、高度に構造化された入力を高度に構造化された出力にマッピングするニューラルネットワークに基づいています。このアプローチは機械翻訳の文脈で生まれました。^{[93] [94] [95]}入力と出力は2つの自然言語で書かれた文章です。その研究では、LSTM RNNまたはCNNがエンコーダーとして使用されてソース文を要約し、要約は条件付きRNN言語モデルを使用してデコードされ、翻訳が生成されました。^[96]これらのシステムは、ゲート付きRNNとCNN、およびトレーニングされた注意メカニズムという構成要素を共有しています。

瞬時にトレーニングされるニューラル ネットワーク(ITNN) は、瞬時に発生するように見える短期学習の現象からヒントを得ました。これらのネットワークでは、隠れ層と出力層の重みは、トレーニング ベクトル データから直接マッピングされます。通常、これらはバイナリ データで動作しますが、小さな追加処理を必要とする連続データ用のバージョンも存在します。

スパイキングニューラルネットワーク（SNN）は、入力のタイミングを明示的に考慮します。ネットワークの入力と出力は通常、一連のスパイク（デルタ関数またはより複雑な形状）として表されます。SNNは時間領域（時間の経過とともに変化する信号）で情報を処理できます。それらはしばしば再帰型ネットワークとして実装されます。SNNはパルスコンピュータの一種でもあります。^[97]

軸索伝導遅延を伴うスパイクニューラルネットワークは多重同期を示し、したがって非常に大きな記憶容量を持つ可能性がある。^[98]

SNN と、そのようなネットワーク内の神経アセンブリの時間的相関は、視覚システムにおける図と地の分離と領域のリンクをモデル化するために使用されてきました。

空間ニューラルネットワーク（SNN）は、地理的現象を表現し予測するためのカスタマイズされたニューラルネットワーク（NN）のスーパーカテゴリを構成します。SNNは一般に、地理空間データセットを処理するときは常にa-spatial/classic NNの統計的精度と信頼性を向上させ、地理空間データセットの変数が非線形関係を表すときは常に他の空間（統計）モデル（空間回帰モデルなど）の統計的精度と信頼性を向上させます。^{[99] [100] [101]} SNNの例としては、OSFA空間ニューラルネットワーク、SVANN、GWNNなどがあります。

ネオコグニトロンは、視覚野をモデルにした階層的かつ多層的なネットワークである。パターン認識タスクで使用するために、複数の種類のユニット（当初は単純細胞と複雑細胞と呼ばれる 2 つ）をカスケード モデルとして使用する。^{[102] [103] [104]}局所的な特徴は S 細胞によって抽出され、その変形は C 細胞によって許容される。入力内の局所的な特徴は徐々に統合され、上位層で分類される。^[105]さまざまな種類のネオコグニトロンの中には^{[106] 、}選択的注意を実現するためにバックプロパゲーションを使用して同じ入力内の複数のパターンを検出できるシステムがある。^{[107]これは}パターン認識タスクに使用され、畳み込みニューラル ネットワークに影響を与えた。^[108]

複合階層型ディープモデルは、ノンパラメトリックベイズモデルでディープネットワークを構成する。特徴は、DBN、^[109] ディープボルツマンマシン（DBM）、^[110]ディープオートエンコーダ、^[111]畳み込みバリアント、^{[112] [113]} ssRBM、^[114]ディープコーディングネットワーク、^[115]スパース特徴学習を備えたDBN、^[116] RNN、^[117]条件付きDBN、^[118] ノイズ除去オートエンコーダなどのディープアーキテクチャを使用して学習できる。^[119]これにより、より優れた表現が提供され、高次元データでより高速な学習とより正確な分類が可能になる。しかし、これらのアーキテクチャは、すべてのネットワークユニットが入力を表現することに関与しているため（階層的ベイズモデルは分散表現）であり、一緒に調整されなければならない（自由度が高い）。自由度を制限すると学習するパラメータの数が減り、少ない例から新しいクラスを学習することが容易になる。階層的ベイズ（HB）モデルは、例えばコンピュータビジョン、統計学、認知科学の分野で^{[120][121] [122][123][124]}。

複合HDアーキテクチャは、HBとディープネットワークの両方の特性を統合することを目指しています。複合HDP-DBMアーキテクチャは、階層モデルとしての階層ディリクレ過程（HDP）であり、DBMアーキテクチャを組み込んでいます。これは、モデル層を流れる抽象概念から一般化された完全な生成モデルであり、新しいクラスの新しい例を「かなり」自然に見えるように合成することができます。すべてのレベルは、共同対数確率 スコアを最大化することによって共同で学習されます。^[125]

3 つの隠れ層を持つ DBM では、可視入力 '' ν ''の確率は次のようになります。

${\displaystyle p({\boldsymbol {\nu }},\psi )={\frac {1}{Z}}\sum _{h}\exp \left(\sum _{ij}W_{ij}^{(1)}\nu _{i}h_{j}^{1}+\sum _{j\ell }W_{j\ell }^{(2)}h_{j}^{1}h_{\ell }^{2}+\sum _{\ell m}W_{\ell m}^{(3)}h_{\ell }^{2}h_{m}^{3}\right),}$

ここで、は隠れユニットの集合であり、は可視-隠れおよび隠れ-隠れの対称相互作用項を表すモデルパラメータです。 ${\displaystyle {\boldsymbol {h}}=\{{\boldsymbol {h}}^{(1)},{\boldsymbol {h}}^{(2)},{\boldsymbol {h}}^{(3)}\}}$${\displaystyle \psi =\{{\boldsymbol {W}}^{(1)},{\boldsymbol {W}}^{(2)},{\boldsymbol {W}}^{(3)}\ }}$

学習された DBM モデルは、結合分布を 定義する無向モデルです。学習された内容を表現する 1 つの方法は、条件付きモデルと事前項です。 ${\displaystyle P(\nu ,h^{1},h^{2},h^{3})}$ ${\displaystyle P(\nu ,h^{1},h^{2}\mid h^{3})}$${\displaystyle P(h^{3})}$

ここでは条件付き DBM モデルを表します。これは 2 層 DBM として見ることができますが、バイアス項は の状態によって与えられます。 ${\displaystyle P(\nu ,h^{1},h^{2}\mid h^{3})}$${\displaystyle h^{3}}$

${\displaystyle P(\nu ,h^{1},h^{2}\mid h^{3})={\frac {1}{Z(\psi ,h^{3})}}\exp \left(\sum _{ij}W_{ij}^{(1)}\nu _{i}h_{j}^{1}+\sum _{j\ell }W_{j\ell }^{(2)}h_{j}^{1}h_{\ell }^{2}+\sum _{\ell m}W_{\ell m}^{(3)}h_{\ell }^{2}h_{m}^{3}\right).}$

ディープ プレディクティブ コーディング ネットワーク (DPCN) は、トップダウンの情報を使用して、深くローカルに接続された生成モデルによってボトムアップ推論手順に必要な事前確率を経験的に調整する予測コーディング スキームです。これは、線形動的モデルを使用して時間とともに変化する観測からスパースな特徴を抽出することによって機能します。次に、プーリング戦略を使用して不変の特徴表現を学習します。これらのユニットは、ディープ アーキテクチャを形成するように構成され、貪欲なレイヤー単位の教師なし学習によってトレーニングされます。レイヤーは一種のマルコフ連鎖を構成し、どのレイヤーの状態も前のレイヤーと次のレイヤーのみに依存します。

DPCNは上位層の情報と以前の状態からの時間的依存関係を使用してトップダウンアプローチで層の表現を予測します。^[126]

DPCNは畳み込みネットワークを形成するように拡張することができる。^[126]

多層カーネルマシン（MKM）は、弱非線形カーネルを反復的に適用することで、高度に非線形な関数を学習する方法である。MKMでは、カーネル主成分分析（KPCA）^{[127]を、深層学習の}教師なし貪欲層単位の事前トレーニングステップの手法として使用している。 ^[128]

レイヤーは、カーネルによって誘導された特徴領域で投影レイヤー出力の主成分(PC)を抽出し、前のレイヤーの表現を学習します。各レイヤーで更新された表現の次元を削減するために、教師あり戦略により、 KPCA によって抽出された特徴の中から最も有益な特徴を選択します。プロセスは次のとおりです。 ${\displaystyle \ell +1}$${\displaystyle \ell}$${\displaystyle n_{l}}$ ${\displaystyle l}$

• クラスラベルとの相互情報量に従って特徴をランク付けする。${\displaystyle n_{\ell}}$
• Kとの異なる値について、検証セットで最も有益な特徴のみを使用して、K 最近傍(K-NN)分類器の分類エラー率を計算します。${\displaystyle m_{\ell }\in \{1,\ldots ,n_{\ell }\}}$${\displaystyle m_{l}}$
• 分類器が最低のエラー率に達した値によって、保持する特徴の数が決まります。${\displaystyle m_{\ell}}$

MKM の KPCA 方式にはいくつかの欠点があります。

カーネルマシンをディープラーニングに使用するより簡単な方法は、音声言語理解のために開発されました。^[129]主なアイデアは、カーネルマシンを使用して、無限の数の隠れユニットを持つ浅いニューラルネットを近似し、次にディープスタッキングネットワークを使用してカーネルマシンの出力と生の入力をつなぎ合わせて、次のより高いレベルのカーネルマシンを構築することです。ディープコンベックスネットワークのレベル数は、システム全体のハイパーパラメータであり、クロスバリデーションによって決定されます。

• 福島 邦彦 (1987)。「選択的注意のための階層的ニューラル ネットワーク モデル」。Eckmiller, R.、Von der Malsburg, C. (編)。ニューラル コンピュータ。Springer-Verlag。pp. 81–90。
• 福島邦彦 (2007). 「ネオコグニトロン」. Scholarpedia . 2 (1): 1717. Bibcode :2007SchpJ...2.1717F. doi : 10.4249/scholarpedia.1717 .