人工ニューラルネットワークの種類

このアーキテクチャは DSN の拡張です。重要な改善点が 2 つあります。共分散統計からの高次の情報を使用することと、下位層の非凸問題を上位層の凸部分問題に変換することです。 ^{[ 33 ]} TDSN は、同じ層の 2 つの異なる隠れユニットのセットそれぞれから予測への双線形マッピングで共分散統計を使用し、3 次テンソルを介しています。

従来のDNNでは並列化とスケーラビリティは真剣に考慮されていませんが、^{[ 34 ] [ 35 ] [ 36 ]} DSNとTDSNのすべての学習はバッチモードで実行され、並列化が可能になります。^{[ 31 ] [ 30 ]}並列化により、設計をより大規模な (より深い) アーキテクチャとデータセットに拡張できます。

基本的なアーキテクチャは、分類や回帰など、多様なタスクに適しています。

RBFニューラルネットワークは、概念的にはK近傍法（k-NN）モデルと類似している。基本的な考え方は、類似した入力からは類似した出力が得られるというものである。

トレーニングセットの各ケースには、予測変数 x と y の 2 つがあり、目的変数には、正と負の 2 つのカテゴリがあるとします。予測変数 x=6、y=5.1 の新しいケースが与えられた場合、目的変数はどのように計算されますか？

この例で実行される最近傍分類は、考慮される近傍点の数によって異なります。1-NNを使用し、最も近い点が負の値である場合、新しい点は負の値として分類されるべきです。一方、9-NN分類を使用し、最も近い9つの点を考慮する場合、周囲の8つの正の値の影響が、最も近い9番目の（負の）点の影響を上回る可能性があります。

RBFネットワークは、予測変数（この例ではx、y）で記述される空間にニューロンを配置します。この空間は、予測変数と同じ次元数を持ちます。新しい点から各ニューロンの中心までのユークリッド距離が計算され、その距離に放射基底関数（RBF、カーネル関数とも呼ばれる）を適用して、各ニューロンの重み（影響力）が計算されます。放射基底関数という名前は、半径距離が関数の引数となることに由来します。

重み= RBF(距離)

GRNNは、確率的ニューラルネットワークに似た連想記憶ニューラルネットワークですが、分類ではなく回帰や近似に使用されます。

このアーキテクチャは1980年代に開発されました。そのネットワークは、すべてのユニット間に有向接続を形成します。各ユニットは、時間とともに変化する実数値（0または1以外の値）の活性化（出力）を持ちます。各接続には、変更可能な実数値の重みがあります。ノードの一部はラベル付きノード、一部は出力ノード、残りは隠れノードと呼ばれます。

離散時間設定での教師あり学習では、実数値の入力ベクトルのトレーニングシーケンスは、入力ノードの活性化のシーケンスとなり、入力ベクトルは一度に1つずつ処理されます。各タイムステップで、各非入力ユニットは、接続を受けているすべてのユニットの活性化の重み付き和の非線形関数として、現在の活性化を計算します。システムは、特定のタイムステップで、一部の出力ユニットを（入力信号とは独立して）明示的に活性化することができます。たとえば、入力シーケンスが音声化された数字に対応する音声信号である場合、シーケンスの最後にある最終的なターゲット出力は、その数字を分類するラベルとなる可能性があります。各シーケンスのエラーは、ネットワークによって計算されたすべての活性化と対応するターゲット信号との偏差の合計です。多数のシーケンスからなるトレーニングセットの場合、総エラーは、個々のシーケンスすべてのエラーの合計となります。

全体の誤差を最小限に抑えるには、非線形活性化関数が微分可能である限り、各重みを誤差に関する導関数に比例して変更するために勾配降下法を使用できます。標準的な方法は「時間によるバックプロパゲーション」または BPTT と呼ばれ、フィードフォワードネットワークのバックプロパゲーションの一般化です。^{[ 45 ] [ 46 ]}計算コストの高いオンラインバリアントは「リアルタイム再帰学習」または RTRL と呼ばれます。^{[ 47 ] [ 48 ]} BPTT とは異なり、このアルゴリズムは時間的には局所的ですが、空間的には局所的ではありません。^{[ 49 ] [ 50 ]}中間的な複雑さを持つ BPTT と RTRL のオンラインハイブリッドが存在し、^{[ 51 ] [ 52 ]}連続時間用のバリアントもあります。^{[ 53 ]}標準的な RNN アーキテクチャの勾配降下法の大きな問題は、重要なイベント間の時間遅延の大きさに伴って誤差勾配が指数関数的に急速に消滅することです。^{[ 54 ] [ 55 ]}長短期記憶アーキテクチャはこれらの問題を克服します。^{[ 56 ]}

強化学習の設定では、教師は目標信号を提供しません。代わりに、適合度関数、報酬関数、または効用関数がパフォーマンスを評価するために時折使用され、それが環境に影響を与えるアクチュエータに接続された出力ユニットを介して入力ストリームに影響を与えます。重み行列を最適化するために、進化計算の変種がよく使用されます。

単純なリカレントネットワークは、入力層に「コンテキストユニット」のセットを追加した3つの層で構成されています。これらのユニットは、固定重み1で隠れ層または出力層から接続されます。^{[ 57 ]}各タイムステップで、入力は標準的なフィードフォワード方式で伝播され、その後、バックプロパゲーションのような学習ルールが適用されます（勾配降下は実行されません）。固定バック接続により、コンテキストユニットには隠れユニットの以前の値のコピーが残ります（学習ルールが適用される前に接続を介して伝播されるため）。

リザーバーコンピューティングは、ニューラルネットワークの拡張と見なせる計算フレームワークです。^{[ 58 ]}通常、入力信号は、リザーバーと呼ばれる固定（ランダム）動的システムに入力され、そのダイナミクスによって入力がより高次元にマッピングされます。読み出しメカニズムは、リザーバーを目的の出力にマッピングするようにトレーニングされます。トレーニングは読み出し段階でのみ実行されます。液体状態マシン^{[ 59 ]}は、リザーバーコンピューティングの一種です。^{[ 60 ]}

長短期記憶（LSTM）^{[ 56 ]}は勾配消失問題を回避します。入力間の遅延が長い場合でも機能し、低周波成分と高周波成分が混在する信号を処理できます。LSTM RNNは、言語学習^{[ 62 ]}や連結手書き文字認識^{[ 63 ]}などのアプリケーションにおいて、他のRNNやHMMなどの他のシーケンス学習手法よりも優れた性能を発揮しました。

双方向RNN、またはBRNNは、有限シーケンスを使用して、シーケンスの各要素の過去と未来のコンテキストに基づいて、各要素を予測またはラベル付けします。^{[ 64 ]}これは、2つのRNNの出力を加算することによって行われます。1つはシーケンスを左から右に処理し、もう1つは右から左に処理します。結合された出力は、教師から与えられたターゲット信号の予測です。この手法は、LSTMと組み合わせると特に有用であることが証明されています。^{[ 65 ]}

階層型RNNは、さまざまな方法で要素を接続し、階層的な動作を有用なサブプログラムに分解します。^{[ 66 ] [ 67 ]}

従来のニューラルネットワークとは異なり、確率的人工ニューラルネットワークはランダム関数の近似として使用される。

RNN（多くの場合LSTM）では、系列が複数のスケールに分解され、各スケールは連続する2点間の基本的な長さを表します。1次スケールは通常のRNNで構成され、2次スケールは2つのインデックスで区切られたすべての点で構成され、以下同様です。N次RNNは最初と最後のノードを接続します。さまざまなスケールからの出力は機械委員会として扱われ、関連するスコアは次の反復で遺伝的に使用されます。

機械委員会（CoM）とは、複数の異なるニューラルネットワークが集まって、与えられた事例に対して共同で「投票」を行う仕組みです。これは一般的に、個々のネットワークを用いるよりもはるかに優れた結果をもたらします。ニューラルネットワークは局所最適解に陥りやすいため、同じアーキテクチャと学習方法を用いても、ランダムに異なる初期重みを用いると、結果が大きく異なることがよくあります。CoMは、このような結果を安定させる傾向があります。

CoMは一般的な機械学習のバギング手法と似ていますが、委員会に必要な多様なマシンは、トレーニングデータの異なるランダムに選択されたサブセットでトレーニングするのではなく、異なる開始重みからトレーニングすることによって得られます。

連想ニューラルネットワーク (ASNN) は、複数のフィードフォワードニューラルネットワークと k 近傍法を組み合わせた、マシン委員会の拡張です。これは、kNN の分析対象ケース間の距離の尺度として、アンサンブル応答間の相関を使用します。これにより、ニューラルネットワークアンサンブルのバイアスが補正されます。連想ニューラルネットワークは、トレーニングセットと一致するメモリを持ちます。新しいデータが利用可能になると、ネットワークは再トレーニングなしで予測能力を即座に向上させ、データ近似 (自己学習) を提供します。ASNN のもう 1 つの重要な特徴は、モデル空間におけるデータケース間の相関の分析によってニューラルネットワークの結果を解釈できることです。^{[ 68 ]}

カスケード相関は、アーキテクチャと教師あり学習アルゴリズムです。固定トポロジーのネットワークで重みを調整するだけではなく、^{[ 72 ]}カスケード相関は最小限のネットワークから始まり、新しい隠れユニットを1つずつ自動的にトレーニングして追加し、多層構造を作成します。新しい隠れユニットがネットワークに追加されると、その入力側の重みは固定されます。このユニットは、出力を生成したり、他のより複雑な特徴検出器を作成したりするために使用できる、ネットワーク内の永続的な特徴検出器になります。カスケード相関アーキテクチャには、学習が速く、独自のサイズとトポロジーを決定し、トレーニングセットが変更されても構築した構造を保持し、バックプロパゲーションを必要としないなど、いくつかの利点があります。

ニューロファジーネットワークは、人工ニューラルネットワーク（ANN）の本体に組み込まれたファジー推論システムです。FISの種類に応じて、複数の層がファジー化、推論、集約、非ファジー化といったファジー推論に関わるプロセスをシミュレートします。一般的なANN構造にFISを組み込むことで、既存のANN学習手法を用いてファジーシステムのパラメータを求めることができるという利点があります。

構成パターン生成ネットワーク（CPPN）は、活性化関数のセットとその適用方法が異なる人工ニューラルネットワークの一種です。一般的な人工ニューラルネットワークはシグモイド関数（場合によってはガウス関数）のみを含むことが多いのに対し、CPPNは両方のタイプの関数を含むことができ、さらに他の多くの関数も使用できます。また、一般的な人工ニューラルネットワークとは異なり、CPPNは可能な入力空間全体に適用されるため、完全な画像を表現できます。CPPNは関数の合成であるため、実質的に無限の解像度で画像をエンコードし、特定の表示に対して最適な解像度でサンプリングすることができます。

このタイプのネットワークは、再学習なしで新しいパターンを追加できます。これは、隣接して接続された階層配列を使用して各新しいパターンを直交平面に割り当てる特定のメモリ構造を作成することによって行われます。^{[ 77 ]}このネットワークは、リアルタイムのパターン認識と高いスケーラビリティを提供します。これには並列処理が必要であり、ワイヤレスセンサーネットワーク、グリッドコンピューティング、GPGPUなどのプラットフォームに最適です。

階層的時間記憶（HTM）は、新皮質の構造的およびアルゴリズム的特性の一部をモデル化したものです。HTMは、記憶予測理論に基づいた生体模倣モデルです。HTMは、観測された入力パターンやシーケンスの高レベルの原因を発見し推論するための手法であり、それによって世界に関するますます複雑なモデルを構築していきます。

HTMは、大脳新皮質を模倣するという既存のアイデアと、多くの機能を提供するシンプルな設計を組み合わせました。HTMは、ベイジアンネットワーク、空間クラスタリングアルゴリズム、時間クラスタリングアルゴリズムで使用されるアプローチを組み合わせ、拡張するとともに、ニューラルネットワークで一般的なツリー状のノード階層を使用しています。

ホログラフィック連想記憶（HAM）は、アナログで相関ベースの連想刺激応答システムです。情報は複素数の位相方向上にマッピングされます。この記憶は、連想記憶タスク、一般化、および可変注意によるパターン認識に効果的です。動的な探索位置特定は、生物学的記憶の中心です。視覚知覚において、人間はパターン内の特定のオブジェクトに焦点を合わせます。人間は学習することなく、オブジェクトからオブジェクトへと焦点を移すことができます。HAMは、焦点の明示的な表現を作成することで、この能力を模倣できます。パターンの二峰性表現とホログラムのような複素球状重み状態空間を使用します。HAMは、基となる超球状計算を光学計算で実装できるため、光学的実現に役立ちます。^{[ 78 ]}

長短期記憶（LSTM）以外にも、リカレント関数に微分可能な記憶を追加するアプローチがあります。例えば、次のようになります。

• ニューラルスタックマシンと呼ばれる代替メモリネットワークのための微分可能なプッシュおよびポップアクション^{[ 79 ] [ 80 ]}
• 制御ネットワークの外部微分可能ストレージが別のネットワークの高速重みにあるメモリネットワーク^{[ 81 ]}
• LSTM忘却ゲート^{[ 82 ]}
• 微分可能な方法で RNN 自身の重みをアドレス指定して高速に操作するための特別な出力ユニットを備えた自己参照 RNN (内部ストレージ) ^{[ 83 ] [ 84 ]}
• 無制限のメモリで変換することを学ぶ^{[ 85 ]}

ニューラルチューリングマシン（NTM）^{[ 86 ]}は、LSTMネットワークを外部メモリリソースに結合し、注意プロセスによって相互作用できるようにします。この結合システムはチューリングマシンに似ていますが、エンドツーエンドで微分可能であるため、勾配降下法によって効率的に学習できます。予備的な結果では、ニューラルチューリングマシンは、入力と出力の例からコピー、ソート、連想想起などの単純なアルゴリズムを推論できることが示されています。

微分可能なニューラルコンピュータ（DNC）はNTMの拡張です。シーケンス処理タスクにおいて、ニューラルチューリングマシン、長短期記憶システム、およびメモリネットワークを凌駕しました。 ^{[ 87 ] [ 88 ] [ 89 ] [ 90 ] [ 91 ]}

過去の経験を直接表現し、類似の経験を使用してローカル モデルを形成するアプローチは、最近傍法またはk-最近傍法と呼ばれることが多い。^{[ 92 ]ディープラーニングは、セマンティック ハッシング[ 93 ]}で有用であり、そこでは、大規模なドキュメント セットから得られた単語カウント ベクトル^{[ 94 ]}をディープグラフィカル モデル化します。ドキュメントは、意味的に類似したドキュメントが近くのアドレスに配置されるようにメモリ アドレスにマッピングされます。クエリ ドキュメントに類似したドキュメントは、クエリ ドキュメントのアドレスからわずか数ビットだけ異なるすべてのアドレスにアクセスすることによって見つけることができます。1000ビット アドレスで動作するスパース分散メモリとは異なり、セマンティック ハッシングは、従来のコンピュータ アーキテクチャで見られる 32 ビットまたは 64 ビット アドレスで動作します。

深層ニューラルネットワークは、学習可能性を維持しながら、深層化とパラメータ削減によって潜在的に改善できます。非常に深い（たとえば100万層）ニューラルネットワークの学習は実用的ではないかもしれませんが、ポインタネットワーク^{[ 95 ]}やニューラルランダムアクセスマシン^{[ 96 ]}などのCPUライクなアーキテクチャは、外部ランダムアクセスメモリや、レジスタ、ALU、ポインタなど、コンピュータアーキテクチャに通常含まれるその他のコンポーネントを使用することで、この制限を克服します。このようなシステムは、メモリセルとレジスタに格納された確率分布ベクトル上で動作します。したがって、モデルは完全に微分可能であり、エンドツーエンドで学習します。これらのモデルの重要な特徴は、その深さ、短期記憶のサイズ、およびパラメータの数を独立して変更できることです。

エンコーダー・デコーダーフレームワークは、高度に構造化された入力を高度に構造化された出力にマッピングするニューラルネットワークに基づいています。このアプローチは、機械翻訳の文脈で生まれました。[ ^{97 ] [ 98 ] [ 99 ]機械}翻訳では、入力と出力は2つの自然言語で書かれた文です。その研究では、LSTM RNNまたはCNNがエンコーダーとして使用され、ソース文を要約し、条件付きRNN言語モデルを使用して要約をデコードして翻訳を生成しました。^{[ 100 ]}これらのシステムは、ゲート付きRNNとCNN、および訓練されたアテンションメカニズムという共通の構成要素を持っています。

瞬時学習型ニューラルネットワーク（ITNN）は、瞬時に起こるように見える短期学習の現象に着想を得て開発されました。これらのネットワークでは、隠れ層と出力層の重みが学習ベクトルデータから直接マッピングされます。通常はバイナリデータに対応していますが、わずかな追加処理で連続データに対応できるバージョンも存在します。

スパイクニューラルネットワーク（SNN）は、入力のタイミングを明示的に考慮します。ネットワークの入力と出力は通常、一連のスパイク（デルタ関数またはより複雑な形状）として表現されます。SNNは時間領域（時間とともに変化する信号）の情報処理が可能です。SNNはリカレントネットワークとして実装されることがよくあります。SNNはパルスコンピュータの一種でもあります。^{[ 101 ]}

軸索伝導遅延を伴うスパイクニューラルネットワークはポリクロニゼーションを示し、したがって非常に大きな記憶容量を持つ可能性がある。^{[ 102 ]}

SNN（スパイクニューラルネットワーク）や、そのようなネットワークにおける神経集合体の時間的相関は、視覚系における図と地の分離や領域の連結をモデル化するために用いられてきた。

空間ニューラルネットワーク (SNN) は、地理的現象の表現と予測のためにカスタマイズされたニューラルネットワーク (NN)の上位カテゴリを構成します。これらは、地理空間データセットを扱う場合、非空間/古典的な NN の統計的精度と信頼性を一般的に向上させ、また、地理空間データセットの変数が非線形関係を表す場合、他の空間(統計) モデル(空間回帰モデルなど)の統計的精度と信頼性も向上させます。^{[ 103 ] [ 104 ] [ 105 ]} SNN の例としては、OSFA 空間ニューラルネットワーク、SVANN、GWNN などがあります。

ネオコグニトロンは、視覚野をモデルにした階層的な多層ネットワークです。パターン認識タスクで使用するカスケードモデルとして、複数のタイプのユニット（元々は単純細胞と複雑細胞と呼ばれる2種類）を使用します。 ^{[ 106 ] [ 107 ] [ 108 ]}局所的特徴はS細胞によって抽出され、その変形はC細胞によって許容されます。入力の局所的特徴は徐々に統合され、より高次の層で分類されます。^{[ 109 ]}さまざまな種類のネオコグニトロンの中には^、バックプロパゲーションを使用して選択的注意を実現することで、同じ入力内の複数のパターンを検出できるシステムがあります^。 [ ^{110 ]これ}はパターン認識タスクに使用され、畳み込みニューラルネットワーク^に影響を与えました。^{[ 112 ]}

複合階層型ディープモデルは、ノンパラメトリックベイズモデルを用いたディープネットワークを構成します。特徴は、 DBN ^{[ 113 ]} 、ディープボルツマンマシン(DBM) ^{[ 114 ]} 、ディープオートエンコーダー^{[ 115 ]} 、畳み込みバリアント^{[ 116 ] [ 117} ] 、ssRBM ^{[ 118 ]} 、ディープコーディングネットワーク^{[ 119 ]} 、スパース特徴学習付きDBN ^{[ 120 ]}、RNN [ 121 ^] 、条件付きDBN [ 122 ]、^{ノイズ除去オート}エンコーダー^{[ 123 ]など}のディープアーキテクチャを使用して学習できます。これにより、より優れた表現が得られ、学習が速くなり、高次元データでの分類精度が向上します。ただし、これらのアーキテクチャ^は、入力の表現にすべてのネットワークユニットが関与するため、例が少ない新しいクラスの学習には適していません (分散表現）であり、一緒に調整する必要があります（自由度が）。自由度を制限すると、学習するパラメータの数が減り、少数の例から新しいクラスの学習が容易になります。階層ベイズ（HB）モデルはコンピュータビジョン、統計、認知科学の場合^{[ 124 ] [ 125 ] [ 126 ] [ 127 ] [ 128 ]}のように、少数の例から学習することを可能にします。

複合HDアーキテクチャは、HBとディープネットワークの両方の特性を統合することを目的としています。複合HDP-DBMアーキテクチャは、階層モデルとしての階層的ディリクレ過程（HDP）であり、DBMアーキテクチャを組み込んでいます。これは、モデル層を流れる抽象概念から一般化された完全な生成モデルであり、「合理的に」自然に見える新しいクラスの新しい例を合成することができます。すべてのレベルは、共同対数確率スコアを最大化することによって共同で学習されます。^{[ 129 ]}

3つの隠れ層を持つDBMにおいて、可視入力「ν」の確率は次のようになります。

${\displaystyle p({\boldsymbol {\nu }},\psi )={\frac {1}{Z}}\sum _{h}\exp \left(\sum _{ij}W_{ij}^{(1)}\nu _{i}h_{j}^{1}+\sum _{j\ell }W_{j\ell }^{(2)}h_{j}^{1}h_{\ell }^{2}+\sum _{\ell m}W_{\ell m}^{(3)}h_{\ell }^{2}h_{m}^{3}\right),}$

どこ${\displaystyle {\boldsymbol {h}}=\{{\boldsymbol {h}}^{(1)},{\boldsymbol {h}}^{(2)},{\boldsymbol {h}}^{(3)}\}}$は隠れユニットの集合であり、${\displaystyle \psi =\{{\boldsymbol {W}}^{(1)},{\boldsymbol {W}}^{(2)},{\boldsymbol {W}}^{(3)}\}}$はモデルパラメータであり、可視-隠蔽および隠蔽-隠蔽の対称的な相互作用項を表します。

学習済みDBMモデルは、結合分布を定義する無向モデルです。${\displaystyle P(\nu ,h^{1},h^{2},h^{3})}$学習内容を表現する一つの方法は、条件付きモデルを用いることである。${\displaystyle P(\nu ,h^{1},h^{2}\mid h^{3})}$そして以前の任期${\displaystyle P(h^{3})}$。

ここ${\displaystyle P(\nu ,h^{1},h^{2}\mid h^{3})}$は条件付き DBM モデルを表し、2 層 DBM と見なすことができますが、バイアス項は状態によって与えられます。${\displaystyle h^{3}}$:

${\displaystyle P(\nu ,h^{1},h^{2}\mid h^{3})={\frac {1}{Z(\psi ,h^{3})}}\exp \left(\sum _{ij}W_{ij}^{(1)}\nu _{i}h_{j}^{1}+\sum _{j\ell }W_{j\ell }^{(2)}h_{j}^{1}h_{\ell }^{2}+\sum _{\ell m}W_{\ell m}^{(3)}h_{\ell }^{2}h_{m}^{3}\right).}$

深層予測符号化ネットワーク（DPCN）は、深層で局所的に接続された生成モデルを用いて、トップダウン情報からボトムアップ推論手順に必要な事前分布を経験的に調整する予測符号化方式です。これは、線形動的モデルを用いて時変観測から疎な特徴を抽出することで機能します。次に、プーリング戦略を用いて不変特徴表現を学習します。これらのユニットが組み合わさって深層アーキテクチャを形成し、貪欲な層ごとの教師なし学習によって訓練されます。各層は一種のマルコフ連鎖を構成し、任意の層の状態は前後の層のみに依存します。

DPCNは、上位層の情報と以前の状態からの時間的依存関係を使用したトップダウンアプローチを使用して、層の表現を予測します。^{[ 130 ]}

DPCNは畳み込みネットワークを形成するように拡張できます。^{[ 130 ]}

多層カーネルマシン（MKM）は、弱非線形カーネルを繰り返し適用することで高度に非線形な関数を学習する方法です。MKMは、深層学習の教師なし貪欲層ごとの事前学習ステップの方法として、カーネル主成分分析（KPCA）^{[ 131 ]を使用します。 [ 132 ]}

層${\displaystyle \ell +1}$前の層の表現を学習する${\displaystyle \ell }$抽出する${\displaystyle n_{l}}$投影層の主成分（PC）${\displaystyle l}$カーネルによって誘導される特徴領域における出力。各層における更新された表現の次元を削減するために、教師あり戦略によって、 KPCAによって抽出された特徴の中から最も情報量の多い特徴が選択されます。そのプロセスは次のとおりです。

• ランク付け${\displaystyle n_{\ell }}$クラスラベルとの相互情報量に基づいて特徴量を決定する。
• Kの異なる値と${\displaystyle m_{\ell }\in \{1,\ldots ,n_{\ell }\}}$K近傍法（K-NN）分類器の分類誤差率を、以下の情報のみを使用して計算します。${\displaystyle m_{l}}$検証セット上で最も情報量の多い特徴量。
• 価値${\displaystyle m_{\ell }}$分類器が最低のエラー率に達した特徴量によって、保持すべき特徴量の数が決定されます。

MKMに対するKPCA法にはいくつかの欠点がある。

音声言語理解のために、カーネルマシンをディープラーニングに利用するより直接的な方法が開発されました。^{[ 133 ]}主なアイデアは、カーネルマシンを使用して無限個の隠れユニットを持つ浅いニューラルネットワークを近似し、次にディープスタッキングネットワークを使用してカーネルマシンの出力と生の入力を接合して、カーネルマシンの次の高レベルを構築することです。ディープ凸ネットワークのレベル数は、クロスバリデーションによって決定されるシステム全体のハイパーパラメータです。