究極の学習マシン

エクストリーム ラーニング マシンは、単一層または複数層の隠しノードを持つ分類、回帰、クラスタリング、スパース近似、圧縮、および特徴学習用のフィードフォワード ニューラル ネットワークです。隠しノードのパラメーター (隠しノードへの入力を接続する重みだけでなく) を調整する必要があります。これらの隠しノードは、ランダムに割り当てられ、更新されない (つまり、ランダム投影ですが非線形変換される) か、祖先から変更されずに継承されます。ほとんどの場合、隠しノードの出力重みは通常、1 つのステップで学習され、基本的には線形モデルの学習に相当します。

「エクストリーム ラーニング マシン」(ELM) という名前は、生物学的ニューロンやさまざまな種類の数学的基底関数を含む、あらゆる種類の非線形区分連続隠しノードを持つネットワークを最初に提案した Guang-Bin Huang によって、このようなモデルに付けられました。^{[1] [2]}人工ニューラル ネットワークのアイデアは、 1958 年に単層パーセプトロンを発表しただけでなく、 ^{[3]入力層、学習しない}ランダムな重みを持つ隠し層、学習出力層の 3 層を持つ多層パーセプトロンも導入した Frank Rosenblatt にまで遡ります。 ^[4]

一部の研究者によると、これらのモデルは優れた一般化性能を発揮し、バックプロパゲーションを使用してトレーニングされたネットワークよりも数千倍速く学習できるとのことです。^[5] 文献では、これらのモデルは分類と回帰の両方のアプリケーションでサポートベクターマシンよりも優れていることも示されています。^{[6] [1] [7]}

2001年から2010年にかけて、ELMの研究は主に「一般化」された単一隠れ層フィードフォワードニューラルネットワーク（SLFN）の統合学習フレームワークに焦点を当てていました。これには、シグモイドネットワーク、RBFネットワーク、閾値ネットワーク、^[8]三角ネットワーク、ファジー推論システム、フーリエ級数、^{[9] [10]}ラプラシアン変換、ウェーブレットネットワーク、^[11]などが含まれますが、これらに限定されません。これらの年の間に達成された重要な成果の1つは、ELMの普遍的な近似と分類の機能を理論的に証明することに成功したことです。^{[9] [12] [13]}

2010年から2015年にかけて、ELMの研究はカーネル学習、SVM、および主成分分析（PCA）や非負値行列因子分解（NMF）などのいくつかの典型的な特徴学習法のための統合学習フレームワークにまで拡大しました。SVMは実際にはELMと比較して次善の解決策を提供することが示されており、ELMはSVMで使用されるブラックボックスカーネルの代わりに、ELMランダム特徴マッピングによって実装されるホワイトボックスカーネルマッピングを提供できます。PCAとNMFは、ELMで線形隠しノードが使用される特別なケースと考えることができます。^{[14] [15]}

^{2015年から2017年にかけて、ELMの階層的実装[16] [17]}に重点が置かれるようになりました。さらに、2011年以降、特定のELM理論を支持する重要な生物学的研究が行われてきました。^{[18] [19] [20]}

2017年以降、LU分解の訓練中に収束性が低い問題を克服するために、ヘッセンベルグ分解やQR分解に基づく正則化アプローチが注目を集め始めている^{[21] [22] [23]。}

2017年、Google Scholar Blogは「古典論文：時の試練に耐えた論文」のリストを公開した。^[24]この中にはELMに関する2つの論文が含まれており、「2006年の古典的AI論文10選」の研究2と7に示されている。^{[25] [26] [27]}

ELM の単一の隠れ層が与えられている場合、 - 番目の隠れノードの出力関数が であると仮定します。ここで、およびは- 番目の隠れノードのパラメータです。隠れノードを持つ単一の隠れ層フィードフォワード ネットワーク (SLFN) の ELM の出力関数は次のとおりです。 ${\displaystyle i}$${\displaystyle h_{i}(\mathbf {x} )=G(\mathbf {a} _{i},b_{i},\mathbf {x} )}$${\displaystyle \mathbf {a} _{i}}$${\displaystyle b_{i}}$${\displaystyle i}$${\displaystyle L}$

${\displaystyle f_{L}({\bf {x}})=\sum _{i=1}^{L}{\boldsymbol {\beta }}_{i}h_{i}({\bf {x}})}$、ここで は- 番目の隠しノード の出力重みです。${\displaystyle {\boldsymbol {\beta }}_{i}}$${\displaystyle i}$

${\displaystyle \mathbf {h} (\mathbf {x} )=[h_{i}(\mathbf {x} ),...,h_{L}(\mathbf {x} )]}$は、 ELM の隠れ層出力マッピングです。トレーニング サンプルが与えられた場合、ELM の隠れ層出力行列は次のように与えられます。${\displaystyle N}$${\displaystyle \mathbf {H} }$${\displaystyle {\bf {H}}=\left[{\begin{matrix}{\bf {h}}({\bf {x}}_{1})\\\vdots \\{\bf {h}}({\bf {x}}_{N})\end{matrix}}\right]=\left[{\begin{matrix}G({\bf {a}}_{1},b_{1},{\bf {x}}_{1})&\cdots &G({\bf {a}}_{L},b_{L},{\bf {x}}_{1})\\\vdots &\vdots &\vdots \\G({\bf {a}}_{1},b_{1},{\bf {x}}_{N})&\cdots &G({\bf {a}}_{L},b_{L},{\bf {x}}_{N})\end{matrix}}\right]}$

トレーニングデータのターゲット行列は次のようになります。${\displaystyle \mathbf {T} }$${\displaystyle {\bf {T}}=\left[{\begin{matrix}{\bf {t}}_{1}\\\vdots \\{\bf {t}}_{N}\end{matrix}}\right]}$

一般的に言えば、ELM は一種の正規化ニューラル ネットワークですが、調整されていない隠し層マッピング (ランダム隠しノード、カーネル、またはその他の実装によって形成) を使用する場合、その目的関数は次のようになります。

${\displaystyle {\text{Minimize: }}\|{\boldsymbol {\beta }}\|_{p}^{\sigma _{1}}+C\|{\bf {H}}{\boldsymbol {\beta }}-{\bf {T}}\|_{q}^{\sigma _{2}}}$

どこ。 ${\displaystyle \sigma _{1}>0,\sigma _{2}>0,p,q=0,{\frac {1}{2}},1,2,\cdots ,+\infty }$

、、のさまざまな組み合わせが使用可能で、回帰、分類、スパースコーディング、圧縮、特徴学習、クラスタリングのためのさまざまな学習アルゴリズムが生成されます 。${\displaystyle \sigma _{1}}$${\displaystyle \sigma _{2}}$${\displaystyle p}$${\displaystyle q}$

特別なケースとして、最も単純な ELM トレーニング アルゴリズムは、次の形式のモデルを学習します (単一の隠し層シグモイド ニューラル ネットワークの場合)。

${\displaystyle \mathbf {\hat {Y}} =\mathbf {W} _{2}\sigma (\mathbf {W} _{1}x)}$

ここで、W ₁は入力層から隠れ層への重みの行列、は活性化関数、W ₂は隠れ層から出力層への重みの行列です。アルゴリズムは次のように進行します。 ${\displaystyle \sigma }$

1. W _{1 を}ランダムな値（例：ガウスランダムノイズ）で埋めます。
2. 設計行列Xが与えられた場合、 擬似逆行列⋅ ^{+ を}使用して計算された応答変数行列Yに最小二乗近似してW _{2 を}推定する。

   ${\displaystyle \mathbf {W} _{2}=\sigma (\mathbf {W} _{1}\mathbf {X} )^{+}\mathbf {Y} }$

ほとんどの場合、ELMは、シグモイドネットワーク、RBFネットワーク、閾値ネットワーク、ファジー推論ネットワーク、複雑ニューラルネットワーク、ウェーブレットネットワーク、フーリエ変換、ラプラシアン変換などを含むがこれらに限定されない、単一の隠れ層フィードフォワードネットワーク（SLFN）として使用されます。回帰、分類、スパースコーディング、圧縮、特徴学習、クラスタリングのためのさまざまな学習アルゴリズムの実装により、マルチELMは、マルチ隠れ層ネットワーク、ディープラーニング、または階層型ネットワークを形成するために使用されてきました。^{[16] [17] [28]}

ELMの隠しノードは計算要素であり、古典的なニューロンとして考える必要はありません。ELMの隠しノードは、古典的な人工ニューロン、基底関数、またはいくつかの隠しノードによって形成されたサブネットワークである可能性があります。^[12]

ELMの普遍近似能力と分類能力^{[6] [1]}は文献で証明されている。特に、Guang-Bin Huangと彼のチームは、ELMの普遍近似能力の厳密な証明に約7年（2001-2008）を費やした。^{[9] [12] [13]}

理論的には、任意の非定数区分連続関数をELM隠しノードの活性化関数として使用できます。このような活性化関数は微分である必要はありません。隠しノードのパラメータを調整することでSLFNを任意のターゲット関数に近づけることができる場合、隠しノードパラメータは任意の連続分布確率に従ってランダムに生成でき、適切な出力重みで確率1で保持されます。 ${\displaystyle f(\mathbf {x} )}$${\displaystyle \lim _{L\rightarrow \infty }\left\|\sum _{i=1}^{L}{\boldsymbol {\beta }}_{i}h_{i}({\bf {x}})-f({\bf {x}})\right\|=0}$${\displaystyle {\boldsymbol {\beta }}}$

SLFN の活性化関数として任意の非定数区分連続関数が与えられた場合、隠しノードのパラメータを調整することで SLFN を任意のターゲット関数に近似させることができる場合、ランダム隠し層マッピングを持つ SLFN は任意の形状の任意の分離領域を分離できます。 ${\displaystyle f(\mathbf {x} )}$${\displaystyle \mathbf {h} (\mathbf {x} )}$

ELM の隠しニューロンでは、次のようなさまざまな非線形区分連続関数を使用できます。 ${\displaystyle G(\mathbf {a} ,b,\mathbf {x} )}$

シグモイド関数:${\displaystyle G(\mathbf {a} ,b,\mathbf {x} )={\frac {1}{1+\exp(-(\mathbf {a} \cdot \mathbf {x} +b))}}}$

フーリエ関数:${\displaystyle G(\mathbf {a} ,b,\mathbf {x} )=\sin(\mathbf {a} \cdot \mathbf {x} +b)}$

ハードリミット機能:${\displaystyle G(\mathbf {a} ,b,\mathbf {x} )={\begin{cases}1,&{\text{if }}{\bf {a}}\cdot {\bf {x}}-b\geq 0\\0,&{\text{otherwise}}\end{cases}}}$

ガウス関数:${\displaystyle G(\mathbf {a} ,b,\mathbf {x} )=\exp(-b\|\mathbf {x} -\mathbf {a} \|^{2})}$

多重二次関数:${\displaystyle G(\mathbf {a} ,b,\mathbf {x} )=(\|\mathbf {x} -\mathbf {a} \|^{2}+b^{2})^{1/2}}$

ウェーブレット:は単一のマザーウェーブレット関数です。 ${\displaystyle G(\mathbf {a} ,b,\mathbf {x} )=\|a\|^{-1/2}\Psi \left({\frac {\mathbf {x} -\mathbf {a} }{b}}\right)}$${\displaystyle \Psi }$

循環関数:

${\displaystyle \tan(z)={\frac {e^{iz}-e^{-iz}}{i(e^{iz}+e^{-iz})}}}$

${\displaystyle \sin(z)={\frac {e^{iz}-e^{-iz}}{2i}}}$

逆円関数:

${\displaystyle \arctan(z)=\int _{0}^{z}{\frac {dt}{1+t^{2}}}}$

${\displaystyle \arccos(z)=\int _{0}^{z}{\frac {dt}{(1-t^{2})^{1/2}}}}$

双曲線関数:

${\displaystyle \tanh(z)={\frac {e^{z}-e^{-z}}{e^{z}+e^{-z}}}}$

${\displaystyle \sinh(z)={\frac {e^{z}-e^{-z}}{2}}}$

逆双曲線関数:

${\displaystyle {\text{arctanh}}(z)=\int _{0}^{z}{\frac {dt}{1-t^{2}}}}$

${\displaystyle {\text{arcsinh}}(z)=\int _{0}^{z}{\frac {dt}{(1+t^{2})^{1/2}}}}$

ニューラルネットワーク全般、特にエクストリーム学習マシン（ELM）のブラックボックス特性は、エンジニアが安全でない自動化タスクへの適用を躊躇する大きな懸念事項の1つです。 この特定の問題には、いくつかの異なる手法で取り組みました。 1つのアプローチは、ランダム入力への依存を減らすことです。 ^{[29] [30]}別のアプローチは、特定のタスクに関する事前の知識から導き出された連続制約をELMの学習プロセスに組み込むことに焦点を当てています。 ^{[31] [32]}これは合理的です。なぜなら、機械学習ソリューションは多くのアプリケーションドメインで安全な操作を保証する必要があるためです。 前述の研究により、機能分離と線形読み取り重みを備えた特別な形式のELMは、入力空間の事前定義された領域に連続制約を効率的に組み込むのに特に適していることが明らかになりました。

この研究に関して学術界から主に2つの苦情があり、1つ目は「以前のアイデアを再発明し無視している」こと、2つ目は「不適切な命名と普及」についてであり、2008年と2015年のいくつかの議論で示されているように。^{[33]特に、} IEEE Transactions on Neural Networksの編集者に宛てた手紙^[34]では、ランダムな未訓練の重みによって入力に接続された隠れ層を使用するというアイデアは、 1980年代後半のRBFネットワークに関する最初の論文ですでに提案されていたことが指摘され、Guang-Bin Huangは微妙な違いを指摘して返答した。^[35] 2015年の論文^[1]で、黄は既存の手法にELMという名前をつけたことについての苦情に応え、「様々な理由や意図により、学術的にも専門的にもELMに対して非常に否定的で役に立たないコメント」や「調和のとれた研究環境を破壊しようとする無責任な匿名の攻撃」について不満を述べ、彼の研究は階層構造のELMを含む様々なタイプのニューラルネット^[1]に「統一的な学習プラットフォームを提供する」と主張した。^[28] 2015年、黄はまた、彼が「悪意のある攻撃」とみなしたものに対して正式な反論を行った。^[36]最近の研究では、ランダムな重みを制約されたランダムな重みに置き換えている。^{[6] [37]}

• Matlab ライブラリ
• Pythonライブラリ^[38]

• リザーバーコンピューティング
• ランダム投影
• ランダム行列