再帰型ニューラルネットワーク

最も単純なアーキテクチャでは、ノードは重み行列（ネットワーク全体で共有される）と非線形性を使用して親に結合されます。${\displaystyle \tanh }$双曲線関数。${\displaystyle c_{1}}$そして${\displaystyle c_{2}}$は${\displaystyle n}$ノードの次元ベクトル表現では、その親も${\displaystyle n}$次元ベクトル、定義は以下のとおりです。

${\displaystyle p_{1,2}=\tanh(W[c_{1};c_{2}])}$

どこ${\displaystyle W}$博識である${\displaystyle n\times 2n}$重み行列。

このアーキテクチャは、いくつかの改良を加えて、自然シーンの解析、自然言語文の構文解析^{[ 2 ]}、および直方体抽象化の形での3D形状構造の再帰的自己符号化と生成モデリングに成功裏に使用されてきました。^{[ 3 ]}

RecCCは、ツリードメインを扱うための構成的ニューラルネットワークアプローチであり^{[ 4 ] 、化学[ 5 ]} への先駆的な応用と、有向非巡回グラフへの拡張^{[ 6 ]}がある。

教師なしRNNのフレームワークは2004年に導入された。^{[ 7 ] [ 8 ]}

再帰型ニューラルテンソルネットワークは、ツリー内のすべてのノードに対して単一のテンソルベースの合成関数を使用します。^{[ 9 ]}

一般的に、ネットワークの学習には確率的勾配降下法（SGD）が用いられます。勾配は、リカレントニューラルネットワークで使用される時間的バックプロパゲーションの変種である構造的バックプロパゲーション（BPTS）を用いて計算されます。

リカレントニューラルネットワークは、線形連鎖という特定の構造を持つ再帰型人工ニューラルネットワークです。再帰型ニューラルネットワークは、子表現を親表現に組み合わせるなど、あらゆる階層構造で動作しますが、リカレントニューラルネットワークは、前のタイムステップと隠れ表現を組み合わせて現在のタイムステップの表現を作成するなど、時間の線形的な進行に基づいて動作します。

再帰的ニューラルネットワークを実装するための効率的なアプローチは、リザーバーコンピューティングパラダイム内のツリーエコーステートネットワーク^{[ 12 ]}によって提供される。

グラフの拡張には、グラフニューラルネットワーク（GNN）^{[ 13 ]} 、グラフ用ニューラルネットワーク（NN4G）^{[ 14 ]} 、そして最近ではグラフ用畳み込みニューラルネットワークなどがあります。