ニューラルチューリングマシン

ニューラルチューリングマシン（NTM）は、チューリングマシンの再帰型ニューラルネットワークモデルです。このアプローチは、2014年にアレックス・グレイブスらによって発表されました。^{[1] NTMは、}ニューラルネットワークのファジーパターンマッチング機能と、プログラム可能なコンピュータのアルゴリズムパワーを組み合わせたものです。

NTMには、外部メモリリソースに結合されたニューラルネットワークコントローラがあり、注意メカニズムを介して相互作用します。メモリ相互作用はエンドツーエンドで微分可能であり、勾配降下法を使用して最適化することができます。^[2]長短期記憶（LSTM）ネットワークコントローラを備えたNTMは、例のみからコピー、ソート、連想呼び出しなどの単純なアルゴリズムを推論できます。^[1]

オリジナルのNTM論文の著者は、ソースコードを公開しませんでした。^[1]最初の安定したオープンソース実装は、2018年に第27回国際人工ニューラルネットワーク会議で公開され、最優秀論文賞を受賞しました。^{[3] [4] [5]} NTMのオープンソース実装は他にも存在しますが、2018年時点では実稼働で使用するには安定していません。^{[6] [7] [8] [9] [10] [11] [12]}開発者は、実装の勾配がトレーニング中に不明な理由でNaNになり、トレーニングが失敗することがある、と報告しています。 ^{[10] [11] [9]}は収束が遅いと報告しています。^{[7] [6]}または、実装の学習速度を報告していません。^{[12] [8]}

微分可能ニューラルコンピュータはニューラルチューリングマシンから派生したもので、メモリがアクティブな場所を制御し、パフォーマンスを向上させる注意メカニズムを備えています。 ^[13]