長期短期記憶

忘却ゲートを備えたLSTMセルの順伝播の方程式の簡潔な形式は次のとおりです。^{[ 1 ] [ 4 ]}

${\displaystyle {\begin{aligned}f_{t}&=\sigma _{g}(W_{f}x_{t}+U_{f}h_{t-1}+b_{f})\\i_{t}&=\sigma _{g}(W_{i}x_{t}+U_{i}h_{t-1}+b_{i})\\o_{t}&=\sigma _{g}(W_{o}x_{t}+U_{o}h_{t-1}+b_{o})\\{\tilde {c}}_{t}&=\sigma _{c}(W_{c}x_{t}+U_{c}h_{t-1}+b_{c})\\c_{t}&=f_{t}\odot c_{t-1}+i_{t}\odot \begin{aligned} \left\{ \tilde {c}}_{t}\\h_{t}&=o_{t}\odot \sigma _{h}(c_{t})\end{aligned}}}$

ここで初期値は${\displaystyle c_{0}=0}$そして${\displaystyle h_{0}=0}$そしてオペレーター${\displaystyle \odot }$はアダマール積（要素ごとの積）を表します。${\displaystyle t}$時間ステップのインデックスを示します。

右の図は、ピーホール接続を備えた LSTM ユニット (つまり、ピーホール LSTM) のグラフィカル表現です。^{[ 21 ] [ 22 ]}ピーホール接続により、ゲートは定誤差カルーセル (CEC) にアクセスでき、その活性化がセル状態になります。^{[ 21 ]}${\displaystyle h_{t-1}}$使用されていません、${\displaystyle c_{t-1}}$ほとんどの場所では、代わりにが使われています。

${\displaystyle {\begin{aligned}f_{t}&=\sigma _{g}(W_{f}x_{t}+U_{f}c_{t-1}+b_{f})\\i_{t}&=\sigma _{g}(W_{i}x_{t}+U_{i}c_{t-1}+b_{i})\\o_{t}&=\sigma _{g}(W_{o}x_{t}+U_{o}c_{t-1}+b_{o})\\c_{t}&=f_{t}\odot c_{t-1}+i_{t}\odot \sigma _{c}(W_{c}x_{t}+b_{c})\\h_{t}&=o_{t}\odot \sigma _{h}(c_{t})\end{aligned}}}$

それぞれのゲートは、フィードフォワード（または多層）ニューラルネットワークにおける「標準的な」ニューロンと考えることができます。つまり、重み付き和の活性化を（活性化関数を用いて）計算します。${\displaystyle i_{t},o_{t}}$そして${\displaystyle f_{t}}$それぞれ入力ゲート、出力ゲート、忘却ゲートの活性化を表す。${\displaystyle t}$。

メモリセルからの3つの出口矢印${\displaystyle c}$3つの門へ${\displaystyle i,o}$そして${\displaystyle f}$これらは覗き穴接続を表します。これらの覗き穴接続は、実際にはメモリセルの活性化による寄与を示しています。${\displaystyle c}$タイムステップで${\displaystyle t-1}$つまり、${\displaystyle c_{t-1}}$（そしてそうではない）${\displaystyle c_{t}}$（写真が示唆するように）。言い換えれば、門は${\displaystyle i,o}$そして${\displaystyle f}$タイムステップでそれらの活性化を計算する${\displaystyle t}$（つまり、それぞれ、${\displaystyle i_{t},o_{t}}$そして${\displaystyle f_{t}}$メモリセルの活性化も考慮に入れる${\displaystyle c}$タイムステップで${\displaystyle t-1}$つまり${\displaystyle c_{t-1}}$。

メモリセルから出ている左から右への単一の矢印は、覗き穴接続ではなく、${\displaystyle c_{t}}$。

小さな円の中に${\displaystyle \times }$記号は、入力間の要素ごとの乗算を表します。S字型の曲線を含む大きな円は、加重和に微分可能な関数（シグモイド関数など）を適用することを表します。

覗き穴畳み込みLSTM 。^{[ 23 ]}${\displaystyle *}$は畳み込み演算子を表します。

${\displaystyle {\begin{aligned}f_{t}&=\sigma _{g}(W_{f}*x_{t}+U_{f}*h_{t-1}+V_{f}\odot c_{t-1}+b_{f})\\i_{t}&=\sigma _{g}(W_{i}*x_{t}+U_{i}*h_{t-1}+V_{i}\odot c_{t-1}+b_{i})\\c_{t}&=f_{t}\odot c_{t-1}+i_{t}\odot \sigma _{c}(W_{c}*x_{t}+U_{c}*h_{t-1}+b_{c})\\o_{t}&=\sigma _{g}(W_{o}*x_{t}+U_{o}*h_{t-1}+V_{o}\odot c_{t}+b_{o})\\h_{t}&=o_{t}\odot \sigma _{h}(c_{t})\end{aligned}}}$

多くのアプリケーションでは、LSTM RNN ^{[ 25 ]}のスタックを使用し、対応する入力シーケンスが与えられた場合に、トレーニング セット内のラベル シーケンスの確率を最大化する RNN 重み行列を見つけるために、コネクショニスト テンポラル分類 ( CTC) ^{[ 5 ]によってトレーニングします。CTC は、アライメントと認識の両方を実現します。}

場合によっては、特に「教師」（つまり、トレーニングラベル）がない場合、ニューロエボリューション^{[ 7 ]}またはポリシー勾配法によってLSTM（の一部）をトレーニングすることが有利になることがあります。

Aspects of LSTM were anticipated by "focused back-propagation",^[64] cited by the LSTM paper.^[1]

Sepp Hochreiter's 1991 German diploma thesis analyzed the vanishing gradient problem and developed principles of the method.^[2] His supervisor, Jürgen Schmidhuber, considered the thesis highly significant.^[65]

An early version of LSTM was published in 1995 in a technical report by Sepp Hochreiter and Jürgen Schmidhuber,^[66] then published in the NIPS 1996 conference.^[3]

The most commonly used reference point for LSTM was published in 1997 in the journal Neural Computation.^[1] By introducing Constant Error Carousel (CEC) units, LSTM deals with the vanishing gradient problem. The initial version of LSTM block included cells, input and output gates.^[67]

Felix Gers, Jürgen Schmidhuber, and Fred Cummins introduced the forget gate (also called "keep gate") into the LSTM architecture in 1999,^[68] enabling the LSTM to reset its own state.^[67] This is the most commonly used version of LSTM nowadays. They added peephole connections in 2000.^[21][22] Additionally, the output activation function was omitted.^[67]

In 2005 Graves and Schmidhuber^[26] published LSTM with full backpropagation through time and bidirectional LSTM.

2006年にGraves、Fernandez、Gomez、およびSchmidhuber ^{[ 5 ]}は、LSTMの新しいエラー関数であるConnectionist Temporal Classification (CTC)を導入し、シーケンスの同時アライメントと認識を実現しました。

2014年にKyunghyun Choら^{[ 69 ]}は、忘却ゲートLSTM ^{[ 68 ]}の簡略化されたバリアントであるゲート付きリカレントユニット（GRU）を発表した。

2015年、Srivastava、Greff、およびSchmidhuberはLSTMの原理^{[ 68 ]}を使用して、以前のネットワークよりもはるかに深い数百層のフィードフォワードニューラルネットワークであるHighwayネットワークを作成しました。 ^{[ 70 ] [ 71 ] [ 72 ]}同時に、ResNetアーキテクチャが開発されました。これは、ゲートが開いている、またはゲートがない高速道路ネットワークに相当します。^{[ 73 ]}

LSTMの最新アップグレードであるxLSTMは、 Sepp Hochreiter率いるチームによって発表された。^{[ 74 ] [ 75 ]}このアーキテクチャの2つのブロックのうち1つ（mLSTM）はTransformerアーキテクチャのように並列化可能で、もう1つ（sLSTM）は状態追跡を可能にする。

2001年： GersとSchmidhuberは、隠れマルコフモデルなどの従来のモデルでは学習できない言語を学習するためにLSTMを訓練した。^{[ 21 ] [ 63 ]}

Hochreiterらはメタ学習（つまり学習アルゴリズムの学習）にLSTMを使用した。^{[ 76 ]}

2004年：音声へのLSTMの最初の成功例Alex Graves他^{[ 77 ] [ 63 ]}

2005年： Daan Wierstra、Faustino Gomez、およびSchmidhuberは、教師なしのニューロエボリューションによってLSTMを訓練した。 ^{[ 7 ]}

Mayerらはロボットを制御するためにLSTMを訓練した。^{[ 13 ]}

2007年： Wierstra、Foerster、Peters、およびSchmidhuberは、教師なし強化学習のためにポリシー勾配によってLSTMを訓練した。 ^{[ 78 ]}

Hochreiter、Heuesel、およびObermayrは、生物学の分野でタンパク質相同性検出にLSTMを適用した。^{[ 37 ]}

2009年：ジャスティン・ベイヤーらはLSTMのニューラルアーキテクチャ探索を導入した。 ^{[ 79 ] [ 63 ]}

2009: An LSTM trained by CTC won the ICDAR connected handwriting recognition competition. Three such models were submitted by a team led by Alex Graves.^[80] One was the most accurate model in the competition and another was the fastest.^[81] This was the first time an RNN won international competitions.^[63]

2013: Alex Graves, Abdel-rahman Mohamed, and Geoffrey Hinton used LSTM networks as a major component of a network that achieved a record 17.7% phoneme error rate on the classic TIMIT natural speech dataset.^[28]

2017: Researchers from Michigan State University, IBM Research, and Cornell University published a study in the Knowledge Discovery and Data Mining (KDD) conference.^[82] Their time-aware LSTM (T-LSTM) performs better on certain data sets than standard LSTM.

2020: Kaplan and McCandlish et al. explored the scaling law of LSTM architecture in language modeling and compared it with Transformers, showing that Transformers scale better than LSTM on text data. ^[83]