長期短期記憶

長短期記憶( LSTM ) ^{[ 1 ]}は、従来の RNN でよく見られる勾配消失問題^[²^]を軽減することを目的としたリカレントニューラルネットワーク(RNN)の一種です。ギャップの長さに対する相対的な鈍感さが、他の RNN、隠れマルコフモデル、およびその他のシーケンス学習方法に対する利点です。数千タイムステップ持続できる RNN の短期記憶を提供することを目指しています (そのため「長短期記憶」と呼ばれます)。^[¹^]この名前は、20 世紀初頭から認知心理学者によって研究されてきた長期記憶と短期記憶、およびそれらの関係になぞらえて付けられました。

LSTM ユニットは通常、セルと 3 つのゲート(入力ゲート、出力ゲート^{[ 3 ]}、忘却ゲート^{[ 4 ])}で構成されます。セルは任意の時間間隔にわたって値を記憶し、ゲートはセルへの情報入力とセルからの情報出力の流れを制御します。忘却ゲートは、前の状態と現在の入力を 0 から 1 の間の値にマッピングすることで、前の状態から破棄する情報を決定します。1 の (丸められた) 値は情報の保持を意味し、0 の値は破棄を意味します。入力ゲートは、忘却ゲートと同じシステムを使用して、現在のセルの状態にどの新しい情報を保存するかを決定します。出力ゲートは、前の状態と現在の状態を考慮して、情報に 0 から 1 の値を割り当てることで、現在のセルの状態のどの情報を出力するかを制御します。現在の状態から関連情報を選択的に出力することで、LSTM ネットワークは、現在と将来のタイムステップの両方で予測を行うための有用な長期依存関係を維持できます。

LSTM は、^{分類 [} 5 ] ^[⁶^]^、^データ処理、時系列分析タスク^[⁷^]、音声認識^[⁸^]^[⁹^]、機械翻訳^[¹⁰^]^[¹¹^]、音声活動検出^[¹²^]、ロボット制御^{[ 13}^]^[¹⁴^]、ビデオゲーム^[¹⁵^]^[¹⁶ ]、ヘルスケア^[¹⁷^]、エネルギー予測^[¹⁸^]^{など、幅広い用途が}^あります。

モチベーション

理論的には、古典的なRNN は入力シーケンス内の任意の長期依存関係を追跡できます。古典的な RNN の問題は、計算 (または実用的) の性質にあります。バックプロパゲーションを使用して古典的な RNN をトレーニングする場合、バックプロパゲーションされる長期勾配が「消失」する可能性があります。つまり、非常に小さな数値が計算に紛れ込むことで勾配がゼロに近づき、モデルが事実上学習を停止してしまう可能性があります。LSTM ユニットを使用する RNN は、 LSTM ユニットが勾配をほとんど減衰せずに流すことができるため、消失勾配の問題を部分的に解決します。ただし、LSTM ネットワークは依然として爆発勾配の問題に悩まされる可能性があります。^{[ 19 ]}

LSTM アーキテクチャの背後にある直感は、関連情報をいつ記憶し、いつ忘れるかを学習するニューラルネットワークの追加モジュールを作成することです。^{[ 4 ]}つまり、ネットワークは、シーケンスの後半でどの情報が必要になる可能性があるか、そしてその情報がいつ不要になるかを効果的に学習します。たとえば、自然言語処理のコンテキストでは、ネットワークは文法的な依存関係を学習できます。^{[ 20 ]} LSTM は、「 Dave は、彼の物議を醸す主張の結果、今は追放者です」という文を処理する際に、主語Daveの (統計的に可能性が高い) 文法的な性別と数を記憶します。この情報は代名詞hisに関連し、動詞is の後ではこの情報はもはや重要ではないことに注意してください。

バリエーション

以下の式では、小文字の変数はベクトルを表します。行列 $W_{q}$ そして $U_{q}$ それぞれ入力接続と再帰接続の重みを含み、添え字は $_{q}$ 入力ゲートにもなり得る $i$ 出力ゲート $o$ 忘れの門 $f$ またはメモリセル $c$ 計算される活性化に応じて、このセクションでは「ベクトル表記」を使用します。たとえば、 $c_{t}\in \mathbb {R} ^{h}$ LSTMセルの1つのユニットだけではなく、 $h$ LSTMセルのユニット。

忘却ゲートを備えたLSTM（重要）

忘却ゲートを備えたLSTMセルの順伝播の方程式の簡潔な形式は次のとおりです。^{[ 1 ]}^{[ 4 ]}

{\begin{aligned}f_{t}&=\sigma _{g}(W_{f}x_{t}+U_{f}h_{t-1}+b_{f})\\i_{t}&=\sigma _{g}(W_{i}x_{t}+U_{i}h_{t-1}+b_{i})\\o_{t}&=\sigma _{g}(W_{o}x_{t}+U_{o}h_{t-1}+b_{o})\\{\tilde {c}}_{t}&=\sigma _{c}(W_{c}x_{t}+U_{c}h_{t-1}+b_{c})\\c_{t}&=f_{t}\odot c_{t-1}+i_{t}\odot \begin{aligned} \left\{ \tilde {c}}_{t}\\h_{t}&=o_{t}\odot \sigma _{h}(c_{t})\end{aligned}}

ここで初期値は $c_{0}=0$ そして $h_{0}=0$ そしてオペレーター $\odot$ はアダマール積（要素ごとの積）を表します。 $t$ 時間ステップのインデックスを示します。

変数

上付き文字をそのままにしておく $d$ そして $h$ それぞれ入力特徴量の数と隠れユニット数を指します。

$x_{t}\in \mathbb {R} ^{d}$ LSTMユニットへの入力ベクトル
$f_{t}\in {(0,1)}^{h}$ : ゲートの活性化ベクトルを忘れる
$i_{t}\in {(0,1)}^{h}$ 入力/更新ゲートの活性化ベクトル
$\displaystyle o_{t}\in {(0,1)}^{h}}$ 出力ゲートの活性化ベクトル
$h_{t}\in {(-1,1)}^{h}$ 隠れ状態ベクトル（LSTMユニットの出力ベクトルとも呼ばれる）
$\displaystyle {\tilde {c}}_{t}\in {(-1,1)}^{h}}$ : 細胞入力活性化ベクトル
$c_{t}\in \mathbb {R} ^{h}$ : 細胞状態ベクトル
$\displaystyle W\in \mathbb {R} ^{h\times d}}$ 、 $\displaystyle U\in \mathbb {R} ^{h\times h}}$ そして $\displaystyle b\in \mathbb {R} ^{h}}$ : トレーニング中に学習する必要のある重み行列とバイアスベクトルパラメータ

活性化関数

$\displaystyle \sigma _{g}}$ :シグモイド関数。
$\displaystyle \sigma _{c}}$ 双曲線正接関数。
$\displaystyle \sigma _{h}}$ : 双曲線正接関数、または peephole LSTM 論文^{[ 21 ]}^{[ 22 ]}が示唆するように、 $\sigma _{h}(x)=x$ 。

覗き穴LSTM

{\displaystyle i} — 入力付き覗き穴LSTMユニット（例： $i$ ) 出力 (つまり $o$ )、そして忘れる（つまり $f$ ゲート

右の図は、ピーホール接続を備えた LSTM ユニット (つまり、ピーホール LSTM) のグラフィカル表現です。^{[ 21 ]}^{[ 22 ]}ピーホール接続により、ゲートは定誤差カルーセル (CEC) にアクセスでき、その活性化がセル状態になります。^{[ 21 ]} $h_{t-1}$ 使用されていません、 $c_{t-1}$ ほとんどの場所では、代わりにが使われています。

{\begin{aligned}f_{t}&=\sigma _{g}(W_{f}x_{t}+U_{f}c_{t-1}+b_{f})\\i_{t}&=\sigma _{g}(W_{i}x_{t}+U_{i}c_{t-1}+b_{i})\\o_{t}&=\sigma _{g}(W_{o}x_{t}+U_{o}c_{t-1}+b_{o})\\c_{t}&=f_{t}\odot c_{t-1}+i_{t}\odot \sigma _{c}(W_{c}x_{t}+b_{c})\\h_{t}&=o_{t}\odot \sigma _{h}(c_{t})\end{aligned}}

それぞれのゲートは、フィードフォワード（または多層）ニューラルネットワークにおける「標準的な」ニューロンと考えることができます。つまり、重み付き和の活性化を（活性化関数を用いて）計算します。 $i_{t},o_{t}$ そして $f_{t}$ それぞれ入力ゲート、出力ゲート、忘却ゲートの活性化を表す。 $t$ 。

メモリセルからの3つの出口矢印 $c$ 3つの門へ $i,o$ そして $f$ これらは覗き穴接続を表します。これらの覗き穴接続は、実際にはメモリセルの活性化による寄与を示しています。 $c$ タイムステップで $t-1$ つまり、 $c_{t-1}$ （そしてそうではない） $c_{t}$ （写真が示唆するように）。言い換えれば、門は $i,o$ そして $f$ タイムステップでそれらの活性化を計算する $t$ （つまり、それぞれ、 $i_{t},o_{t}$ そして $f_{t}$ メモリセルの活性化も考慮に入れる $c$ タイムステップで $t-1$ つまり $c_{t-1}$ 。

メモリセルから出ている左から右への単一の矢印は、覗き穴接続ではなく、 $c_{t}$ 。

小さな円の中に $\times$ 記号は、入力間の要素ごとの乗算を表します。S字型の曲線を含む大きな円は、加重和に微分可能な関数（シグモイド関数など）を適用することを表します。

覗き穴型畳み込みLSTM

覗き穴畳み込みLSTM 。^{[ 23 ]} $*$ は畳み込み演算子を表します。

{\begin{aligned}f_{t}&=\sigma _{g}(W_{f}*x_{t}+U_{f}*h_{t-1}+V_{f}\odot c_{t-1}+b_{f})\\i_{t}&=\sigma _{g}(W_{i}*x_{t}+U_{i}*h_{t-1}+V_{i}\odot c_{t-1}+b_{i})\\c_{t}&=f_{t}\odot c_{t-1}+i_{t}\odot \sigma _{c}(W_{c}*x_{t}+U_{c}*h_{t-1}+b_{c})\\o_{t}&=\sigma _{g}(W_{o}*x_{t}+U_{o}*h_{t-1}+V_{o}\odot c_{t}+b_{o})\\h_{t}&=o_{t}\odot \sigma _{h}(c_{t})\end{aligned}}

トレーニング

LSTMユニットを使用したRNNは、一連のトレーニングシーケンスに対して教師あり学習でトレーニングできます。この際、最適化プロセス中に必要な勾配を計算するために、勾配降下法などの最適化アルゴリズムと時間逆伝播法を組み合わせて使用し、LSTMネットワークの各重みを、対応する重みに対する誤差（LSTMネットワークの出力層）の導関数に比例して変更します。

標準的なRNNに勾配降下法を使用する際の問題点は、重要なイベント間の時間遅延の大きさに応じて誤差勾配が指数関数的に急速に消滅することです。これは、 $\lim _{n\to \infty }W^{n}=0$ スペクトル半径が $W$ 1より小さい。^{[ 2 ]}^{[ 24 ]}

しかし、LSTMユニットでは、出力層から誤差値が逆伝播されると、誤差はLSTMユニットのセル内に残ります。この「誤差カルーセル」は、LSTMユニットの各ゲートが誤差値を遮断することを学習するまで、誤差を継続的に各ゲートにフィードバックします。

CTCスコア関数

多くのアプリケーションでは、LSTM RNN ^{[ 25 ]}のスタックを使用し、対応する入力シーケンスが与えられた場合に、トレーニングセット内のラベルシーケンスの確率を最大化する RNN 重み行列を見つけるために、コネクショニストテンポラル分類 ( CTC) ^{[ 5 ]によってトレーニングします。CTC は、アライメントと認識の両方を実現します。}

代替案

場合によっては、特に「教師」（つまり、トレーニングラベル）がない場合、ニューロエボリューション^{[ 7 ]}またはポリシー勾配法によってLSTM（の一部）をトレーニングすることが有利になることがあります。

アプリケーション

LSTMの応用例は以下のとおりです。

ロボット制御^{[ 13 ]}
時系列予測^{[ 7 ]}
音声認識^{[ 26 ]}^{[ 27 ]}^{[ 28 ]}
リズム学習^{[ 22 ]}
水文学的降雨流出モデリング^{[ 29 ]}
音楽作曲^{[ 30 ]}
エネルギー予測^{[ 18 ]}
文法学習^{[ 31 ]}^{[ 21 ]}^{[ 32 ]}
手書き文字認識^{[ 33 ]}^{[ 34 ]}
人間の行動認識^{[ 35 ]}
手話翻訳^{[ 36 ]}
タンパク質相同性検出^{[ 37 ]}
タンパク質の細胞内局在の予測^{[ 38 ]}
時系列異常検出^{[ 39 ]}
ビジネスプロセス管理の分野におけるいくつかの予測タスク^{[ 40 ]}
医療ケア経路における予測^{[ 41 ]}
意味解析^{[ 42 ]}
オブジェクトの共セグメンテーション^{[ 43 ]}^{[ 44 ]}
空港旅客管理^{[ 45 ]}
短期交通予測^{[ 46 ]}
医薬品設計^{[ 47 ]}
財務予測^{[ 48 ]}
動画における活動分類^{[ 49 ]}

2015年： GoogleはGoogle Voiceの音声認識にCTCでトレーニングされたLSTMの使用を開始しました。^{[ 50 ]}^{[ 51 ]}公式ブログ記事によると、新しいモデルは文字起こしエラーを49%削減しました。^{[ 52 ]}

2016年： Googleは、Allo会話アプリでメッセージを提案するためにLSTMの使用を開始しました。^{[ 53 ]}同年、Googleは、 LSTMを使用して翻訳エラーを60%削減するGoogle翻訳用のGoogleニューラル機械翻訳システムをリリースしました。^{[ 10 ]}^{[ 54 ]}^{[ 55 ]}

Appleは世界開発者会議で、^iPhoneのクイックタイプ^{[ 56 ]}^{[ 57 ]}^{[ 58 ]とSiri}^{[ 59 ]}^[⁶⁰^]にLSTMの使用を開始すると発表した。

Amazonは、双方向LSTMを用いたテキスト音声変換技術により、Alexaの音声を生成するPollyをリリースした。 ^{[ 61 ]}

2017年： Facebookは長短期記憶ネットワークを使用して、毎日約45億件の自動翻訳を実行した。^{[ 11 ]}

マイクロソフトは、165,000語の語彙を組み込んだSwitchboardコーパスで94.9%の認識精度を達成したと報告した。このアプローチは「対話セッションベースの長短期記憶」を使用した。^{[ 62 ]}

2018年：OpenAIは、ポリシー勾配で訓練されたLSTMを使用して、複雑なビデオゲームDota 2で人間を打ち負かし^{[ 15 ]}、これまでにない器用さで物理的な物体を操作する人間のようなロボットハンドを制御しました。^{[ 14 ]}^{[ 63 ]}

2019年: DeepMindは、ポリシー勾配でトレーニングされたLSTMを使用して、複雑なビデオゲームであるStarcraft IIで優れた成績を収めました。^{[ 16 ]}^{[ 63 ]}

歴史

発達

LSTM の側面は、LSTM 論文^[¹^]で引用されている「フォーカスバックプロパゲーション」^{[ 64 ]によって予見されていた。}

ゼップ・ホッホライターの1991年のドイツの卒業論文は、勾配消失問題を分析し、その方法の原理を開発した。^{[ 2 ]}彼の指導教官であるユルゲン・シュミットフーバーは、この論文を非常に重要だと考えていた。^{[ 65 ]}

LSTMの初期バージョンは、1995年にSepp HochreiterとJürgen Schmidhuberによる技術レポートで発表され^{[ 66 ]}、その後NIPS 1996会議で発表された^[³^]。

LSTM の最も一般的な参照点は、1997 年にNeural Computation誌に掲載されたものです。^{[ 1 ]} LSTM は、Constant Error Carousel (CEC) ユニットを導入することで、勾配消失問題に対処します。LSTM ブロックの初期バージョンには、セル、入力ゲート、出力ゲートが含まれていました。^{[ 67 ]}

フェリックス・ゲルス、ユルゲン・シュミットフーバー、フレッド・カミンズは、1999年にLSTMアーキテクチャに忘却ゲート（「保持ゲート」とも呼ばれる）を導入し^{[ 68 ]} 、 LSTMが自身の状態をリセットできるようにした^{[ 67 ]} 。これは現在最も一般的に使用されているLSTMのバージョンである。彼らは2000年にピーホール接続を追加した^{[ 21 ]}^{[ 22 ]。}さらに、出力活性化関数は省略された^{[ 67 ] 。}

変異体の開発

2005年にGravesとSchmidhuber ^{[ 26 ]}は、時間を通して完全なバックプロパゲーションを行うLSTMと双方向LSTMを発表しました。

2006年にGraves、Fernandez、Gomez、およびSchmidhuber ^{[ 5 ]}は、LSTMの新しいエラー関数であるConnectionist Temporal Classification (CTC)を導入し、シーケンスの同時アライメントと認識を実現しました。

2014年にKyunghyun Choら^{[ 69 ]}は、忘却ゲートLSTM ^{[ 68 ]}の簡略化されたバリアントであるゲート付きリカレントユニット（GRU）を発表した。

2015年、Srivastava、Greff、およびSchmidhuberはLSTMの原理^{[ 68 ]}を使用して、以前のネットワークよりもはるかに深い数百層のフィードフォワードニューラルネットワークである Highwayネットワークを作成しました。 ^[⁷⁰^]^[⁷¹^]^[⁷²^]同時に、ResNetアーキテクチャが開発されました。これは、ゲートが開いている、またはゲートがない高速道路ネットワークに相当します。^[⁷³^]

LSTMの最新アップグレードであるxLSTMは、 Sepp Hochreiter率いるチームによって発表された。^{[ 74 ]}^{[ 75 ]}このアーキテクチャの2つのブロックのうち1つ（mLSTM）はTransformerアーキテクチャのように並列化可能で、もう1つ（sLSTM）は状態追跡を可能にする。

アプリケーション

2001年： GersとSchmidhuberは、隠れマルコフモデルなどの従来のモデルでは学習できない言語を学習するためにLSTMを訓練した。^{[ 21 ]}^{[ 63 ]}

Hochreiterらはメタ学習（つまり学習アルゴリズムの学習）にLSTMを使用した。^{[ 76 ]}

2004年：音声へのLSTMの最初の成功例Alex Graves他^{[ 77 ]}^{[ 63 ]}

2005年： Daan Wierstra、Faustino Gomez、およびSchmidhuberは、教師なしのニューロエボリューションによってLSTMを訓練した。 ^{[ 7 ]}

Mayerらはロボットを制御するためにLSTMを訓練した。^{[ 13 ]}

2007年： Wierstra、Foerster、Peters、およびSchmidhuberは、教師なし強化学習のためにポリシー勾配によってLSTMを訓練した。 ^{[ 78 ]}

Hochreiter、Heuesel、およびObermayrは、生物学の分野でタンパク質相同性検出にLSTMを適用した。^{[ 37 ]}

2009年：ジャスティン・ベイヤーらはLSTMのニューラルアーキテクチャ探索を導入した。 ^{[ 79 ]}^{[ 63 ]}

2009年： CTCでトレーニングされたLSTMがICDARコネクテッド手書き認識コンテストで優勝した。アレックス・グレイブス率いるチームが3つのモデルを提出した。^{[ 80 ]}そのうち1つはコンテストで最も正確なモデルであり、もう1つは最も速いモデルだった。^{[ 81 ]}これはRNNが国際コンテストで優勝した最初の例だった。^{[ 63 ]}

2013年：アレックス・グレイブス、アブデルラフマン・モハメド、ジェフリー・ヒントンは、LSTMネットワークを主要な構成要素として用い、古典的なTIMIT自然音声データセットで17.7%という記録的な音素誤り率を達成したネットワークを構築した。^[²⁸^]

2017年：ミシガン州立大学、IBMリサーチ、コーネル大学の研究者らが、知識発見とデータマイニング（KDD）会議で研究を発表しました。^{[ 82 ]}彼らの時間認識LSTM（T-LSTM）は、特定のデータセットで標準LSTMよりも優れたパフォーマンスを発揮します。

2020年： KaplanとMcCandlishらは、言語モデリングにおけるLSTMアーキテクチャのスケーリング法則を探求し、 Transformersと比較した結果、TransformersはテキストデータにおいてLSTMよりも優れたスケーリングを示すことを明らかにした。^{[ 83 ]}

参考文献

1 2 3 4 5ゼップ・ホッホライター;ユルゲン・シュミットフーバー(1997)。「長短期記憶」。ニューラル計算。9 (8): 1735 ～ 1780 年。土井: 10.1162/neco.1997.9.8.1735。PMID 9377276。S2CID 1915014。
1 2 3ホッホライター、ゼップ (1991)。Untersuhungen zu dynamischen neuronalen Netzen (PDF) (卒業論文)。ミュンヘン工科大学、コンピューターサイエンス研究所。
1 2 Hochreiter, Sepp; Schmidhuber, Jürgen (1996-12-03). "LSTM は、困難な長時間遅延問題を解決できます。第 9 回国際ニューラル情報処理システム会議議事録。NIPS'96。米国マサチューセッツ州ケンブリッジ: MIT Press: 473–479。
1 2 3 Felix A. Gers; Jürgen Schmidhuber; Fred Cummins (2000). "Learning to Forget: Continual Prediction with LSTM" . Neural Computation . 12 (10): 2451–2471 . CiteSeerX 10.1.1.55.5709 . doi : 10.1162/089976600300015015 . PMID 11032042. S2CID 11598600. 2019年4月7日にオリジナルからアーカイブ済み。 2017年4月15日に取得。
1 2 3 Graves, Alex; Fernández, Santiago; Gomez, Faustino; Schmidhuber, Jürgen (2006). "Connectionist temporal classification: Labelling unsegmented sequence data with recurrent neural networks". In Proceedings of the International Conference on Machine Learning, ICML 2006 : 369– 376. CiteSeerX 10.1.1.75.6306 .
↑ Karim, Fazle; Majumdar, Somshubra; Darabi, Houshang; Chen, Shun (2018). " LSTM Fully Convolutional Networks for Time Series Classification" . IEEE Access . 6 : 1662–1669 . arXiv : 1709.05206 . Bibcode : 2018IEEEA...6.1662K . doi : 10.1109/ACCESS.2017.2779939 . ISSN 2169-3536 .
1 2 3 4 Wierstra, Daan; Schmidhuber, J.; Gomez, FJ (2005). "Evolino: ハイブリッドニューロエボリューション/最適線形探索によるシーケンス学習" .第 19 回国際人工知能合同会議 (IJCAI) 議事録、エジンバラ: 853–858 .
↑ Sak, Hasim; Senior, Andrew; Beaufays, Francoise (2014). "大規模音響モデリングのための長短期記憶リカレントニューラルネットワークアーキテクチャ" (PDF)。 2018年4月24日にオリジナル(PDF)からアーカイブされました。
↑ Li, Xiangang; Wu, Xihong (2014-10-15). "大規模語彙音声認識のための長短期記憶に基づく深層リカレントニューラルネットワークの構築". arXiv : 1410.4281 [ cs.CL ].
1 2 Wu, Yonghui; Schuster, Mike; Chen, Zhifeng; Le, Quoc V.; Norouzi, Mohammad; Macherey, Wolfgang; Krikun, Maxim; Cao, Yuan; Gao, Qin (2016-09-26). "Googleのニューラル機械翻訳システム：人間と機械翻訳のギャップを埋める". arXiv : 1609.08144 [ cs.CL ].
1 2 Ong, Thuy (2017年8月4日). 「Facebookの翻訳は完全にAIによって駆動されるようになった」 . www.allthingsdistributed.com . 2019年2月15日取得。
↑メリーランド州サヒドラ。パティーノ、ホセ。コーネル、サミュエル。イン、ルイキン。シヴァサンカラン、スニット。ブレディン、エルベ。コルシュノフ、パベル。ブルッティ、アレッシオ。セリゼル、ロマン。ヴィンセント、エマニュエル。エヴァンス、ニコラス。マルセル、セバスチャン。スクアルティーニ、ステファノ。バラス、クロード (2019-11-06)。「DIHARD II へのスピード提出: 貢献と得られた教訓」。arXiv : 1911.02388 [ eess.AS ]。
1 2 3 Mayer, H.; Gomez, F.; Wierstra, D.; Nagy, I.; Knoll, A.; Schmidhuber, J. (2006年10月). 「リカレントニューラルネットワークを用いて結び目を学習するロボット心臓手術システム」. 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems . pp. 543–548 . CiteSeerX 10.1.1.218.3399 . doi : 10.1109/IROS.2006.282190 . ISBN 978-1-4244-0258-8. S2CID 12284900 .
1 2 「器用さの学習」 . OpenAI . 2018年7月30日. 2023年6月28日取得.
1 2 Rodriguez, Jesus (2018年7月2日). 「OpenAI Fiveの背後にある科学：AI史上最大のブレークスルーの1つを生み出した」 . Towards Data Science . 2019年12月26日のオリジナルからアーカイブ済み。 2019年1月15日取得。
1 2スタンフォード、ステイシー（2019年1月25日）。「DeepMindのAI、AlphaStarがAGIに向けて大きな進歩を示す」。Medium ML Memoirs 。2019年1月15日取得。
↑ Schmidhuber, Jürgen (2021). "2010年代：ディープラーニングの10年／2020年代の展望" . AI Blog . IDSIA、スイス. 2022年4月30日取得.
1 2 Maity, Abhishek; Tukarul, Viraj (2026年1月23日). 「リカレントニューラルネットワークを使用したエネルギー消費量の予測：比較分析」. arXiv : 2601.17110 [ cs.CY ].
↑カリン、オヴィディウ（2020年2月14日）。ディープラーニングアーキテクチャ。スイス、チャム：シュプリンガーネイチャー。555ページ。ISBN 978-3-030-36720-6。
↑ヤイール、ラクレッツ。クルシェフスキー、ドイツ人。デボルデス、テオ。ハプケス、デューク。デハエネ、スタニスラス。 Baroni、Marco (2019)、「数値および構文単位の出現」、数値および構文単位の出現(PDF)、計算言語学協会、pp. 11–20、doi : 10.18653/v1/N19-1002、hdl : 11245.1/16cb6800-e10d-4166-8e0b-fed61ca6ebb4、S2CID 81978369
1 2 3 4 5 6 Gers, FA; Schmidhuber, J. (2001). "LSTM リカレントネットワークは単純な文脈自由言語と文脈依存言語を学習する" (PDF) . IEEE Transactions on Neural Networks . 12 (6): 1333– 1340. Bibcode : 2001ITNN...12.1333G . doi : 10.1109/72.963769 . PMID 18249962 . S2CID 10192330 . 2017-07-06 にオリジナル(PDF)からアーカイブされました。
1 2 3 4 Gers, F.; Schraudolph, N.; Schmidhuber, J. (2002). "Learning precise timing with LSTM recurrent networks" (PDF) . Journal of Machine Learning Research . 3 : 115– 143. 2017-07-28 のオリジナル(PDF)からアーカイブ済み。2017-04-15に取得。
↑ Xingjian Shi; Zhourong Chen; Hao Wang; Dit-Yan Yeung; Wai-kin Wong; Wang-chun Woo (2015). "Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting". Proceedings of the 28th International Conference on Neural Information Processing Systems : 802– 810. arXiv : 1506.04214 . Bibcode : 2015arXiv150604214S .
↑ Hochreiter, S.; Bengio, Y.; Frasconi, P.; Schmidhuber, J. (2001). "Gradient Flow in Recurrent Nets: the Difficulty of Learning Long-Term Dependencies (PDF Download Available)" . In Kremer and, SC; Kolen, JF (eds.). A Field Guide to Dynamical Recurrent Neural Networks . IEEE Press.
↑ Fernández, Santiago; Graves, Alex; Schmidhuber, Jürgen (2007). "階層型リカレントニューラルネットワークを用いた構造化ドメインにおけるシーケンスラベリング". Proc. 20th Int. Joint Conf. On Artificial Intelligence, Ijcai 2007 : 774– 779. CiteSeerX 10.1.1.79.1887 .
1 2 Graves, A.; Schmidhuber, J. (2005). "双方向LSTMおよびその他のニューラルネットワークアーキテクチャによるフレーム単位の音素分類" . Neural Networks . 18 ( 5– 6): 602– 610. CiteSeerX 10.1.1.331.5800 . doi : 10.1016/j.neunet.2005.06.042 . PMID 16112549 . S2CID 1856462 .
↑ Fernández, S.; Graves, A.; Schmidhuber, J. (2007年9月9日). 「リカレントニューラルネットワークを用いた識別キーワード検出への応用」 .第17回国際人工ニューラルネットワーク会議議事録. ICANN'07. ベルリン、ハイデルベルク: Springer-Verlag: 220–229 . ISBN 978-35407469352023年12月28日に取得。
1 2 Graves, Alex; Mohamed, Abdel-rahman; Hinton, Geoffrey (2013). "深層リカレントニューラルネットワークによる音声認識". 2013 IEEE International Conference on Acoustics, Speech and Signal Processing . pp. 6645–6649 . arXiv : 1303.5778 . doi : 10.1109/ICASSP.2013.6638947 . ISBN 978-1-4799-0356-6. S2CID 206741496 .
↑ Kratzert, Frederik; Klotz, Daniel; Shalev, Guy; Klambauer, Günter; Hochreiter, Sepp; Nearing, Grey (2019-12-17). "大規模サンプルデータセットに適用した機械学習による普遍的、地域的、局所的な水文挙動の学習に向けて" . Hydrology and Earth System Sciences . 23 (12): 5089– 5110. arXiv : 1907.08456 . Bibcode : 2019HESS...23.5089K . doi : 10.5194/hess-23-5089-2019 . ISSN 1027-5606 .
↑ Eck, Douglas; Schmidhuber, Jürgen (2002年8月28日). 「ブルースの長期構造の学習」.人工ニューラルネットワーク — ICANN 2002. Lecture Notes in Computer Science. Vol. 2415. Springer, Berlin, Heidelberg. pp. 284–289 . CiteSeerX 10.1.1.116.3620 . doi : 10.1007 /3-540-46084-5_47 . ISBN 978-3540460848。
↑ Schmidhuber, J.; Gers, F.; Eck, D.; Schmidhuber, J.; Gers, F. (2002). "非正規言語の学習: 単純なリカレントネットワークと LSTM の比較". Neural Computation . 14 (9): 2039–2041 . CiteSeerX 10.1.1.11.7369 . doi : 10.1162/089976602320263980 . PMID 12184841. S2CID 30459046 .
↑ Perez-Ortiz, JA; Gers, FA; Eck, D.; Schmidhuber, J. (2003). "カルマンフィルタは、従来の再帰型ネットワークでは解決できない問題においてLSTMネットワークのパフォーマンスを向上させる" . Neural Networks . 16 (2): 241– 250. CiteSeerX 10.1.1.381.1992 . doi : 10.1016/s0893-6080(02)00219-8 . PMID 12628609 .
↑ A. Graves、J. Schmidhuber。「多次元リカレントニューラルネットワークによるオフライン手書き認識」。Advances in Neural Information Processing Systems 22、NIPS'22、pp 545–552、バンクーバー、MIT Press、2009年。
↑ Graves, A.; Fernández, S.; Liwicki, M.; Bunke, H.; Schmidhuber, J. (2007年12月3日). 「リカレントニューラルネットワークを用いた制約なしオンライン手書き認識」 .第20回国際ニューラル情報処理システム会議議事録. NIPS'07. 米国: Curran Associates Inc.: 577–584 . ISBN 97816056035202023年12月28日に取得。
↑ Baccouche, M.; Mamalet, F.; Wolf, C.; Garcia, C.; Baskurt, A. (2011). "Sequential Deep Learning for Human Action Recognition". In Salah, AA; Lepri, B. (eds.). 2nd International Workshop on Human Behavior Understanding (HBU) . Lecture Notes in Computer Science. Vol. 7065. Amsterdam, Netherlands: Springer. pp. 29–39 . doi : 10.1007/978-3-642-25446-8_4 . ISBN 978-3-642-25445-1。
↑黄潔；周、文港。張、希林。李、後強。李偉平（2018-01-30）。「時間分割を行わないビデオベースの手話認識」。arXiv : 1801.10111 [ cs.CV ]。
1 2 Hochreiter, S.; Heusel, M.; Obermayer, K. (2007). "アライメントなしの高速モデルベースタンパク質相同性検出" . Bioinformatics . 23 (14): 1728– 1736. doi : 10.1093/bioinformatics/btm247 . PMID 17488755 .
↑ Thireou, T.; Reczko, M. (2007). "真核生物タンパク質の細胞内局在を予測するための双方向長短期記憶ネットワーク". IEEE /ACM Transactions on Computational Biology and Bioinformatics . 4 (3): 441–446 . Bibcode : 2007ITCBB...4..441T . doi : 10.1109/tcbb.2007.1015 . PMID 17666763. S2CID 11787259 .
↑ Malhotra, Pankaj; Vig, Lovekesh; Shroff, Gautam; Agarwal, Puneet (2015年4月) 「時系列における異常検出のための長短期記憶ネットワーク」(PDF) .欧州人工ニューラルネットワーク、計算知能、機械学習シンポジウム — ESANN 2015 . 2020年10月30日にオリジナル(PDF)からアーカイブ済み。 2018年2月21日に取得。
↑ Tax, N.; Verenich, I.; La Rosa, M.; Dumas, M. (2017). "LSTMニューラルネットワークを用いた予測型ビジネスプロセスモニタリング". Advanced Information Systems Engineering . Lecture Notes in Computer Science. Vol. 10253. pp. 477–492 . arXiv : 1612.02130 . doi : 10.1007/978-3-319-59536-8_30 . ISBN 978-3-319-59535-1. S2CID 2192354 .
↑ Choi, E.; Bahadori, MT; Schuetz, E.; Stewart, W.; Sun, J. (2016). "Doctor AI : Predicting Clinical Events via Recurrent Neural Networks" . JMLR Workshop and Conference Proceedings . 56 : 301–318 . arXiv : 1511.05942 . Bibcode : 2015arXiv151105942C . PMC 5341604. PMID 28286600 .
↑ Jia, Robin; Liang, Percy (2016). "ニューラル意味解析のためのデータ再結合". arXiv : 1606.03622 [ cs.CL ].
↑ Wang, Le; Duan, Xuhuan; Zhang, Qilin; Niu, Zhenxing; Hua, Gang; Zheng, Nanning (2018-05-22). "Segment-Tube: Spatio-Temporal Action Localization in Untrimmed Videos with Per-Frame Segmentation" (PDF) . Sensors . 18 (5): 1657. Bibcode : 2018Senso..18.1657W . doi : 10.3390/s18051657 . ISSN 1424-8220 . PMC 5982167 . PMID 29789447 .
↑ドゥアン、徐環。王、楽。ザイ、チャンボ。鄭、南寧。張、希林。牛真興。フア、ガン（2018）。「フレームごとのセグメンテーションを使用したトリミングされていないビデオにおける時空間アクションの共同位置特定」。2018 第 25 回 IEEE 画像処理国際会議 (ICIP)。第 25 回 IEEE 画像処理国際会議 (ICIP)。 pp. 918–922 . doi : 10.1109/icip.2018.8451692。ISBN 978-1-4799-7061-2。
↑ Orsini, F.; Gastaldi, M.; Mantecchini, L.; Rossi, R. (2019).空港乗客の行動を予測するためのWiFiトレースで訓練されたニューラルネットワーク。第6回インテリジェント交通システムのためのモデルと技術に関する国際会議。クラクフ：IEEE。arXiv ：1910.14026。doi：10.1109/MTITS.2019.8883365。8883 365。
↑ Zhao, Z.; Chen, W.; Wu, X.; Chen, PCY; Liu, J. (2017). "LSTMネットワーク：短期交通予測のための深層学習アプローチ". IET Intelligent Transport Systems . 11 (2): 68–75 . doi : 10.1049/iet-its.2016.0208 . S2CID 114567527 .
↑ Gupta A 、 Müller AT、Huisman BJH、Fuchs JA、Schneider P、Schneider G (2018)。「新規創薬のための生成リカレントネットワーク」。Mol Inform。37 ( 1–2 ) 1700111。doi : 10.1002 / minf.201700111。PMC 5836943。PMID 29095571。 {{cite journal}}: CS1 maint: 複数の名前: 著者リスト (リンク)
↑ Saiful Islam, Md.; Hossain, Emam (2020-10-26). "GRU-LSTMハイブリッドネットワークを使用した外国為替レート予測" . Soft Computing Letters . 3 100009. doi : 10.1016/j.socl.2020.100009 . ISSN 2666-2221 .
↑ Martin, Abbey; Hill, Andrew J.; Seiler, Konstantin M.; Balamurali, Mehala (2024-05-27). "ハイブリッドLSTM-Transformerネットワークを使用した未編集ビデオの自動掘削機動作認識と位置特定" . International Journal of Mining, Reclamation and Environment . 38 (5): 353– 372. Bibcode : 2024IJMRE..38..353M . doi : 10.1080/17480930.2023.2290364 . ISSN 1748-0930 .
↑ボーフェイズ、フランソワーズ（2015年8月11日）。「Google音声文字起こしの背後にあるニューラルネットワーク」。リサーチブログ。 2017年6月27日取得。
↑ Sak, Haşim; Senior, Andrew; Rao, Kanishka; Beaufays, Françoise; Schalkwyk, Johan (2015年9月24日). 「Google音声検索：より速く、より正確」 . Research Blog . 2017年6月27日取得.
↑ 「ネオン処方箋…というか、Google Voiceの新しい文字起こし」。Google公式ブログ。2015年7月23日。 2020年4月25日閲覧。
↑ Khaitan, Pranav (2016年5月18日). "Alloでよりスマートなチャットを" . Research Blog . 2017年6月27日閲覧。
↑ Metz, Cade (2016年9月27日) 「AIの導入によりGoogle翻訳はこれまで以上に強力に | WIRED」 . Wired . 2017年6月27日閲覧。
↑ 「生産規模での機械翻訳のためのニューラルネットワーク」。Google AIブログ。2016年9月27日。 2020年4月25日取得。
↑エフラティ、アミール（2016年6月13日）。「アップルのマシンも学習できる」。The Information 。 2017年6月27日取得。
↑ Ranger, Steve (2016年6月14日). 「iPhone、AI、ビッグデータ：Appleがあなたのプライバシーを保護するために計画していること」 . ZDNet . 2017年6月27日閲覧。
↑ 「グローバルな意味的コンテキストはニューラル言語モデルを改善できるか？ – Apple」。Apple Machine Learning Journal 。 2020年4月30日取得。
↑ Smith, Chris (2016-06-13). "iOS 10: Siriがサードパーティ製アプリでも動作、AI機能も追加" . BGR . 2017-06-27に閲覧。
↑ Capes, Tim; Coles, Paul; Conkie, Alistair; Golipour, Ladan; Hadjitarkhani, Abie; Hu, Qiong; Huddleston, Nancy; Hunt, Melvyn; Li, Jiangchuan; Neeracher, Matthias; Prahallad, Kishore (2017-08-20). "Siri On-Device Deep Learning-Guided Unit Selection Text-to-Speech System" . Interspeech 2017 . ISCA: 4011– 4015. doi : 10.21437/Interspeech.2017-1798 .
↑ Vogels, Werner (2016年11月30日). 「Amazon AIとAlexaの魔法をAWS上のアプリにもたらす。 – All Things Distributed」 . www.allthingsdistributed.com . 2017年6月27日取得。
↑ Xiong, W.; Wu, L.; Alleva, F.; Droppo, J.; Huang, X.; Stolcke, A. (2018年4月). "Microsoft 2017 会話型音声認識システム". 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) . IEEE. pp. 5934–5938 . arXiv : 1708.06073 . doi : 10.1109/ICASSP.2018.8461870 . ISBN 978-1-5386-4658-8。
1 2 3 4 5 6 Schmidhuber, Juergen (2021年5月10日). "ディープラーニング：奇跡の年 1990-1991". arXiv : 2005.05744 [ cs.NE ].
↑ Mozer, Mike (1989). "時間的パターン認識のための集中型バックプロパゲーションアルゴリズム". Complex Systems .
↑ Schmidhuber, Juergen (2022). "Annotated History of Modern AI and Deep Learning". arXiv : 2212.11279 [ cs.NE ].
↑ゼップ・ホッホライター;ユルゲン・シュミットフーバー(1995 年 8 月 21 日)、長短期記憶、ウィキデータQ98967430
1 2 3 Klaus Greff; Rupesh Kumar Srivastava; Jan Koutník; Bas R. Steunebrink; Jürgen Schmidhuber (2015). "LSTM: A Search Space Odyssey". IEEE Transactions on Neural Networks and Learning Systems . 28 (10): 2222– 2232. arXiv : 1503.04069 . Bibcode : 2015arXiv150304069G . doi : 10.1109/TNNLS.2016.2582924 . PMID 27411231. S2CID 3356463 .
1 2 3 Gers, Felix; Schmidhuber, Jürgen; Cummins, Fred (1999). "Learning to forget: Continual prediction with LSTM".第9回人工ニューラルネットワーク国際会議: ICANN '99 . Vol. 1999. pp. 850–855 . doi : 10.1049/cp:19991218 . ISBN 0-85296-721-7。
↑ Cho, Kyunghyun; van Merrienboer, Bart; Gulcehre, Caglar; Bahdanau, Dzmitry; Bougares, Fethi; Schwenk, Holger; Bengio, Yoshua (2014). "Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation". arXiv : 1406.1078 [ cs.CL ].
↑スリヴァスタヴァ、ルペシュ・クマール。グレフ、クラウス。シュミットフーバー、ユルゲン（2015年5月2日）。「ハイウェイネットワーク」。arXiv : 1505.00387 [ cs.LG ]。
↑ Srivastava, Rupesh K; Greff, Klaus; Schmidhuber, Juergen (2015 年 12 月). カナダ、モントリオールにて執筆。Training Very Deep Networks . NIPS'15: Proceedings of the 29th International Conference on Neural Information Processing Systems. Vol. 2. Cambridge, MA, United States: MIT Press. pp. 2377–2385 .
↑ Schmidhuber, Jürgen (2021). "最も引用されているニューラルネットワークはすべて、私の研究室で行われた研究に基づいています" . AI Blog . IDSIA、スイス. 2022年4月30日取得.
↑ He, Kaiming; Zhang, Xiangyu; Ren, Shaoqing; Sun, Jian (2016). "Deep Residual Learning for Image Recognition". 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) . IEEE. pp. 770–778 . arXiv : 1512.03385 . doi : 10.1109/CVPR.2016.90 . ISBN 978-1-4673-8851-1。
↑ベック、マクシミリアン。ペッペル、コルビニアン。スパンリング、マーカス。アウアー、アンドレアス。プルドニコワ、オレクサンドラ。コップ、マイケル。クランバウアー、ギュンター。ブランドシュテッター、ヨハネス。ホッホライター、ゼップ (2024-05-07)。「xLSTM: 拡張長期短期記憶」。arXiv : 2405.04517 [ cs.LG ]。
↑ NX-AI/xlstm、NXAI、2024-06-04、2024-06-04取得
↑ Hochreiter, S.; Younger, AS; Conwell, PR (2001). "Learning to Learn Using Gradient Descent". Artificial Neural Networks — ICANN 2001 (PDF) . Lecture Notes in Computer Science. Vol. 2130. pp. 87–94 . CiteSeerX 10.1.1.5.323 . doi : 10.1007/3-540-44668-0_13 . ISBN 978-3-540-42486-4ISSN 0302-9743 . S2CID 52872549 .
↑ Graves, Alex; Beringer, Nicole; Eck, Douglas; Schmidhuber, Juergen (2004). LSTM ニューラルネットワークによる生物学的に妥当な音声認識。高度情報技術への生物学的着想に基づくアプローチに関するワークショップ、Bio-ADIT 2004、スイス、ローザンヌ。pp. 175–184。
↑ Wierstra, Daan; Foerster, Alexander; Peters, Jan; Schmidhuber, Juergen (2005). "Solving Deep Memory POMDPs with Recurrent Policy Gradients" . International Conference on Artificial Neural Networks ICANN'07 .
↑ Bayer, Justin; Wierstra, Daan; Togelius, Julian; Schmidhuber, Juergen (2009). "シーケンス学習のためのメモリセル構造の進化".国際人工ニューラルネットワーク会議 ICANN'09、キプロス。
↑ Graves, A.; Liwicki, M.; Fernández, S.; Bertolami, R.; Bunke, H.; Schmidhuber, J. (2009 年 5 月). "制約のない手書き文字認識のための新しいコネクショニストシステム". IEEE Transactions on Pattern Analysis and Machine Intelligence . 31 (5): 855– 868. Bibcode : 2009ITPAM..31..855G . CiteSeerX 10.1.1.139.4502 . doi : 10.1109/tpami.2008.137 . ISSN 0162-8828 . PMID 19299860 . S2CID 14635907 .
↑ Märgner, Volker; Abed, Haikal El (2009年7月). "ICDAR 2009 アラビア語手書き文字認識コンテスト". 2009年第10回国際文書解析・認識会議. pp. 1383–1387 . doi : 10.1109/ICDAR.2009.256 . ISBN 978-1-4244-4500-4. S2CID 52851337 .
↑ Baytas, Inci M.; Xiao, Cao; Zhang, Xi; Wang, Fei; Jain, Anil K.; Zhou, Jiayu (2017-08-04). "時間認識型LSTMネットワークによる患者サブタイプ分類" .第23回ACM SIGKDD国際知識発見・データマイニング会議議事録. ニューヨーク州ニューヨーク市、米国：Association for Computing Machinery. pp. 65–74 . doi : 10.1145/3097983.3097997 . ISBN 978-1-4503-4887-4。
↑ Kaplan, Jared; McCandlish, Sam; Henighan, Tom; Brown, Tom B.; Chess, Benjamin; Child, Rewon; Gray, Scott; Radford, Alec; Wu, Jeffrey; Amodei, Dario (2020). "ニューラル言語モデルのスケーリング法則". arXiv : 2001.08361 [ cs.LG ].

さらに読む

Sherstinsky, Alex (2018). "リカレントニューラルネットワーク (RNN) と長短期記憶 (LSTM) ネットワークの基礎". arXiv : 1808.03314 [ cs.LG ].
Monner, Derek D.; Reggia, James A. (2010). "A generalized LSTM-like training algorithm for second-order recurrent neural networks" (PDF) . Neural Networks . 25 (1): 70– 83. doi : 10.1016/j.neunet.2011.07.003 . PMC 3217173. PMID 21803542. 2013年4月23日にオリジナル(PDF)からアーカイブ済み。単一のノードタイプに簡略化され、任意のアーキテクチャをトレーニングできる高性能LSTM拡張。
Gers, Felix A.; Schraudolph, Nicol N.; Schmidhuber, Jürgen (2002年8月) 「LSTMリカレントネットワークによる正確なタイミングの学習」(PDF) . Journal of Machine Learning Research . 3 : 115– 143.
Gers, Felix (2001). 「リカレントニューラルネットワークにおける長短期記憶」(PDF) .博士論文.
Abidogun, Olusola Adeniyi (2005).データマイニング、不正検出、およびモバイル通信：教師なしニューラルネットワークによる通話パターン分析。修士論文（学位論文）。西ケープ大学。hdl : 11394 /249。 2012年5月22日にオリジナルからアーカイブ（PDF）。
- 本書は、リカレントニューラルネットワーク、特にLSTMの説明に特化した2つの章を含むオリジナル版である。

外部リンク

IDSIAの Jürgen Schmidhuberグループによる30以上のLSTM論文を含むリカレントニューラルネットワーク
Zhang, Aston; Lipton, Zachary; Li, Mu; Smola, Alexander J. (2024). "10.1. 長短期記憶（LSTM）" .ディープラーニング入門. ケンブリッジ、ニューヨーク、ポートメルボルン、ニューデリー、シンガポール：ケンブリッジ大学出版局。ISBN 978-1-009-38943-3。

[lstm1997-1] 1 2 3 4 5ゼップ・ホッホライター;ユルゲン・シュミットフーバー(1997)。「長短期記憶」。ニューラル計算。9 (8): 1735 ～ 1780 年。土井: 10.1162/neco.1997.9.8.1735。PMID 9377276。S2CID 1915014。

[hochreiter1991-2] 1 2 3ホッホライター、ゼップ (1991)。Untersuhungen zu dynamischen neuronalen Netzen (PDF) (卒業論文)。ミュンヘン工科大学、コンピューターサイエンス研究所。

[hochreiter1996-3] 1 2 Hochreiter, Sepp; Schmidhuber, Jürgen (1996-12-03). "LSTM は、困難な長時間遅延問題を解決できます。第 9 回国際ニューラル情報処理システム会議議事録。NIPS'96。米国マサチューセッツ州ケンブリッジ: MIT Press: 473–479。

[lstm2000-4] 1 2 3 Felix A. Gers; Jürgen Schmidhuber; Fred Cummins (2000). "Learning to Forget: Continual Prediction with LSTM" . Neural Computation . 12 (10): 2451–2471 . CiteSeerX 10.1.1.55.5709 . doi : 10.1162/089976600300015015 . PMID 11032042. S2CID 11598600. 2019年4月7日にオリジナルからアーカイブ済み。 2017年4月15日に取得。

[graves2006-5] 1 2 3 Graves, Alex; Fernández, Santiago; Gomez, Faustino; Schmidhuber, Jürgen (2006). "Connectionist temporal classification: Labelling unsegmented sequence data with recurrent neural networks". In Proceedings of the International Conference on Machine Learning, ICML 2006 : 369– 376. CiteSeerX 10.1.1.75.6306 .

[6] Karim, Fazle; Majumdar, Somshubra; Darabi, Houshang; Chen, Shun (2018). " LSTM Fully Convolutional Networks for Time Series Classification" . IEEE Access . 6 : 1662–1669 . arXiv : 1709.05206 . Bibcode : 2018IEEEA...6.1662K . doi : 10.1109/ACCESS.2017.2779939 . ISSN 2169-3536 .

[wierstra2005-7] 1 2 3 4 Wierstra, Daan; Schmidhuber, J.; Gomez, FJ (2005). "Evolino: ハイブリッドニューロエボリューション/最適線形探索によるシーケンス学習" .第 19 回国際人工知能合同会議 (IJCAI) 議事録、エジンバラ: 853–858 .

[sak2014-8] Sak, Hasim; Senior, Andrew; Beaufays, Francoise (2014). "大規模音響モデリングのための長短期記憶リカレントニューラルネットワークアーキテクチャ" (PDF)。 2018年4月24日にオリジナル(PDF)からアーカイブされました。

[liwu2015-9] Li, Xiangang; Wu, Xihong (2014-10-15). "大規模語彙音声認識のための長短期記憶に基づく深層リカレントニューラルネットワークの構築". arXiv : 1410.4281 [ cs.CL ].

[GoogleTranslate-10] 1 2 Wu, Yonghui; Schuster, Mike; Chen, Zhifeng; Le, Quoc V.; Norouzi, Mohammad; Macherey, Wolfgang; Krikun, Maxim; Cao, Yuan; Gao, Qin (2016-09-26). "Googleのニューラル機械翻訳システム：人間と機械翻訳のギャップを埋める". arXiv : 1609.08144 [ cs.CL ].

[FacebookTranslate-11] 1 2 Ong, Thuy (2017年8月4日). 「Facebookの翻訳は完全にAIによって駆動されるようになった」 . www.allthingsdistributed.com . 2019年2月15日取得。

[12] メリーランド州サヒドラ。パティーノ、ホセ。コーネル、サミュエル。イン、ルイキン。シヴァサンカラン、スニット。ブレディン、エルベ。コルシュノフ、パベル。ブルッティ、アレッシオ。セリゼル、ロマン。ヴィンセント、エマニュエル。エヴァンス、ニコラス。マルセル、セバスチャン。スクアルティーニ、ステファノ。バラス、クロード (2019-11-06)。「DIHARD II へのスピード提出: 貢献と得られた教訓」。arXiv : 1911.02388 [ eess.AS ]。

[mayer2006-13] 1 2 3 Mayer, H.; Gomez, F.; Wierstra, D.; Nagy, I.; Knoll, A.; Schmidhuber, J. (2006年10月). 「リカレントニューラルネットワークを用いて結び目を学習するロボット心臓手術システム」. 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems . pp. 543–548 . CiteSeerX 10.1.1.218.3399 . doi : 10.1109/IROS.2006.282190 . ISBN 978-1-4244-0258-8. S2CID 12284900 .

[OpenAIhand-14] 1 2 「器用さの学習」 . OpenAI . 2018年7月30日. 2023年6月28日取得.

[OpenAIfive-15] 1 2 Rodriguez, Jesus (2018年7月2日). 「OpenAI Fiveの背後にある科学：AI史上最大のブレークスルーの1つを生み出した」 . Towards Data Science . 2019年12月26日のオリジナルからアーカイブ済み。 2019年1月15日取得。

[alphastar-16] 1 2スタンフォード、ステイシー（2019年1月25日）。「DeepMindのAI、AlphaStarがAGIに向けて大きな進歩を示す」。Medium ML Memoirs 。2019年1月15日取得。

[decade2022-17] Schmidhuber, Jürgen (2021). "2010年代：ディープラーニングの10年／2020年代の展望" . AI Blog . IDSIA、スイス. 2022年4月30日取得.

[AMVT-18] 1 2 Maity, Abhishek; Tukarul, Viraj (2026年1月23日). 「リカレントニューラルネットワークを使用したエネルギー消費量の予測：比較分析」. arXiv : 2601.17110 [ cs.CY ].

[calin2020-19] カリン、オヴィディウ（2020年2月14日）。ディープラーニングアーキテクチャ。スイス、チャム：シュプリンガーネイチャー。555ページ。ISBN 978-3-030-36720-6。

[LakretzKruszewskiDesbordes2019-20] ヤイール、ラクレッツ。クルシェフスキー、ドイツ人。デボルデス、テオ。ハプケス、デューク。デハエネ、スタニスラス。 Baroni、Marco (2019)、「数値および構文単位の出現」、数値および構文単位の出現(PDF)、計算言語学協会、pp. 11–20、doi : 10.18653/v1/N19-1002、hdl : 11245.1/16cb6800-e10d-4166-8e0b-fed61ca6ebb4、S2CID 81978369

[peepholeLSTM-21] 1 2 3 4 5 6 Gers, FA; Schmidhuber, J. (2001). "LSTM リカレントネットワークは単純な文脈自由言語と文脈依存言語を学習する" (PDF) . IEEE Transactions on Neural Networks . 12 (6): 1333– 1340. Bibcode : 2001ITNN...12.1333G . doi : 10.1109/72.963769 . PMID 18249962 . S2CID 10192330 . 2017-07-06 にオリジナル(PDF)からアーカイブされました。

[peephole2002-22] 1 2 3 4 Gers, F.; Schraudolph, N.; Schmidhuber, J. (2002). "Learning precise timing with LSTM recurrent networks" (PDF) . Journal of Machine Learning Research . 3 : 115– 143. 2017-07-28 のオリジナル(PDF)からアーカイブ済み。2017-04-15に取得。

[shi2015-23] Xingjian Shi; Zhourong Chen; Hao Wang; Dit-Yan Yeung; Wai-kin Wong; Wang-chun Woo (2015). "Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting". Proceedings of the 28th International Conference on Neural Information Processing Systems : 802– 810. arXiv : 1506.04214 . Bibcode : 2015arXiv150604214S .

[gradf-24] Hochreiter, S.; Bengio, Y.; Frasconi, P.; Schmidhuber, J. (2001). "Gradient Flow in Recurrent Nets: the Difficulty of Learning Long-Term Dependencies (PDF Download Available)" . In Kremer and, SC; Kolen, JF (eds.). A Field Guide to Dynamical Recurrent Neural Networks . IEEE Press.

[fernandez2007ijcai-25] Fernández, Santiago; Graves, Alex; Schmidhuber, Jürgen (2007). "階層型リカレントニューラルネットワークを用いた構造化ドメインにおけるシーケンスラベリング". Proc. 20th Int. Joint Conf. On Artificial Intelligence, Ijcai 2007 : 774– 779. CiteSeerX 10.1.1.79.1887 .

[graves2005-26] 1 2 Graves, A.; Schmidhuber, J. (2005). "双方向LSTMおよびその他のニューラルネットワークアーキテクチャによるフレーム単位の音素分類" . Neural Networks . 18 ( 5– 6): 602– 610. CiteSeerX 10.1.1.331.5800 . doi : 10.1016/j.neunet.2005.06.042 . PMID 16112549 . S2CID 1856462 .

[fernandez2007icann-27] Fernández, S.; Graves, A.; Schmidhuber, J. (2007年9月9日). 「リカレントニューラルネットワークを用いた識別キーワード検出への応用」 .第17回国際人工ニューラルネットワーク会議議事録. ICANN'07. ベルリン、ハイデルベルク: Springer-Verlag: 220–229 . ISBN 978-35407469352023年12月28日に取得。

[graves2013-28] 1 2 Graves, Alex; Mohamed, Abdel-rahman; Hinton, Geoffrey (2013). "深層リカレントニューラルネットワークによる音声認識". 2013 IEEE International Conference on Acoustics, Speech and Signal Processing . pp. 6645–6649 . arXiv : 1303.5778 . doi : 10.1109/ICASSP.2013.6638947 . ISBN 978-1-4799-0356-6. S2CID 206741496 .

[29] Kratzert, Frederik; Klotz, Daniel; Shalev, Guy; Klambauer, Günter; Hochreiter, Sepp; Nearing, Grey (2019-12-17). "大規模サンプルデータセットに適用した機械学習による普遍的、地域的、局所的な水文挙動の学習に向けて" . Hydrology and Earth System Sciences . 23 (12): 5089– 5110. arXiv : 1907.08456 . Bibcode : 2019HESS...23.5089K . doi : 10.5194/hess-23-5089-2019 . ISSN 1027-5606 .

[eck2002-30] Eck, Douglas; Schmidhuber, Jürgen (2002年8月28日). 「ブルースの長期構造の学習」.人工ニューラルネットワーク — ICANN 2002. Lecture Notes in Computer Science. Vol. 2415. Springer, Berlin, Heidelberg. pp. 284–289 . CiteSeerX 10.1.1.116.3620 . doi : 10.1007 /3-540-46084-5_47 . ISBN 978-3540460848。

[gers2002-31] Schmidhuber, J.; Gers, F.; Eck, D.; Schmidhuber, J.; Gers, F. (2002). "非正規言語の学習: 単純なリカレントネットワークと LSTM の比較". Neural Computation . 14 (9): 2039–2041 . CiteSeerX 10.1.1.11.7369 . doi : 10.1162/089976602320263980 . PMID 12184841. S2CID 30459046 .

[perez2003-32] Perez-Ortiz, JA; Gers, FA; Eck, D.; Schmidhuber, J. (2003). "カルマンフィルタは、従来の再帰型ネットワークでは解決できない問題においてLSTMネットワークのパフォーマンスを向上させる" . Neural Networks . 16 (2): 241– 250. CiteSeerX 10.1.1.381.1992 . doi : 10.1016/s0893-6080(02)00219-8 . PMID 12628609 .

[graves2009nips-33] A. Graves、J. Schmidhuber。「多次元リカレントニューラルネットワークによるオフライン手書き認識」。Advances in Neural Information Processing Systems 22、NIPS'22、pp 545–552、バンクーバー、MIT Press、2009年。

[34] Graves, A.; Fernández, S.; Liwicki, M.; Bunke, H.; Schmidhuber, J. (2007年12月3日). 「リカレントニューラルネットワークを用いた制約なしオンライン手書き認識」 .第20回国際ニューラル情報処理システム会議議事録. NIPS'07. 米国: Curran Associates Inc.: 577–584 . ISBN 97816056035202023年12月28日に取得。

[baccouche2011-35] Baccouche, M.; Mamalet, F.; Wolf, C.; Garcia, C.; Baskurt, A. (2011). "Sequential Deep Learning for Human Action Recognition". In Salah, AA; Lepri, B. (eds.). 2nd International Workshop on Human Behavior Understanding (HBU) . Lecture Notes in Computer Science. Vol. 7065. Amsterdam, Netherlands: Springer. pp. 29–39 . doi : 10.1007/978-3-642-25446-8_4 . ISBN 978-3-642-25445-1。

[huang2018-36] 黄潔；周、文港。張、希林。李、後強。李偉平（2018-01-30）。「時間分割を行わないビデオベースの手話認識」。arXiv : 1801.10111 [ cs.CV ]。

[hochreiter2007-37] 1 2 Hochreiter, S.; Heusel, M.; Obermayer, K. (2007). "アライメントなしの高速モデルベースタンパク質相同性検出" . Bioinformatics . 23 (14): 1728– 1736. doi : 10.1093/bioinformatics/btm247 . PMID 17488755 .

[thireou2007-38] Thireou, T.; Reczko, M. (2007). "真核生物タンパク質の細胞内局在を予測するための双方向長短期記憶ネットワーク". IEEE /ACM Transactions on Computational Biology and Bioinformatics . 4 (3): 441–446 . Bibcode : 2007ITCBB...4..441T . doi : 10.1109/tcbb.2007.1015 . PMID 17666763. S2CID 11787259 .

[malhotra2015-39] Malhotra, Pankaj; Vig, Lovekesh; Shroff, Gautam; Agarwal, Puneet (2015年4月) 「時系列における異常検出のための長短期記憶ネットワーク」(PDF) .欧州人工ニューラルネットワーク、計算知能、機械学習シンポジウム — ESANN 2015 . 2020年10月30日にオリジナル(PDF)からアーカイブ済み。 2018年2月21日に取得。

[tax2017-40] Tax, N.; Verenich, I.; La Rosa, M.; Dumas, M. (2017). "LSTMニューラルネットワークを用いた予測型ビジネスプロセスモニタリング". Advanced Information Systems Engineering . Lecture Notes in Computer Science. Vol. 10253. pp. 477–492 . arXiv : 1612.02130 . doi : 10.1007/978-3-319-59536-8_30 . ISBN 978-3-319-59535-1. S2CID 2192354 .

[choi2016-41] Choi, E.; Bahadori, MT; Schuetz, E.; Stewart, W.; Sun, J. (2016). "Doctor AI : Predicting Clinical Events via Recurrent Neural Networks" . JMLR Workshop and Conference Proceedings . 56 : 301–318 . arXiv : 1511.05942 . Bibcode : 2015arXiv151105942C . PMC 5341604. PMID 28286600 .

[jia2016-42] Jia, Robin; Liang, Percy (2016). "ニューラル意味解析のためのデータ再結合". arXiv : 1606.03622 [ cs.CL ].

[Wang_Duan_Zhang_Niu_p=1657-43] Wang, Le; Duan, Xuhuan; Zhang, Qilin; Niu, Zhenxing; Hua, Gang; Zheng, Nanning (2018-05-22). "Segment-Tube: Spatio-Temporal Action Localization in Untrimmed Videos with Per-Frame Segmentation" (PDF) . Sensors . 18 (5): 1657. Bibcode : 2018Senso..18.1657W . doi : 10.3390/s18051657 . ISSN 1424-8220 . PMC 5982167 . PMID 29789447 .

[Duan_Wang_Zhai_Zheng_2018_p.-44] ドゥアン、徐環。王、楽。ザイ、チャンボ。鄭、南寧。張、希林。牛真興。フア、ガン（2018）。「フレームごとのセグメンテーションを使用したトリミングされていないビデオにおける時空間アクションの共同位置特定」。2018 第 25 回 IEEE 画像処理国際会議 (ICIP)。第 25 回 IEEE 画像処理国際会議 (ICIP)。 pp. 918–922 . doi : 10.1109/icip.2018.8451692。ISBN 978-1-4799-7061-2。

[orsini2019-45] Orsini, F.; Gastaldi, M.; Mantecchini, L.; Rossi, R. (2019).空港乗客の行動を予測するためのWiFiトレースで訓練されたニューラルネットワーク。第6回インテリジェント交通システムのためのモデルと技術に関する国際会議。クラクフ：IEEE。arXiv ：1910.14026。doi：10.1109/MTITS.2019.8883365。8883 365。

[liu2017-46] Zhao, Z.; Chen, W.; Wu, X.; Chen, PCY; Liu, J. (2017). "LSTMネットワーク：短期交通予測のための深層学習アプローチ". IET Intelligent Transport Systems . 11 (2): 68–75 . doi : 10.1049/iet-its.2016.0208 . S2CID 114567527 .

[pmid29095571-47] Gupta A 、 Müller AT、Huisman BJH、Fuchs JA、Schneider P、Schneider G (2018)。「新規創薬のための生成リカレントネットワーク」。Mol Inform。37 ( 1–2 ) 1700111。doi : 10.1002 / minf.201700111。PMC 5836943。PMID 29095571。 {{cite journal}}: CS1 maint: 複数の名前: 著者リスト (リンク)

[saiful2020-48] Saiful Islam, Md.; Hossain, Emam (2020-10-26). "GRU-LSTMハイブリッドネットワークを使用した外国為替レート予測" . Soft Computing Letters . 3 100009. doi : 10.1016/j.socl.2020.100009 . ISSN 2666-2221 .

[49] Martin, Abbey; Hill, Andrew J.; Seiler, Konstantin M.; Balamurali, Mehala (2024-05-27). "ハイブリッドLSTM-Transformerネットワークを使用した未編集ビデオの自動掘削機動作認識と位置特定" . International Journal of Mining, Reclamation and Environment . 38 (5): 353– 372. Bibcode : 2024IJMRE..38..353M . doi : 10.1080/17480930.2023.2290364 . ISSN 1748-0930 .

[Beau15-50] ボーフェイズ、フランソワーズ（2015年8月11日）。「Google音声文字起こしの背後にあるニューラルネットワーク」。リサーチブログ。 2017年6月27日取得。

[GoogleVoiceSearch-51] Sak, Haşim; Senior, Andrew; Rao, Kanishka; Beaufays, Françoise; Schalkwyk, Johan (2015年9月24日). 「Google音声検索：より速く、より正確」 . Research Blog . 2017年6月27日取得.

[googleblog2015-52] 「ネオン処方箋…というか、Google Voiceの新しい文字起こし」。Google公式ブログ。2015年7月23日。 2020年4月25日閲覧。

[GoogleAllo-53] Khaitan, Pranav (2016年5月18日). "Alloでよりスマートなチャットを" . Research Blog . 2017年6月27日閲覧。

[WiredGoogleTranslate-54] Metz, Cade (2016年9月27日) 「AIの導入によりGoogle翻訳はこれまで以上に強力に | WIRED」 . Wired . 2017年6月27日閲覧。

[googleblog2016-55] 「生産規模での機械翻訳のためのニューラルネットワーク」。Google AIブログ。2016年9月27日。 2020年4月25日取得。

[AppleQuicktype-56] エフラティ、アミール（2016年6月13日）。「アップルのマシンも学習できる」。The Information 。 2017年6月27日取得。

[AppleQuicktype2-57] Ranger, Steve (2016年6月14日). 「iPhone、AI、ビッグデータ：Appleがあなたのプライバシーを保護するために計画していること」 . ZDNet . 2017年6月27日閲覧。

[58] 「グローバルな意味的コンテキストはニューラル言語モデルを改善できるか？ – Apple」。Apple Machine Learning Journal 。 2020年4月30日取得。

[AppleSiri-59] Smith, Chris (2016-06-13). "iOS 10: Siriがサードパーティ製アプリでも動作、AI機能も追加" . BGR . 2017-06-27に閲覧。

[capes2017-60] Capes, Tim; Coles, Paul; Conkie, Alistair; Golipour, Ladan; Hadjitarkhani, Abie; Hu, Qiong; Huddleston, Nancy; Hunt, Melvyn; Li, Jiangchuan; Neeracher, Matthias; Prahallad, Kishore (2017-08-20). "Siri On-Device Deep Learning-Guided Unit Selection Text-to-Speech System" . Interspeech 2017 . ISCA: 4011– 4015. doi : 10.21437/Interspeech.2017-1798 .

[AmazonAlexa-61] Vogels, Werner (2016年11月30日). 「Amazon AIとAlexaの魔法をAWS上のアプリにもたらす。 – All Things Distributed」 . www.allthingsdistributed.com . 2017年6月27日取得。

[62] Xiong, W.; Wu, L.; Alleva, F.; Droppo, J.; Huang, X.; Stolcke, A. (2018年4月). "Microsoft 2017 会話型音声認識システム". 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) . IEEE. pp. 5934–5938 . arXiv : 1708.06073 . doi : 10.1109/ICASSP.2018.8461870 . ISBN 978-1-5386-4658-8。

[miraculous2021-63] 1 2 3 4 5 6 Schmidhuber, Juergen (2021年5月10日). "ディープラーニング：奇跡の年 1990-1991". arXiv : 2005.05744 [ cs.NE ].

[mozer1989-64] Mozer, Mike (1989). "時間的パターン認識のための集中型バックプロパゲーションアルゴリズム". Complex Systems .

[DLhistory-65] Schmidhuber, Juergen (2022). "Annotated History of Modern AI and Deep Learning". arXiv : 2212.11279 [ cs.NE ].

[66] ゼップ・ホッホライター;ユルゲン・シュミットフーバー(1995 年 8 月 21 日)、長短期記憶、ウィキデータQ98967430

[ASearchSpaceOdyssey-67] 1 2 3 Klaus Greff; Rupesh Kumar Srivastava; Jan Koutník; Bas R. Steunebrink; Jürgen Schmidhuber (2015). "LSTM: A Search Space Odyssey". IEEE Transactions on Neural Networks and Learning Systems . 28 (10): 2222– 2232. arXiv : 1503.04069 . Bibcode : 2015arXiv150304069G . doi : 10.1109/TNNLS.2016.2582924 . PMID 27411231. S2CID 3356463 .

[lstm1999-68] 1 2 3 Gers, Felix; Schmidhuber, Jürgen; Cummins, Fred (1999). "Learning to forget: Continual prediction with LSTM".第9回人工ニューラルネットワーク国際会議: ICANN '99 . Vol. 1999. pp. 850–855 . doi : 10.1049/cp:19991218 . ISBN 0-85296-721-7。

[cho2014-69] Cho, Kyunghyun; van Merrienboer, Bart; Gulcehre, Caglar; Bahdanau, Dzmitry; Bougares, Fethi; Schwenk, Holger; Bengio, Yoshua (2014). "Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation". arXiv : 1406.1078 [ cs.CL ].

[highway2015-70] スリヴァスタヴァ、ルペシュ・クマール。グレフ、クラウス。シュミットフーバー、ユルゲン（2015年5月2日）。「ハイウェイネットワーク」。arXiv : 1505.00387 [ cs.LG ]。

[highway2015neurips-71] Srivastava, Rupesh K; Greff, Klaus; Schmidhuber, Juergen (2015 年 12 月). カナダ、モントリオールにて執筆。Training Very Deep Networks . NIPS'15: Proceedings of the 29th International Conference on Neural Information Processing Systems. Vol. 2. Cambridge, MA, United States: MIT Press. pp. 2377–2385 .

[mostcited2021-72] Schmidhuber, Jürgen (2021). "最も引用されているニューラルネットワークはすべて、私の研究室で行われた研究に基づいています" . AI Blog . IDSIA、スイス. 2022年4月30日取得.

[resnet2015-73] He, Kaiming; Zhang, Xiangyu; Ren, Shaoqing; Sun, Jian (2016). "Deep Residual Learning for Image Recognition". 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) . IEEE. pp. 770–778 . arXiv : 1512.03385 . doi : 10.1109/CVPR.2016.90 . ISBN 978-1-4673-8851-1。

[74] ベック、マクシミリアン。ペッペル、コルビニアン。スパンリング、マーカス。アウアー、アンドレアス。プルドニコワ、オレクサンドラ。コップ、マイケル。クランバウアー、ギュンター。ブランドシュテッター、ヨハネス。ホッホライター、ゼップ (2024-05-07)。「xLSTM: 拡張長期短期記憶」。arXiv : 2405.04517 [ cs.LG ]。

[75] NX-AI/xlstm、NXAI、2024-06-04、2024-06-04取得

[76] Hochreiter, S.; Younger, AS; Conwell, PR (2001). "Learning to Learn Using Gradient Descent". Artificial Neural Networks — ICANN 2001 (PDF) . Lecture Notes in Computer Science. Vol. 2130. pp. 87–94 . CiteSeerX 10.1.1.5.323 . doi : 10.1007/3-540-44668-0_13 . ISBN 978-3-540-42486-4ISSN 0302-9743 . S2CID 52872549 .

[graves2004-77] Graves, Alex; Beringer, Nicole; Eck, Douglas; Schmidhuber, Juergen (2004). LSTM ニューラルネットワークによる生物学的に妥当な音声認識。高度情報技術への生物学的着想に基づくアプローチに関するワークショップ、Bio-ADIT 2004、スイス、ローザンヌ。pp. 175–184。

[wierstra2007-78] Wierstra, Daan; Foerster, Alexander; Peters, Jan; Schmidhuber, Juergen (2005). "Solving Deep Memory POMDPs with Recurrent Policy Gradients" . International Conference on Artificial Neural Networks ICANN'07 .

[bayer2009-79] Bayer, Justin; Wierstra, Daan; Togelius, Julian; Schmidhuber, Juergen (2009). "シーケンス学習のためのメモリセル構造の進化".国際人工ニューラルネットワーク会議 ICANN'09、キプロス。

[graves2009-80] Graves, A.; Liwicki, M.; Fernández, S.; Bertolami, R.; Bunke, H.; Schmidhuber, J. (2009 年 5 月). "制約のない手書き文字認識のための新しいコネクショニストシステム". IEEE Transactions on Pattern Analysis and Machine Intelligence . 31 (5): 855– 868. Bibcode : 2009ITPAM..31..855G . CiteSeerX 10.1.1.139.4502 . doi : 10.1109/tpami.2008.137 . ISSN 0162-8828 . PMID 19299860 . S2CID 14635907 .

[maergner2009-81] Märgner, Volker; Abed, Haikal El (2009年7月). "ICDAR 2009 アラビア語手書き文字認識コンテスト". 2009年第10回国際文書解析・認識会議. pp. 1383–1387 . doi : 10.1109/ICDAR.2009.256 . ISBN 978-1-4244-4500-4. S2CID 52851337 .

[82] Baytas, Inci M.; Xiao, Cao; Zhang, Xi; Wang, Fei; Jain, Anil K.; Zhou, Jiayu (2017-08-04). "時間認識型LSTMネットワークによる患者サブタイプ分類" .第23回ACM SIGKDD国際知識発見・データマイニング会議議事録. ニューヨーク州ニューヨーク市、米国：Association for Computing Machinery. pp. 65–74 . doi : 10.1145/3097983.3097997 . ISBN 978-1-4503-4887-4。

[83] Kaplan, Jared; McCandlish, Sam; Henighan, Tom; Brown, Tom B.; Chess, Benjamin; Child, Rewon; Gray, Scott; Radford, Alec; Wu, Jeffrey; Amodei, Dario (2020). "ニューラル言語モデルのスケーリング法則". arXiv : 2001.08361 [ cs.LG ].

[ 1 ]

[

[ 3 ]

[ 4 ])

分類 [

]

[

[

[

[

[

[

[ 13

[

[

[

[

[

[ 19 ]

[ 20 ]

[ 21 ]

[ 22 ]

[ 23 ]

[ 24 ]

[ 25 ]

[ 26 ]

[ 27 ]

[ 28 ]

[ 29 ]

[ 30 ]

[ 31 ]

[ 32 ]

[ 33 ]

[ 34 ]

[ 35 ]

[ 36 ]

[ 37 ]

[ 38 ]

[ 39 ]

[ 40 ]

[ 41 ]

[ 42 ]

[ 43 ]

[ 44 ]

[ 45 ]

[ 46 ]

[ 47 ]

[ 48 ]

[ 49 ]

[ 50 ]

[ 51 ]

[ 52 ]

[ 53 ]

[ 54 ]

[ 55 ]

iPhone

[ 56 ]

[ 57 ]

[ 58 ]とSiri

[

[ 61 ]

[ 62 ]

[ 63 ]

[ 64 ]によって予見されていた。

[ 65 ]

[ 66 ]

[ 67 ]

[ 68 ]

[ 69 ]

[

[

[

[

[ 74 ]

[ 75 ]

[ 76 ]

[ 77 ]

[ 78 ]

[ 79 ]

[ 80 ]

[ 81 ]

[ 82 ]

[ 83 ]

長期短期記憶

モチベーション

バリエーション

忘却ゲートを備えたLSTM（重要）

変数

活性化関数

覗き穴LSTM

覗き穴型畳み込みLSTM

トレーニング

CTCスコア関数

代替案

アプリケーション

歴史

発達

変異体の開発

アプリケーション

関連項目

参考文献

さらに読む

外部リンク

関連するトピック

勾配消失問題

リカレントニューラルネットワーク

隠れマルコフモデル

この名前は、20 世紀初頭から認知心理学者によって研究されてきた長期記憶

モチベーション

バリエーション

忘却ゲートを備えたLSTM（重要）

変数

活性化関数

覗き穴LSTM

覗き穴型畳み込みLSTM

トレーニング

CTCスコア関数

代替案

アプリケーション

歴史

発達

変異体の開発

アプリケーション

関連項目

参考文献

さらに読む

外部リンク

関連するトピック

勾配消失問題

リカレント ニューラル ネットワーク

隠れマルコフ モデル

この名前は、20 世紀初頭から認知心理学者によって研究されてきた長期記憶

リカレントニューラルネットワーク

隠れマルコフモデル