ディープラーニング

機械学習において、深層学習（DL）は、分類、回帰、表現学習などのタスクを実行するために多層ニューラルネットワークを利用することに焦点を当てています。この分野は生物学的神経科学から着想を得ており、人工ニューロンを層状に積み重ねてデータを処理するように「トレーニング」することを中心に展開しています。形容詞「深層」は、ネットワークで複数の層（3層から数百層、数千層まで）を使用することを指します。使用される手法は、教師あり学習、半教師あり学習、教師なし学習のいずれかです。^[²^]

一般的な深層学習ネットワークアーキテクチャには、全結合ネットワーク、深層信念ネットワーク、リカレントニューラルネットワーク、畳み込みニューラルネットワーク、敵対的生成ネットワーク、トランスフォーマー、ニューラル放射場などがあります。これらのアーキテクチャは、コンピュータビジョン、音声認識、自然言語処理、機械翻訳、バイオインフォマティクス、創薬、医用画像解析、気候科学、材料検査、ボードゲームプログラムなどの分野に適用されており、人間の専門家のパフォーマンスに匹敵する、あるいは場合によってはそれを上回る結果を生み出しています。^{[ 3 ]}^{[ 4 ]}^{[ 5 ]}

初期のニューラルネットワークは、生物システム、特に人間の脳における情報処理と分散通信ノードに触発されたものでした。しかし、現在のニューラルネットワークは生物の脳機能をモデル化することを目的としておらず、一般的にその目的には低品質のモデルと見なされています。^{[ 6 ]}

概要

現代のディープラーニングモデルのほとんどは、畳み込みニューラルネットワークやトランスフォーマーなどの多層ニューラルネットワークに基づいているが、ディープビリーフネットワークやディープボルツマンマシンのノードなどのディープ生成モデルでは、命題式や潜在変数を層ごとに構成することもできる。^[⁷^]

基本的に、ディープラーニングとは、入力データをより抽象的で複合的な表現へと段階的に変換するために階層構造を用いる機械学習アルゴリズムの一種を指します。例えば、画像認識モデルでは、入力データは画像（ピクセルのテンソルとして表現される）である場合があります。最初の表現層では、線や円などの基本的な形状を識別しようとし、2番目の層ではエッジの配置を構成して符号化し、3番目の層では鼻や目を符号化し、4番目の層では画像に顔が含まれていることを認識します。

重要な点として、ディープラーニングプロセスは、どの特徴をどのレベルに最も最適に配置するかを自律的に学習できます。ディープラーニング以前の機械学習技術では、データを分類アルゴリズムが処理するのに適した表現に変換するために、手作業で特徴エンジニアリングを行うことがよくありました。ディープラーニングのアプローチでは、特徴は手作業で作成されず、モデルはデータから有用な特徴表現を自動的に発見します。これは手動チューニングの必要性を排除するものではありません。たとえば、レイヤーの数やレイヤーのサイズを変えることで、異なるレベルの抽象化を実現できます。^{[ 8 ]}^{[ 2 ]}

「ディープラーニング」の「ディープ」という言葉は、データが変換される層の数を指します。より正確には、ディープラーニングシステムは、相当なクレジット割り当てパス（CAP）の深さを持っています。CAPは、入力から出力への変換の連鎖です。CAPは、入力と出力の間の潜在的な因果関係を記述します。フィードフォワードニューラルネットワークの場合、CAPの深さはネットワークの深さであり、隠れ層の数に1を加えた数です（出力層もパラメータ化されているため）。信号が層を複数回通過する可能性があるリカレントニューラルネットワークの場合、CAPの深さは潜在的に無制限です。 ^{[ 9 ]}浅い学習と深い学習を分ける深さの普遍的に合意された閾値はありませんが、ほとんどの研究者は、ディープラーニングには2より大きいCAPの深さが含まれることに同意しています。深さ2のCAPは、あらゆる関数をエミュレートできるという意味で、普遍近似器であることが示されています。^{[ 10 ]}それ以上の層を増やしても、ネットワークの関数近似能力は向上しません。ディープモデル（CAP > 2）は、シャローモデルよりも優れた特徴を抽出できるため、追加のレイヤーは特徴を効果的に学習するのに役立ちます。

ディープラーニングのアーキテクチャは、貪欲なレイヤーごとの方法で構築できます。 ^{[ 11 ]}ディープラーニングは、これらの抽象化を解きほぐし、どの特徴がパフォーマンスを向上させるかを選択するのに役立ちます。^{[ 8 ]}

深層学習アルゴリズムは、教師なし学習タスクに適用できます。ラベルなしデータはラベル付きデータより豊富であるため、これは重要な利点です。教師なし学習でトレーニングできる深層構造の例としては、深層信念ネットワークがあります。^{[ 8 ]}^{[ 12 ]}

ディープラーニングという用語は、1986年にリナ・デクターによって機械学習コミュニティに導入され^{[ 13 ]} 、2000年にはイゴール・アイゼンバーグらがブール閾値ニューロンの文脈で人工ニューラルネットワークに導入した^{[ 14 ]}^{[ 15 ]} 。この用語の語源はより複雑である^{[ 16 ] 。}

解釈

深層ニューラルネットワークは一般的に普遍近似定理^{[ 17 ]}^{[ 18 ]}^{[ 19 ]}^{[ 20 ]}^{[ 21 ]}または確率的推論^{[ 22 ]}^{[ 23 ]}^{[ 8 ]}^{[ 9 ]}^[²⁴^]の観点から解釈される。

古典的な普遍近似定理は、有限サイズの単一の隠れ層を持つフィードフォワードニューラルネットワークが連続関数を近似する能力に関するものです。^{[ 17 ]}^{[ 18 ]}^{[ 19 ]}^{[ 20 ]} 1989年に、最初の証明がジョージ・サイベンコによってシグモイド活性化関数について発表され^{[ 17 ]}、1991年にカート・ホーニックによってフィードフォワード多層アーキテクチャに一般化されました。^{[ 18 ]}最近の研究では、普遍近似は、福島邦彦の整流線形ユニットなどの非有界活性化関数にも成り立つことが示されています。^{[ 25 ]}^{[ 26 ]}

深層ニューラルネットワークの普遍近似定理は、幅は制限されているが深さは増加可能なネットワークの容量に関するものです。Lu ら^{[ 21 ]}は、 ReLU活性化関数を持つ深層ニューラルネットワークの幅が入力次元よりも厳密に大きい場合、ネットワークは任意のルベーグ積分可能な関数を近似できることを証明しました。幅が入力次元より小さいか等しい場合、深層ニューラルネットワークは普遍近似器ではありません。

確率的解釈^{[ 24 ]}は機械学習の分野に由来する。推論^{[ 23 ]}^{[ 7 ]}^{[ 8 ] [9}^]^{[ 12}^]^{[ 24}^]、および適合と汎化に関連するトレーニングとテストの最適化概念を特徴として^いる。より具体的には、確率的解釈では活性化の非線形性を累積分布関数として考慮する^。 [ 24 ^]^確率^的解釈は、ニューラルネットワークの正則化としてドロップアウトを導入することにつながった。確率的解釈は、ホップフィールド、ウィドロー、ナレンドラなどの研究者によって導入され、ビショップによる調査などによって普及した。^[²⁷^]

歴史

1980年以前

人工ニューラルネットワーク (ANN) には、フィードフォワードニューラルネットワーク(FNN) または多層パーセプトロン(MLP) とリカレントニューラルネットワーク(RNN) の 2 種類があります。RNN は接続構造にサイクルがありますが、FNN にはサイクルがありません。1920 年代に、ヴィルヘルム・レンツとエルンスト・イジングはイジングモデル^[²⁸^]^[²⁹^]を作成しました。これは基本的にニューロンのような閾値要素で構成される非学習型 RNN アーキテクチャです。1972 年に、甘利俊一はこのアーキテクチャを適応型にしました。^[³⁰^]^[³¹^]彼の学習 RNN は1982 年にジョンホップフィールドによって再出版された。^[³²^]他の初期のリカレントニューラルネットワークは 1971 年に中野薫によって発表された。^[³³^]^[³⁴^]すでに 1948 年に、アランチューリングは「インテリジェントマシン」に関する研究を生前に発表しなかったが、^[³⁵^]人工進化と学習 RNN に関連するアイデアが含まれていた。^[³¹^]

フランク・ローゼンブラット(1958) ^{[ 36 ]}は、入力層、学習しないランダムな重みを持つ隠れ層、出力層の 3 層からなる MLP であるパーセプトロンを提案しました。彼は後に 1962 年に本を出版し、その中で、最後の 2 層が学習した重みを持つ「適応型前終端ネットワーク」を備えた 4 層パーセプトロンのバージョンを含む、変種やコンピュータ実験も紹介しました (ここで彼は HD ブロックと BW ナイトに謝意を表しています)。^{[ 37 ]}^{:セクション 16}本では、RD ジョセフ (1960) ^{[ 38 ]}による、この 4 層システムの「変種と機能的に同等」の以前のネットワークを引用しています (この本ではジョセフについて 30 回以上言及しています)。したがって、ジョセフは、学習する隠れユニットを備えた適切な適応型多層パーセプトロンの創始者と見なされるべきでしょうか。残念ながら、学習アルゴリズムは機能的ではなく、忘れ去られてしまいました。

最初の実用的な深層学習アルゴリズムは、 1965 年にAlexey Ivakhnenkoと Lapaによって発表された、任意の深さのニューラルネットワークをトレーニングする方法であるGroup メソッドのデータ処理法でした。彼らはこれを多項式回帰の一種^[³⁹^]、またはより複雑で非線形かつ階層的な関係を扱うための Rosenblatt のパーセプトロンの一般化とみなしました^[⁴⁰^] 。1971年の論文では、この方法でトレーニングされた 8 層の深層ネットワークについて説明しました^[⁴¹^]。これは、回帰分析による層ごとのトレーニングに基づいています。余分な隠れユニットは、別の検証セットを使用して剪定されます。ノードの活性化関数は Kolmogorov-Gabor 多項式であるため、これらは乗法ユニットまたは「ゲート」を備えた最初の深層ネットワークでもありました^[³¹^{] 。}

確率的勾配降下法で学習された最初の深層学習多層パーセプトロン^[⁴²^]は、1967年に甘利俊一によって発表された^[⁴³^]。甘利の教え子である斎藤が行ったコンピュータ実験では、2つの変更可能な層を持つ5層のMLPが、非線形分離可能なパターンクラスを分類するための内部表現を学習した^[³¹^] 。ハードウェアとハイパーパラメータのチューニングにおけるその後の発展により、エンドツーエンドの確率的勾配降下法が現在主流の学習手法となっている。

1969年、福島邦彦は ReLU（整流線形ユニット）活性化関数を導入した。^{[ 25 ]}^{[ 31 ]}整流器はディープラーニングで最も人気のある活性化関数となった。^{[ 44 ]}

畳み込み層とダウンサンプリング層を備えた畳み込みニューラルネットワーク（CNN）の深層学習アーキテクチャは、 1979年に福島邦彦によって導入されたネオコグニトロンから始まったが、バックプロパゲーションによる学習は行われていなかった。^[⁴⁵^]^[⁴⁶^]

バックプロパゲーションは、 1673 年にゴットフリート・ヴィルヘルム・ライプニッツによって導出された連鎖律^[⁴⁷^]を微分可能なノードのネットワークに効率的に適用したものです。「誤差の逆伝播」という用語は、実際には 1962 年にローゼンブラット^[³⁷^]によって導入されましたが、ヘンリー J. ケリーが1960 年に制御理論の文脈でバックプロパゲーションの連続的な前身を持っていたにもかかわらず、彼はこれを実装する方法を知りませんでした。^[⁴⁸^]バックプロパゲーションの現代的な形式は、セッポ・リンナイマーの修士論文 (1970 年)で初めて発表されました。^[⁴⁹^]^[⁵⁰^]^[³¹^] GM オストロフスキーら1971年に再出版した。^[⁵¹^]^[⁵²^]ポール・ワーボスは1982年にバックプロパゲーションをニューラルネットワークに適用した^[⁵³^]（1974年の博士論文は1994年の書籍に再録された^[⁵⁴^]が、まだアルゴリズム^[⁵²^]を記述していなかった）。1986年にデビッド・E・ルーメルハートらはバックプロパゲーションを普及させたが、元の研究を引用しなかった。^[⁵⁵^]^[⁵⁶^]

1980年代～2000年代

時間遅延ニューラルネットワーク(TDNN) は、1987 年に Alex WaibelによってCNN を音素認識に適用するために導入されました。畳み込み、重み共有、およびバックプロパゲーションが使用されました。^{[ 57 ]}^{[ 58 ]} 1988 年に Wei Zhang は、バックプロパゲーションで学習した CNN をアルファベット認識に適用しました。^{[ 59 ]} 1989 年にYann LeCunらは、郵便物の手書きの郵便番号を認識するためのLeNetと呼ばれる CNN を作成しました。トレーニングには 3 日かかりました。^[⁶⁰^] 1990 年に Wei Zhang は、光コンピューティングハードウェア上に CNN を実装しました。^[⁶¹^] 1991 年に、CNN が医療画像オブジェクトのセグメンテーション^[⁶²^]およびマンモグラフィーでの乳がん検出に適用されました。^[⁶³^]ヤン・ルカンらによる7レベルのCNNであるLeNet-5（1998）は、数字を分類するもので、いくつかの銀行で32x32ピクセルの画像にデジタル化された小切手の手書きの数字を認識するために使用されました。^[⁶⁴^]

リカレントニューラルネットワーク（RNN）^{[ 28 ]}^{[ 30 ]}は1980年代にさらに発展しました。リカレントはシーケンス処理に使用され、リカレントネットワークを展開すると、数学的には深いフィードフォワード層に似ています。したがって、両者は類似した特性と問題を持ち、その発展は相互に影響し合っています。RNNでは、初期の2つの影響力のある研究として、認知心理学の問題を研究するためにRNNを適用したJordanネットワーク（1986）^{[ 65 ]}とElmanネットワーク（1990）^{[ 66 ]}があります。

1980年代には、バックプロパゲーションは、クレジット割り当てパスが長いディープラーニングには適していませんでした。この問題を克服するために、1991年にJürgen Schmidhuberは、各RNNが次の予期しないRNN入力である自身の次の入力を予測しようとする自己教師あり学習によって一度に1レベルずつ事前学習されたRNNの階層を提案しました。 ^{[ 67 ]}^{[ 68 ]}この「ニューラル履歴圧縮器」は、予測コーディングを使用して、複数の自己組織化時間スケールで内部表現を学習します。これにより、下流のディープラーニングを大幅に促進できます。RNN階層は、高レベルのチャンカーネットワークを低レベルのオートマタイザーネットワークに蒸留することにより、単一のRNNに 縮約できます。 ^[⁶⁷^]^[⁶⁸^]^[³¹^] 1993年に、ニューラル履歴圧縮器は、時間内に展開されたRNNで1000を超える後続層を必要とする「非常に深い学習」タスクを解決しました。 ^[⁶⁹^] ChatGPTの「P」は、このような事前学習を指します。

ゼップ・ホッホライターの卒業論文（1991年）^{[ 70 ]}では、ニューラル履歴圧縮器^{[ 67 ]}が実装され、勾配消失問題が特定され分析された。^{[ 70 ]}^{[ 71 ]}ホッホライターは、勾配消失問題を解決するために再帰残差接続を提案した。これが、1995年に発表された長短期記憶（LSTM）につながった。 ^{[ 72 ]} LSTMは、数千の離散時間ステップ前に発生したイベントの記憶を必要とする長いクレジット割り当てパスを持つ「非常に深い学習」タスク^{[ 9 ]}を学習することができる。このLSTMはまだ、1999年に導入された「忘却ゲート」を必要とする現代のアーキテクチャではなく、^{[ 73 ]}が標準的なRNNアーキテクチャとなった。

1991年、ユルゲン・シュミットフーバーは、一方のネットワークの利益が他方のネットワークの損失となるゼロサムゲームの形で互いに競い合う敵対的ニューラルネットワークも発表した。 ^{[ 74 ]}^{[ 75 ]}最初のネットワークは、出力パターンの確率分布をモデル化する生成モデルである。2番目のネットワークは、勾配降下法によって、これらのパターンに対する環境の反応を予測することを学習する。これは「人工好奇心」と呼ばれた。2014年、この原理は敵対的生成ネットワーク（GAN）で使用された。^[⁷⁶^]

1985年から1995年にかけて、統計力学に触発され、テリー・セジノウスキー、ピーター・ダヤン、ジェフリー・ヒントンらによって、ボルツマンマシン^{[ 77 ]} 、制限付きボルツマンマシン^{[ 78 ]} 、ヘルムホルツマシン^{[ 79 ]}、ウェイクスリープアルゴリズム^{[ 80 ]}など、いくつかのアーキテクチャと手法が開発されました。これらは、深層生成モデルの教師なし学習用に設計されました。しかし、これらはバックプロパゲーションに比べて計算コストが高くなりました。1985年に発表されたボルツマン機械学習アルゴリズムは、1986年にバックプロパゲーションアルゴリズムに取って代わられるまで、一時的に人気を博しました（p. 112 ^{[ 81 ]} ）。1988年のネットワークは、バイオインフォマティクスへの深層学習の初期の応用であるタンパク質構造予測の最先端となりました^{[ 82 ] 。}

音声認識のためのANNの浅層学習と深層学習（例えば、リカレントネットワーク）は、長年にわたって研究されてきました。^{[ 83 ]}^{[ 84 ]}^{[ 85 ]}これらの方法は、識別的に訓練された音声の生成モデルに基づく非均一内部ハンドクラフトガウス混合モデル/隠れマルコフモデル（GMM-HMM）技術を上回ることはありませんでした。 ^{[ 86 ]勾配減少}^{[ 70 ]}やニューラル予測モデルにおける弱い時間的相関構造^{[ 87 ]}^{[ 88 ]}など、主な困難が分析されています。追加の困難は、訓練データの不足と限られた計算能力でした。

ほとんどの音声認識研究者は、ニューラルネットワークから離れて生成モデルを追求しました。例外は、1990年代後半のSRIインターナショナルでした。米国政府の NSAとDARPAの資金提供を受けて、SRIは音声と話者認識の研究を行いました。ラリー・ヘックが率いる話者認識チームは、 1998年のNIST話者認識ベンチマークで、音声処理における深層ニューラルネットワークで大きな成功を収めたと報告しました。^{[ 89 ]}^{[ 90 ]}これは、深層学習の最初の主要な産業応用であるNuance Verifierに導入されました。^{[ 91 ]}

手作業による最適化よりも「生の」特徴を重視するという原則は、1990年代後半に「生の」スペクトログラムまたは線形フィルタバンク特徴に対するディープオートエンコーダのアーキテクチャで初めて成功裏に探求され、 ^{[ 90 ]}スペクトログラムからの固定変換段階を含むメルケプストラム特徴よりも優れていることが示されました。音声の生の特徴である波形は、後に大規模な優れた結果をもたらしました。^{[ 92 ]}

2000年代

人工ニューラルネットワークの計算コストの高さと、脳がどのように生物学的ネットワークを構築しているかについての理解不足のため、ニューラルネットワークは停滞期に入り、 1990年代から2000年代にかけては、ガボールフィルターやサポートベクターマシン（SVM）など、タスク固有の手作業で設計された特徴量を使用するより単純なモデルが好ましい選択肢となった。

2003 年、LSTM は特定のタスクで従来の音声認識器と競合するようになりました。^{[ 93 ]} 2006 年、Alex Graves、Santiago Fernández、Faustino Gomez、および Schmidhuber は、 LSTM のスタックでコネクショニスト時系列分類(CTC) ^{[ 94 ]}と組み合わせました。^{[ 95 ]} 2009 年、連結手書き文字認識のパターン認識コンテストで優勝した最初の RNN になりました。^[⁹⁶^]^[⁹^]

2006年に、Geoff Hinton、Ruslan Salakhutdinov、Osindero、Tehによる論文^{[ 97 ]}^{[ 98 ]}で、生成モデリング用のディープビリーフネットワークが開発されました。これらは、1つの制限付きボルツマンマシンをトレーニングし、それを固定して最初のマシンの上に別のマシンをトレーニングするという手順でトレーニングされ、必要に応じて教師ありバックプロパゲーションを使用して微調整されます。 ^{[ 97 ]}これらは、 MNIST画像の分布などの高次元確率分布をモデル化できますが、収束が遅いという問題がありました。^{[ 97 ]}^{[ 99 ]}^{[ 100 ]}

深層学習が産業界に及ぼした影響は2000年代初頭に始まり、ヤン・ルカンによれば、当時すでにCNNは米国で発行された小切手全体の10～20％を処理していたと推定されている。^{[ 101 ]}深層学習の産業応用は、大規模な音声認識に関して2010年頃から始まった。

2009 年の NIPS 音声認識のための深層学習ワークショップは、音声の深層生成モデルの限界と、より高性能なハードウェアと大規模なデータセットがあれば深層ニューラルネットワークが実用的になる可能性があるという可能性に動機付けられました。深層信念ネットワーク (DBN) の生成モデルを使用して DNN を事前学習することで、ニューラルネットワークの主な困難を克服できると考えられていました。しかし、大規模でコンテキスト依存の出力層を持つ DNN を使用する場合、事前学習を大量のトレーニングデータに置き換えて単純なバックプロパゲーションを行うと、当時の最先端であったガウス混合モデル (GMM)/隠れマルコフモデル (HMM) や、より高度な生成モデルベースのシステムよりもエラー率が劇的に低くなることがわかりました。^{[ 102 ]} 2 種類のシステムによって生成された認識エラーの性質は特徴的に異なっており、^{[ 103 ]}すべての主要な音声認識システムで採用されている既存の非常に効率的な実行時音声デコードシステムに深層学習を統合する方法に関する技術的な洞察を提供しました。^{[ 23 ]}^{[ 104 ]}^{[ 105 ]} 2009～2010年頃に行われた、GMM（およびその他の生成音声モデル）とDNNモデルを比較した分析により、音声認識のためのディープラーニングへの初期の産業投資が促進されました。^{[ 103 ]} この分析は、識別型DNNと生成モデルの間で同等のパフォーマンス（エラー率1.5%未満）で行われました。^{[ 102 ]}^{[ 103 ]}^{[ 106 ]} 2010年、研究者らは、決定木によって構築されたコンテキスト依存HMM状態に基づくDNNの大きな出力層を採用することにより、 TIMITから大規模語彙音声認識へのディープラーニングを拡張しました。^[¹⁰⁷^]^[¹⁰⁸^]^[¹⁰⁹^]^[¹⁰⁴^]

ディープラーニング革命

ディープラーニングが機械学習のサブセットであること、そして機械学習が人工知能（AI）のサブセットであることについて

ディープラーニング革命は、CNNとGPUをベースとしたコンピュータビジョンを中心に始まった。

バックプロパゲーションで学習された CNN は何十年も前から存在し、CNN を含むニューラルネットワークの GPU 実装も何年も前から存在していましたが、^{[ 110 ]}^{コンピュータビジョンの進歩には}^{、 GPU 上での CNN のより高速な実装が}必要でした。その後、ディープラーニングが普及するにつれて、ディープラーニング専用のハードウェアとアルゴリズムの最適化が開発されました。^{[ 112 ]}

ディープラーニング革命の重要な進歩は、ハードウェアの進歩、特にGPUの進歩でした。初期の研究は2004年に遡ります。^{[ 110 ]}^{[ 111 ]} 2009年には、Raina、Madhavan、Andrew Ngが、30個のNvidia GeForce GTX 280 GPUでトレーニングされた1億のディープビリーフネットワークを報告しました。これはGPUベースのディープラーニングの初期のデモンストレーションです。彼らは最大70倍のトレーニングの高速化を報告しました。^{[ 113 ]}

2011年、Dan Ciresan、Ueli Meier、Jonathan Masci、Luca Maria Gambardella、Jürgen SchmidhuberによるDanNet ^{[ 114 ]}^{[ 115 ]}というCNNが、視覚パターン認識コンテストで初めて超人的なパフォーマンスを達成し、従来の手法を3倍上回りました。^[⁹^]その後、さらに多くのコンテストで優勝しました。^[¹¹⁶^]^[¹¹⁷^]また、 GPU上で最大プーリングCNNがパフォーマンスを大幅に向上させることも示しました。 ^[³^]

2012年、アンドリュー・ンとジェフ・ディーンは、 YouTube動画から取得したラベルなしの画像を見るだけで、猫などの高レベルの概念を認識することを学習するFNNを作成した。^{[ 118 ]}

2012年10月、Alex Krizhevsky、Ilya Sutskever、Geoffrey HintonによるAlexNet ^[⁴^]は、浅層機械学習手法を大差で上回り、大規模なImageNetコンペティションで優勝しました。その後、 Karen SimonyanとAndrew Zissermanによる VGG-16ネットワーク^[¹¹⁹^]やGoogleのInceptionv3 ^[¹²⁰^]など、段階的な改良が加えられました。

画像分類における成功は、その後、より困難な課題である画像の説明（キャプション）の生成へと拡張され、多くの場合、CNNとLSTMの組み合わせとして用いられた。^{[ 121 ]}^{[ 122 ]}^{[ 123 ]}

2014 年の最先端技術は、20 ～ 30 層の「非常に深いニューラルネットワーク」をトレーニングすることでした。^{[ 124 ]}層を積み重ねすぎると、トレーニング精度が急激に低下し、^{[ 125 ]}「劣化」問題として知られています。^{[ 126 ]} 2015 年、非常に深いネットワークをトレーニングするための 2 つの技術が開発されました。ハイウェイネットワークは 2015 年 5 月に発表され、残差ニューラルネットワーク(ResNet) ^{[ 126 ]}は 2015 年 12 月に発表されました。ResNet は、オープンゲートハイウェイネットワークのように動作します。

ほぼ同時期に、ディープラーニングが芸術分野に影響を与え始めました。初期の例としては、Google DeepDream (2015) やニューラルスタイル転送(2015) ^{[ 127 ]}があり、どちらもVGG-19などの事前学習済み画像分類ニューラルネットワークに基づいています。

イアン・グッドフェローらによる敵対的生成ネットワーク（GAN）^{[ 128 ]} （ユルゲン・シュミットフーバーの人工好奇心の原理^{[ 74 ]}^{[ 76 ]}に基づく）は、2014年から2018年の期間に生成モデリングの最先端技術となった。NvidiaのStyleGAN（2018）[129]は、テロ・カラスらによるプログレッシブGAN[130]に基づいており、優れた画像品質を実現している。ここでは、^{GANジェネレーターは}ピラミッド^{型に小規模}から大規模へと成長していく。GANによる画像生成は広く普及し、ディープフェイクに関する議論を巻き起こした。^{[ 131 ]}拡散モデル(2015) ^{[ 132 ]}は、それ以来、生成モデリングにおいて GAN を凌駕し、DALL·E 2 (2022) やStable Diffusion (2022) などのシステムが登場しました。

2015年、GoogleはLSTMベースのモデルにより音声認識を49%向上させ、スマートフォンのGoogle音声検索で利用できるようにした。^[¹³³^]^[¹³⁴^]

ディープラーニングは、さまざまな分野、特にコンピュータビジョンと自動音声認識（ASR）の最先端システムの一部です。TIMIT（ ASR）やMNIST（画像分類）などの一般的に使用される評価セット、およびさまざまな大規模語彙音声認識タスクの結果は着実に向上しています。^{[ 102 ]}^{[ 135 ]}畳み込みニューラルネットワークは、ASRではLSTMに取って代わられました。^{[ 134 ]}^{[ 136 ]}^{[ 137 ]}^{[ 138 ]}しかし、コンピュータビジョンではより成功しています。

ヨシュア・ベンジオ、ジェフリー・ヒントン、ヤン・ルカンは、「深層ニューラルネットワークをコンピューティングの重要な構成要素にした概念的および工学的ブレークスルー」により、 2018年のチューリング賞を受賞しました。 ^{[ 139 ]}

ニューラルネットワーク

物体検出におけるニューラルネットワークの学習の簡略化された例：このネットワークは、ヒトデとウニを描いた複数の画像で学習され、これらの画像は視覚的特徴を表す「ノード」と関連付けられています。ヒトデは環状のテクスチャと星形の輪郭で識別され、ほとんどのウニは縞模様のテクスチャと楕円形で識別されます。しかし、環状のテクスチャを持つウニのインスタンスは、両者の間に弱い重み付けの関連付けを生み出します。

入力画像に対するネットワークのその後の実行（左）：^{[ 140 ]}ネットワークはヒトデを正しく検出します。しかし、リング状のテクスチャとウニの間の弱い重み付けの関連付けにより、2 つの中間ノードの 1 つからウニに弱い信号が与えられます。さらに、トレーニングに含まれていない貝殻が楕円形に弱い信号を与え、その結果、ウニの出力にも弱い信号が生じます。これらの弱い信号により、ウニの偽陽性結果が生じる可能性があります。実際には、テクスチャと輪郭は単一のノードではなく、複数のノードの関連付けられた重みパターンによって表現されます。

人工ニューラルネットワーク（ANN）またはコネクショニストシステムは、動物の脳を構成する生物学的ニューラルネットワークに着想を得たコンピューティングシステムです。このようなシステムは、一般的にタスク固有のプログラミングなしに、例を考慮することでタスクを実行する能力を学習（段階的に向上）します。たとえば、画像認識では、「猫」または「猫なし」と手動でラベル付けされたサンプル画像を分析し、その分析結果を使用して他の画像から猫を識別することで、猫が写っている画像を識別することを学習できます。これらのシステムは、ルールベースのプログラミングを用いた従来のコンピュータアルゴリズムでは表現が難しいアプリケーションで最も活用されています。

人工ニューラルネットワーク（ ANN ）は、人工ニューロンと呼ばれる接続されたユニットの集合体に基づいています（これは、生物学的脳内の生物学的ニューロンに相当します）。ニューロン間の各接続（シナプス）は、別のニューロンに信号を伝達できます。受信側（シナプス後）ニューロンは信号を処理し、それに接続されている下流のニューロンに信号を送ります。ニューロンは状態を持つことができ、これは通常、0から1の間の実数で表されます。ニューロンとシナプスは、学習の進行に伴って変化する重みを持つこともあり、これにより下流に送信される信号の強度を増減させることができます。

一般的に、ニューロンは層状に組織化されている。異なる層は、入力に対して異なる種類の変換を行う可能性がある。信号は、最初の（入力）層から最後の（出力）層へと、場合によっては複数の層を通過しながら伝わる。

ニューラルネットワークアプローチの当初の目標は、人間の脳と同じように問題を解決することでした。しかし、時が経つにつれ、特定の精神能力とのマッチングに注目が集まり、バックプロパゲーション（情報を逆方向に伝達し、その情報を反映するようにネットワークを調整する手法）など、生物学的な原理から逸脱する手法が用いられるようになりました。

ニューラルネットワークは、コンピュータビジョン、音声認識、機械翻訳、ソーシャルネットワークのフィルタリング、ボードゲームやビデオゲーム、医療診断など、さまざまなタスクに利用されてきた。

2017年現在、ニューラルネットワークは通常、数千から数百万のユニットと数百万の接続を備えています。この数は人間の脳のニューロンの数より数桁少ないにもかかわらず、これらのネットワークは人間のレベルを超える多くのタスクを実行できます（たとえば、顔認識や「囲碁」をプレイするなど^{[ 141 ]}）。

深層ニューラルネットワーク

ディープニューラルネットワーク（DNN）は、入力層と出力層の間に複数の層を持つ人工ニューラルネットワークです。^{[ 7 ]}^{[ 9 ]}ニューラルネットワークにはさまざまな種類がありますが、常に同じ構成要素、つまりニューロン、シナプス、重み、バイアス、関数で構成されています。^{[ 142 ]}これらの構成要素は全体として人間の脳の機能を模倣するように機能し、他の機械学習アルゴリズムと同様にトレーニングできます。

例えば、犬種を認識するように訓練されたDNNは、与えられた画像を処理し、画像内の犬が特定の犬種である確率を計算します。ユーザーは結果を確認し、ネットワークが表示する確率（特定の閾値以上など）を選択して、提案されたラベルを返すことができます。このような数学的操作はそれぞれレイヤーとみなされ、^{[ 143 ]}複雑なDNNは多くのレイヤーを持つため、「ディープ」ネットワークと呼ばれます。

DNNは複雑な非線形関係をモデル化できます。DNNアーキテクチャは、オブジェクトがプリミティブの階層的な構成として表現される構成モデルを生成します。^{[ 144 ]}追加のレイヤーにより、下位レイヤーからの特徴を構成できるため、同様の性能を持つ浅いネットワークよりも少ないユニットで複雑なデータをモデル化できる可能性があります。^{[ 7 ]}例えば、疎な多変数多項式は、浅いネットワークよりもDNNで指数関数的に近似しやすいことが証明されています。^{[ 145 ]}

ディープアーキテクチャには、いくつかの基本的なアプローチの多くのバリエーションが含まれています。それぞれのアーキテクチャは、特定の分野で成功を収めています。同じデータセットで評価されていない限り、複数のアーキテクチャのパフォーマンスを比較することは必ずしも可能ではありません。^{[ 143 ]}

DNNは通常、入力層から出力層へデータがループバックすることなく流れるフィードフォワードネットワークです。DNNはまず仮想ニューロンのマップを作成し、それらの間の接続にランダムな数値、つまり「重み」を割り当てます。重みと入力が乗算され、0から1の間の出力が返されます。ネットワークが特定のパターンを正確に認識しなかった場合、アルゴリズムが重みを調整します。^{[ 146 ]}このようにして、アルゴリズムはデータを完全に処理するための正しい数学的操作を決定するまで、特定のパラメータの影響を大きくすることができます。

データがどの方向にも流れることができるリカレントニューラルネットワークは、言語モデリングなどのアプリケーションに使用されます。^{[ 147 ]}^{[ 148 ]}^{[ 149 ]}^{[ 150 ]}^{[ 151 ]}長短期記憶は、この用途に特に効果的です。^{[ 152 ]}^{[ 153 ]}

畳み込みニューラルネットワーク（CNN）はコンピュータビジョンで使用されています。^{[ 154 ]} CNNは自動音声認識（ASR）の音響モデリングにも応用されています。 ^{[ 155 ]}

課題

人工ニューラルネットワーク（ANN）と同様に、単純な方法で学習させた深層ニューラルネットワーク（DNN）にも多くの問題が生じる可能性があります。よくある問題としては、過学習と計算時間の長さが挙げられます。

DNNは、トレーニングデータ内のまれな依存関係をモデル化できる抽象化の層が追加されているため、過学習を起こしやすい。Ivakhnenkoのユニット剪定^{[ 41 ]}や重み減衰( $\displaystyle \ell _{2}}$ -正則化）またはスパース性（ $\displaystyle \ell _{1}}$ 過学習を防ぐために、トレーニング中に正則化を適用できます。^{[ 156 ]}あるいは、ドロップアウト正則化は、トレーニング中に隠れ層からユニットをランダムに除外します。これにより、まれな依存関係を除外できます。^{[ 157 ]}最近のもう 1 つの興味深い開発は、モデル化されているタスクの固有の複雑さを推定することによって、ちょうど十分な複雑さのモデルを研究することです。このアプローチは、交通予測などの多変量時系列予測タスクにうまく適用されています。^{[ 158 ]}最後に、データは、切り抜きや回転などの方法によって拡張され、より小さなトレーニングセットのサイズを大きくして、過学習の可能性を減らすことができます。^{[ 159 ]}

DNN では、サイズ (層の数と層あたりのユニット数)、学習率、初期重みなど、多くのトレーニングパラメータを考慮する必要があります。最適なパラメータを見つけるためにパラメータ空間を探索することは、時間と計算リソースのコストがかかるため、現実的ではない場合があります。バッチ処理(個々の例ではなく、複数のトレーニング例で勾配を一度に計算する) ^{[ 160 ]}などのさまざまなテクニックにより、計算が高速化されます。マルチコアアーキテクチャ (GPU や Intel Xeon Phi など) の大規模な処理能力により、このような処理アーキテクチャが行列およびベクトル計算に適しているため、トレーニングが大幅に高速化されています。^{[ 161 ]}^{[ 162 ]}

あるいは、エンジニアは、より単純で収束性の高いトレーニングアルゴリズムを備えた他のタイプのニューラルネットワークを探すかもしれません。CMAC（小脳モデル関節制御器）はそのようなニューラルネットワークの1つです。学習率やランダム化された初期重みは必要ありません。トレーニングプロセスは、新しいバッチのデータで1ステップで収束することが保証され、トレーニングアルゴリズムの計算複雑度は、関与するニューロンの数に対して線形です。^{[ 163 ]}^{[ 164 ]}

ハードウェア

2010 年代以降、機械学習アルゴリズムとコンピュータハードウェアの両方の進歩により、非線形隠れユニットの多数の層と非常に大きな出力層を含む深層ニューラルネットワークをトレーニングするためのより効率的な方法が開発されました。^{[ 165 ]} 2019 年までに、多くの場合 AI 専用の機能強化が施されたグラフィックス処理ユニット(GPU) が、大規模な商用クラウド AI のトレーニングの主要な方法として CPU に取って代わりました。^{[ 166 ]} OpenAI は、AlexNet (2012 年) から AlphaZero (2017 年) までの最大の深層学習プロジェクトで使用されたハードウェア計算を推定し、必要な計算量が 30 万倍に増加し、倍増時間の傾向線が 3.4 か月であることを発見しました。^{[ 167 ]}^{[ 168 ]}

ディープラーニングアルゴリズムを高速化するために、ディープラーニングプロセッサと呼ばれる特殊な電子回路が設計されました。ディープラーニングプロセッサには、 Huawei の携帯電話のニューラルプロセッシングユニット (NPU) ^[¹⁶⁹^]や、Google Cloud Platformのテンソルプロセッシングユニット(TPU)などのクラウドコンピューティングサーバーが含まれます。^[¹⁷⁰^] Cerebras Systems は、業界最大のプロセッサである第 2 世代 Wafer Scale Engine (WSE-2) をベースに、大規模なディープラーニングモデルを処理するための専用システム CS-2 も構築しました。^[¹⁷¹^]^[¹⁷²^]

原子的に薄い半導体は、論理演算とデータストレージの両方に同じ基本デバイス構造を使用する、エネルギー効率の高い深層学習ハードウェアに有望であると考えられています。2020年、Maregaらは、フローティングゲート電界効果トランジスタ（FGFET）に基づくロジックインメモリデバイスと回路を開発するための大面積アクティブチャネル材料の実験を発表しました。^{[ 173 ]}

2021年、J. Feldmannらは並列畳み込み処理のための集積フォトニックハードウェアアクセラレータを提案した。^{[ 174 ]}著者らは、集積フォトニクスが電子フォトニクスに比べて持つ2つの重要な利点を挙げている。(1)周波数コムと組み合わせた波長分割多重による大規模並列データ転送、(2) 極めて高速なデータ変調速度。^[¹⁷⁴^]彼らのシステムは毎秒数兆回の乗算加算演算を実行でき、データ量の多いAIアプリケーションにおける集積フォトニクスの可能性を示している。^[¹⁷⁴^]

アプリケーション

自動音声認識

大規模な自動音声認識は、ディープラーニングの最初にして最も説得力のある成功例です。LSTM RNN は、数千の離散的な時間ステップで区切られた数秒間隔の音声イベントを含む「非常に深い学習」タスク^{[ 9 ]}を学習できます。ここで、1 つの時間ステップは約 10 ms に相当します。忘却ゲートを備えた LSTM ^{[ 153 ]}は、特定のタスクにおいて従来の音声認識器と競合します。^{[ 93 ]}

音声認識における初期の成功は、TIMIT に基づく小規模な認識タスクに基づいていた。データセットには、アメリカ英語の8 つの主要な方言から 630 人の話者が含まれ、各話者は 10 文を読んでいる。^[¹⁷⁵^]小規模であるため、多くの構成を試すことができる。さらに重要なことに、TIMIT タスクは音素系列認識に関するものであり、単語系列認識とは異なり、弱い音素バイグラム言語モデルを許容する。これにより、音声認識の音響モデリングの側面の強さをより簡単に分析することができる。これらの初期の結果を含め、パーセント音素エラー率 (PER) として測定された以下のエラー率は、1991 年以降まとめられている。

1990年代後半のDNNによる話者認識、2009～2011年頃の音声認識、そして2003～2007年頃のLSTMの登場により、8つの主要分野で進歩が加速しました。^{[ 23 ]}^{[ 106 ]}^{[ 104 ]}

スケールアップ/スケールアウト、およびDNNのトレーニングとデコーディングの高速化
順序識別訓練
基礎となるメカニズムを深く理解した上で、深層モデルによる特徴処理を行う。
DNNおよび関連する深層モデルの適応
DNNおよび関連する深層モデルによるマルチタスク学習と転移学習
CNNとその設計方法：音声のドメイン知識を最大限に活用する方法
RNNとその豊富なLSTM派生版
その他の深層学習モデルには、テンソルベースモデルや、深層生成モデルと深層識別モデルを統合したものなどがある。

より最近の音声認識モデルは、TransformerまたはTemporal Convolution Networks を使用して大きな成功を収め、広く応用されています。^{[ 180 ]}^{[ 181 ]}^{[ 182 ]}主要な商用音声認識システム (Microsoft Cortana、Xbox、Skype Translator、Amazon Alexa、Google Now、Apple Siri、BaiduおよびiFlyTek の音声検索、 Nuanceのさまざまな音声製品など) はすべてディープラーニングに基づいています。^{[ 23 ]}^{[ 183 ]}^{[ 184 ]}

画像認識

リチャード・グリーンは、ムール貝養殖における遠隔操作型水中ロボットとディープラーニングの活用方法について解説する。

画像分類の一般的な評価セットは、MNISTデータベースデータセットです。MNISTは手書き数字で構成され、60,000個のトレーニング例と10,000個のテスト例が含まれています。TIMITと同様に、その小さなサイズにより、ユーザーは複数の構成をテストできます。このセットに関する包括的な結果リストが利用可能です。^{[ 185 ]}

深層学習に基づく画像認識は「超人的」になり、人間の競技者よりも正確な結果を生み出している。これは2011年に交通標識の認識で初めて起こり、2014年には人間の顔の認識で起こった。^{[ 186 ]}^{[ 187 ]}

ディープラーニングで訓練された車両は、現在では360°カメラビューを解釈します。^{[ 188 ]}もう1つの例は、遺伝子症候群の大規模データベースに接続された人間の奇形症例を分析するために使用される顔面形態異常新規分析（FDNA）です。

ビジュアルアートの処理

画像認識の進歩と密接に関連しているのが、様々な視覚芸術タスクへの深層学習技術の応用の増加である。DNNは、例えば、

特定の絵画の様式時代を特定する^{[ 189 ]}^{[ 190 ]}
ニューラルスタイル転送–特定のアートワークのスタイルをキャプチャし、それを任意の写真やビデオに視覚的に魅力的な方法で適用する^[¹⁸⁹^]^[¹⁹⁰^]
ランダムな視覚入力フィールドに基づいて印象的な画像を生成する。^{[ 189 ]}^{[ 190 ]}

自然言語処理

ニューラルネットワークは2000年代初頭から言語モデルの実装に使用されてきました。^{[ 147 ]} LSTMは機械翻訳と言語モデリングの改善に役立ちました。^{[ 148 ]}^{[ 149 ]}^{[ 150 ]}

この分野の他の重要な技術としては、ネガティブサンプリング^{[ 191 ]}と単語埋め込みがあります。word2vec などの単語埋め込みは、ディープラーニングアーキテクチャの表現層として考えることができ、原子単語をデータセット内の他の単語に対する単語の位置表現に変換します。位置はベクトル空間内の点として表現されます。単語埋め込みを RNN の入力層として使用すると、ネットワークは効果的な構成ベクトル文法を使用して文やフレーズを解析できます。構成ベクトル文法は、RNN によって実装された確率的文脈自由文法(PCFG)と考えることができます。 ^{[ 192 ]}単語埋め込みの上に構築された再帰的オートエンコーダは、文の類似性を評価し、言い換えを検出できます。^{[ 192 ]}ディープニューラルアーキテクチャは、構成要素解析、^{[ 193 ]}感情分析、^{[ 194 ]}情報検索、^{[ 195 ]}^{[ 196 ]}音声言語理解、^{[ 197 ]}機械翻訳、^{[ 148 ]}^{[ 198 ]}文脈エンティティリンキング、^{[ 198 ]}文体認識、^{[ 199 ]}固有表現認識（トークン分類）、^{[ 200 ]}テキスト分類などにおいて最良の結果をもたらします。^{[ 201 ]}

最近の発展により、単語埋め込みが文埋め込みに一般化されました。

Google 翻訳(GT) は、大規模なエンドツーエンドの長短期記憶(LSTM) ネットワークを使用しています。^{[ 202 ]}^{[ 203 ]}^{[ 204 ]}^{[ 205 ]} Google ニューラル機械翻訳 (GNMT) は、システムが「何百万もの例から学習する」例ベースの機械翻訳方法を使用しています。 ^{[ 203 ]}文を「断片ではなく、一度に文全体を」翻訳します。Google 翻訳は 100 以上の言語をサポートしています。^{[ 203 ]}このネットワークは、「単にフレーズからフレーズへの翻訳を記憶するのではなく、文の意味をエンコードします」。^{[ 203 ]}^{[ 206 ]} GT は、ほとんどの言語ペアの中間として英語を使用しています。^{[ 206 ]}

創薬と毒性学

候補薬の大部分は規制当局の承認を得られずに失敗している。これらの失敗は、有効性不足（オンターゲット効果）、望ましくない相互作用（オフターゲット効果）、または予期せぬ毒性効果によって引き起こされる。^{[ 207 ]}^{[ 208 ]}研究では、栄養素、家庭用品、医薬品に含まれる環境化学物質の生体分子ターゲット、^{[ 209 ]}^{[ 210 ]}オフターゲット、および毒性効果を予測するために、深層学習の使用が検討されている。^{[ 211 ]}^{[ 212 ]}^{[ 213 ]}

AtomNetは、構造に基づいた合理的な創薬設計のための深層学習システムです。^{[ 214 ]} AtomNetは、エボラウイルス^{[ 215 ]}や多発性硬化症^[²¹⁶^]などの疾患標的の新規候補生体分子を予測するために使用されました。^{[ 215 ]}

2017年に、グラフニューラルネットワークが初めて大規模な毒性データセット内の分子のさまざまな特性を予測するために使用されました。^{[ 217 ]} 2019年には、生成ニューラルネットワークが、マウスに至るまで実験的に検証された分子を生成するために使用されました。^{[ 218 ]}^{[ 219 ]}

バイオインフォマティクス

バイオインフォマティクスでは、遺伝子オントロジー注釈と遺伝子機能関係を予測するために、オートエンコーダーANNが使用された。 ^[²²³^]

^{医療情報学では、ウェアラブルデバイスからのデータに基づいて睡眠の質を予測したり[ 224 ]} 、電子カルテデータから健康合併症を予測したりするために、深層学習が使用されています^{[ 225 ]。}

深層ニューラルネットワークは、タンパク質を構成するアミノ酸の配列に基づいてタンパク質の構造を予測する上で、比類のない性能を示してきました。2020年には、深層学習ベースのシステムである AlphaFoldが、これまでのすべての計算方法よりもはるかに高い精度を達成しました。^{[ 226 ]}^{[ 227 ]}

深層ニューラルネットワークによる推定

深層ニューラルネットワークは、ニューラルジョイントエントロピー推定器（NJEE）と呼ばれる構成を通じて、確率過程のエントロピーを推定するために使用できます。 ^{[ 228 ]}このような推定により、入力確率変数が独立確率変数に与える影響についての洞察が得られます。実際には、DNNは、入力ベクトルまたは行列Xを、入力Xが与えられた場合の確率変数Yの可能なクラスに対する出力確率分布にマッピングする分類器としてトレーニングされます。たとえば、画像分類タスクでは、NJEEはピクセルの色値のベクトルを、可能な画像クラスに対する確率にマッピングします。実際には、Yの確率分布は、Yのアルファベットサイズに等しいノード数を持つSoftmax層によって得られます。NJEEは、普遍近似定理の条件が満たされるように、連続的に微分可能な活性化関数を使用します。この方法は、強い一貫性のある推定器を提供し、アルファベットサイズが大きい場合に他の方法よりも優れていることが示されています。 ^[²²⁸^]

医用画像解析

深層学習は、癌細胞の分類、病変の検出、臓器の分割、画像強調などの医療アプリケーションで競争力のある結果を生み出すことが示されています。^{[ 229 ]}^{[ 230 ]}最新の深層学習ツールは、さまざまな疾患を検出する高い精度と、専門家が診断効率を向上させるためにそれらを使用することの有用性を示しています。^{[ 231 ]}^{[ 232 ]}

モバイル広告

モバイル広告に適したモバイルオーディエンスを見つけることは常に困難です。ターゲットセグメントを作成して広告サーバーによる広告配信に使用する前に、多くのデータポイントを考慮および分析する必要があるためです。^{[ 233 ]}ディープラーニングは、大規模で多次元の広告データセットを解釈するために使用されてきました。リクエスト/配信/クリックのインターネット広告サイクル中に多くのデータポイントが収集されます。この情報は、広告選択を改善するための機械学習の基礎を形成することができます。

画像復元

ディープラーニングは、ノイズ除去、超解像、インペインティング、フィルムカラー化などの逆問題にうまく応用されています。^[²³⁴^]これらの応用には、画像データセットでトレーニングする「効果的な画像復元のための収縮フィールド」^[²³⁵^]や、復元が必要な画像でトレーニングするディープイメージプライアーなどの学習方法が含まれます。

金融詐欺の検出

ディープラーニングは、金融詐欺の検出、脱税の検出^{[ 236 ]}、マネーロンダリング対策^{[ 237 ]に応用されている。}

材料科学

2023年11月、Google DeepMindとローレンス・バークレー国立研究所の研究者らは、GNoMEと呼ばれるAIシステムを開発したと発表した。このシステムは、比較的短期間で200万を超える新素材を発見し、材料科学に貢献した。GNoMEは深層学習技術を用いて潜在的な材料構造を効率的に探索し、安定した無機結晶構造の識別を大幅に向上させた。システムの予測は自律型ロボット実験によって検証され、71%という注目すべき成功率を示した。新たに発見された材料のデータはMaterials Projectデータベースを通じて公開されており、研究者はさまざまな用途に適した特性を持つ材料を特定することができる。この開発は、科学的発見の未来と材料科学研究へのAIの統合に影響を与え、材料イノベーションを加速させ、製品開発コストを削減する可能性を秘めている。AIと深層学習の利用は、手作業による実験を最小限に抑えたり、なくしたりして、科学者が独自の化合物の設計と分析にさらに集中できる可能性を示唆している。^{[ 238 ]}^{[ 239 ]}^{[ 240 ]}

軍隊

米国国防総省は、観察を通してロボットに新しいタスクを訓練するために深層学習を応用した。^{[ 241 ]}

偏微分方程式

物理情報に基づくニューラルネットワークは、順問題と逆問題の両方で偏微分方程式をデータ駆動方式で解くために使用されてきました。 ^{[ 242 ]} 1つの例として、ナビエ・ストークス方程式によって支配される流体の流れの再構築があります。物理情報に基づくニューラルネットワークを使用すると、従来の CFD手法が依存する、しばしばコストのかかるメッシュ生成は不要になります。 ^{[ 243 ]}^{[ 244 ]}幾何学的制約と物理的制約がニューラルPDEサロゲートに相乗効果をもたらし、それによって安定した超長距離ロールアウトの予測における有効性を高めることは明らかです。^{[ 245 ]}

深層後方確率微分方程式法

深層後向き確率微分方程式法は、深層学習と後向き確率微分方程式(BSDE)を組み合わせた数値解法です。この方法は、金融数学における高次元問題の解決に特に有効です。深層ニューラルネットワークの強力な関数近似能力を活用することで、深層BSDEは、高次元設定における従来の数値解法が直面する計算上の課題に対処します。具体的には、有限差分法やモンテカルロシミュレーションなどの従来の方法は、次元の呪いに悩まされることが多く、計算コストが次元数とともに指数関数的に増加します。しかし、深層BSDE法は、深層ニューラルネットワークを使用して高次元偏微分方程式 (PDE) の解を近似することで、計算負荷を効果的に軽減します。^{[ 246 ]}

さらに、物理法則に基づいたニューラルネットワーク（PINN）を深層BSDEフレームワークに統合することで、基礎となる物理法則をニューラルネットワークアーキテクチャに直接組み込むことが可能になり、その能力が向上します。これにより、解がデータに適合するだけでなく、支配的な確率微分方程式にも準拠することが保証されます。PINNは、物理モデルによって課される制約を尊重しながら深層学習の力を活用することで、金融数学の問題に対してより正確で信頼性の高い解を提供します。

画像再構成

画像再構成とは、画像関連の測定値から元の画像を再構成することです。いくつかの研究では、スペクトルイメージング^{[ 247 ]や超音波イメージング}^[²⁴⁸^]など、さまざまなアプリケーションにおいて、深層学習法が解析的手法よりも優れた性能を示すことが示されています。

天気予報

従来の天気予報システムは、非常に複雑な偏微分方程式系を解いています。GraphCastは、長期間の気象データに基づいてトレーニングされた深層学習ベースのモデルで、気象パターンが時間とともにどのように変化するかを予測します。GraphCastは、最先端のシステムと同等の精度で、非常に詳細なレベルで、1分以内に、世界中で最大10日間の気象条件を予測できます。^{[ 249 ]}^{[ 250 ]}

エピジェネティック時計

エピジェネティック時計は、年齢を測定するために使用できる生化学的検査です。Galkin らは、6,000 を超える血液サンプルを使用して、これまでにない精度のエピジェネティック老化時計をトレーニングするために深層ニューラルネットワークを使用しました。 ^{[ 251 ]}この時計は 1,000 のCpG サイトの情報を使用し、 IBD、前頭側頭型認知症、卵巣がん、肥満などの特定の疾患を持つ人が健康な対照群よりも高齢であることを予測します。この老化時計は、 Insilico Medicine のスピンオフ企業である Deep Longevity によって 2021 年に一般公開される予定でした。

人間の認知機能および脳の発達との関連性

ディープラーニングは、 1990年代初頭に認知神経科学者によって提唱された脳発達理論（特に新皮質発達）のクラスと密接に関連しています。 ^[²⁵²^]^[²⁵³^]^[²⁵⁴^]^[²⁵⁵^]これらの発達理論は計算モデルに具体化され、ディープラーニングシステムの先駆けとなりました。これらの発達モデルは、脳内のさまざまな学習ダイナミクス（たとえば、神経成長因子の波）が、ディープラーニングモデルで使用されるニューラルネットワークにやや類似した自己組織化をサポートするという特性を共有しています。新皮質と同様に、ニューラルネットワークは階層化されたフィルタの階層構造を採用しており、各層は前の層（または動作環境）からの情報を考慮し、その出力（および場合によっては元の入力）を他の層に渡します。このプロセスにより、動作環境によく適合したトランスデューサの自己組織化スタックが生成されます。 1995年の記述では、「…乳児の脳は、いわゆる栄養因子の波の影響を受けて組織化されるようで…脳の異なる領域が順次接続され、ある組織の層が別の層より先に成熟し、それが脳全体が成熟するまで続く」と述べられている。^[²⁵⁶^]

神経生物学的観点から深層学習モデルの妥当性を調査するために、さまざまなアプローチが用いられてきた。一方では、バックプロパゲーションアルゴリズムの処理の現実性を高めるために、いくつかのバリアントが提案されている。^{[ 257 ]}^{[ 258 ]}他の研究者は、階層的生成モデルや深層信念ネットワークに基づくものなど、教師なし深層学習の方が生物学的現実に近い可能性があると主張している。^{[ 259 ]}^{[ 260 ]}この点において、生成ニューラルネットワークモデルは、大脳皮質におけるサンプリングベースの処理に関する神経生物学的証拠と関連付けられている。^{[ 261 ]}

人間の脳の構造と深層ネットワークにおけるニューロンの符号化との体系的な比較はまだ確立されていませんが、いくつかの類似点が報告されています。たとえば、深層学習ユニットによって実行される計算は、実際のニューロン^{[ 262 ]}やニューロン集団^{[ 263 ]の計算と似ている可能性があります。同様に、深層学習モデルによって開発された表現は、霊長類の視覚系}^{[ 264 ]}で測定されたものと、単一ユニット^{[ 265 ]}レベルと集団^{[ 266 ]}レベルの両方で似ています。

商業活動

FacebookのAIラボは、アップロードされた写真に写っている人物の名前を自動的にタグ付けするなどのタスクを実行します。 ^{[ 267 ]}

GoogleのDeepMind Technologiesは、ピクセルのみをデータ入力として使用してAtariのビデオゲームをプレイする方法を学習できるシステムを開発しました。2015年には、囲碁をプロの囲碁プレイヤーに勝つほど十分に学習したAlphaGoシステムを実証しました。 ^[²⁶⁸^]^[²⁶⁹^]^[²⁷⁰^] Google翻訳は、ニューラルネットワークを使用して100以上の言語間で翻訳を行っています。

2017年に、ディープラーニングを工場に統合することに焦点を当てたCovariant.aiが設立されました。^{[ 271 ]}

²⁰⁰⁸年現在、テキサス大学オースティン校(UT)の研究者らは、^評価強化によるエージェントの手動トレーニング (TAMER) と呼ばれる機械学習フレームワークを開発しました。これは、ロボットやコンピュータプログラムが人間のインストラクターと対話することでタスクを実行する方法を学習するための新しい方法を提案するものです。^[^{241 ] TAMER}として最初に開発された新しいアルゴリズム Deep TAMER は、その後 2018 年に米国陸軍研究所(ARL) と UT の研究者との共同研究で発表されました。Deep TAMER は、深層学習を使用して、ロボットが観察を通じて新しいタスクを学習する能力を提供します。^{[ 241 ]} Deep TAMER を使用すると、ロボットは人間のトレーナーと一緒に、ビデオストリームを視聴したり、人間がタスクを実行する様子を直接観察したりしてタスクを学習します。その後、ロボットはトレーナーからのコーチングの助けを借りてタスクを練習し、トレーナーは「よくできました」や「よくできませんでした」などのフィードバックを提供します。^{[ 273 ]}

批評とコメント

ディープラーニングは、批判と意見の両方を集めており、中にはコンピュータ科学分野以外からの意見もある。

理論

主な批判は、一部の手法に関する理論の欠如に関するものです。^{[ 274 ]}最も一般的な深層アーキテクチャでの学習は、よく理解されている勾配降下法を使用して実装されています。しかし、対照発散などの他のアルゴリズムに関する理論はあまり明確ではありません。（例えば、収束するのか？収束する場合、どのくらいの速さで収束するのか？何を近似しているのか？）深層学習手法は、理論的ではなく経験的に検証されることが多いブラックボックスとして見られることがよくあります。^[²⁷⁵^]

芸術的感性が認知階層の比較的低いレベルに内在している可能性があるという考えをさらに参照すると、本質的にランダムなデータの中から、トレーニングに使用された画像を識別しようとするディープニューラルネットワーク（20～30層）の内部状態をグラフィックで表現した一連の発表^{[ 276 ]}は、視覚的な魅力を示しています。元の研究通知には1,000件を超えるコメントが寄せられ、一時期はガーディアン紙^{[ 277 ]}のウェブサイトで最もアクセス数の多い記事の主題となりました。

イノベーション普及理論（IDT）の支援を受けて、ある研究では、 Google Trendsのデータを使用してBRICSおよびOECD諸国におけるディープラーニングの普及を分析した。^{[ 278 ]}

エラー

ディープラーニングアーキテクチャの中には、^{認識できない画像}^を通常の画像の馴染みのあるカテゴリに属するものとして自信を持って分類したり（2014年）^{[ 280 ]}、正しく分類された画像のごくわずかな摂動を誤分類したりするなど、問題のある動作を示すものがある[279]。^[²⁸¹^]^Goertzelは、これらの動作は内部表現の制限によるものであり、これらの制限が異種マルチコンポーネントの汎用人工知能（AGI）アーキテクチャへの統合を阻害すると仮説を立てた^[²⁷⁹^] 。これらの問題は、観測されたエンティティとイベントの画像文法^[²⁸²^]分解に相同な状態を内部的に形成するディープラーニングアーキテクチャによって解決できる可能性がある。^[²⁷⁹^]訓練データから文法（視覚的または言語的）を学習することは、文法生成規則の観点から概念を操作する常識的推論にシステムを制限し、人間の言語習得^[²⁸³^]と人工知能（AI）^[²⁸⁴^]の両方の基本的な目標となる。

サイバー脅威

ディープラーニングが研究室から実社会へと移行するにつれ、人工ニューラルネットワークがハッキングや欺瞞に対して脆弱であることが研究と経験から明らかになっている。^{[ 285 ]}攻撃者は、これらのシステムが機能するために使用するパターンを特定することで、ANNへの入力を改変し、人間の観察者には認識できないような一致をANNが見つけるようにすることができる。たとえば、攻撃者は画像に微妙な変更を加えることで、人間には検索対象と全く似ていない画像であっても、ANNが一致を見つけるようにすることができる。このような操作は「敵対的攻撃」と呼ばれる。^{[ 286 ]}

2016年に研究者たちは、試行錯誤で画像を加工し、別の人工ニューラルネットワーク（ANN）の焦点を特定し、それによってANNを欺く画像を生成しました。加工された画像は人間の目には違いが分かりませんでした。別のグループは、加工した画像のプリントアウトを撮影すると、画像分類システムをうまく騙せることを示しました。^{[ 287 ]} 1つの防御策は逆画像検索で、偽造の可能性のある画像をTinEyeなどのサイトに送信して、その画像の他のインスタンスを見つける方法です。改良版は、画像の一部のみを使用して検索し、その部分がどの画像から取られた可能性があるかを特定する方法です。^{[ 288 ]}

別のグループは、特定の幻覚作用のある眼鏡が顔認識システムを騙して一般人を有名人だと認識させ、ある人が別の人になりすますことを可能にする可能性があることを示した。2017年には、研究者たちが一時停止標識にステッカーを貼って、人工ニューラルネットワークがそれらを誤分類するように仕向けた。^{[ 287 ]}

しかし、ANNはさらに訓練することで欺瞞の試みを検出できるようになり、攻撃者と防御者を、すでにマルウェア防御業界を特徴づけているような軍拡競争に陥れる可能性がある。ANNは、遺伝的アルゴリズムによって継続的に変更されたマルウェアで防御を繰り返し攻撃し、標的に損害を与える能力を維持しながらアンチマルウェアを欺くことで、ANNベースのアンチマルウェアソフトウェアを破るように訓練されている。^{[ 287 ]}

2016年に別のグループが、特定の音によってGoogle Nowの音声コマンドシステムが特定のウェブアドレスを開くことができることを実証し、これが「さらなる攻撃（例えば、ドライブバイマルウェアをホストするウェブページを開くこと）の足がかりとなる可能性がある」と仮説を立てた。^{[ 287 ]}

「データポイズニング」では、機械学習システムが習熟度を達成するのを妨害するために、偽のデータが継続的に機械学習システムのトレーニングセットに密かに持ち込まれる。^{[ 287 ]}

データ収集倫理

教師あり学習を使用してトレーニングされる深層学習システムは、多くの場合、人間によって作成または注釈付けされたデータ、あるいはその両方に依存しています。^{[ 289 ]}この目的のために、低賃金のクリックワーク（ Amazon Mechanical Turkなど）が定期的に使用されているだけでなく、しばしば認識されない暗黙の形態の人間のマイクロワークも使用されていると主張されています。 ^{[ 290 ]}哲学者ライナー・ミュールホフは、トレーニングデータを生成するために人間のマイクロワークを「機械的に捕捉」する 5 つのタイプを区別しています。(1)ゲーム化(注釈や計算タスクをゲームの流れに組み込む)、(2) 「捕捉と追跡」(画像認識のためのCAPTCHAや Google検索結果ページのクリック追跡など)、(3) 社会的動機の悪用 ( Facebookで顔にタグ付けしてラベル付き顔画像を取得するなど)、(4)情報マイニング(アクティビティトラッカーなどの自己定量化デバイスを活用するなど)、(5) クリックワーク。^[²⁹⁰^]

参考文献

↑シュルツ、ハンネス。スヴェン・ベンケ（2012年11月）。「深層学習: 特徴階層のレイヤーワイズ学習」。KI-Künstliche Intelligenz。26 (4): 357–363 .土井: 10.1007/s13218-012-0198-z。
1 2 LeCun, Yann; Bengio, Yoshua; Hinton, Geoffrey (2015). "Deep Learning" . Nature . 521 (7553): 436–444 . Bibcode : 2015Natur.521..436L . doi : 10.1038/nature14539 . PMID 26017442 .
1 2 Ciresan, D.; Meier, U.; Schmidhuber, J. (2012). "画像分類のためのマルチカラム深層ニューラルネットワーク". 2012 IEEE Conference on Computer Vision and Pattern Recognition . pp. 3642–3649 . arXiv : 1202.2745 . doi : 10.1109/cvpr.2012.6248110 . ISBN 978-1-4673-1228-8。
1 2 Krizhevsky, Alex; Sutskever, Ilya; Hinton, Geoffrey E (2012). "ImageNet Classification with Deep Convolutional Neural Networks" . Advances in Neural Information Processing Systems . 25 .
↑ 「GoogleのAlphaGo AIが世界最高の囲碁棋士との3局シリーズで勝利」。TechCrunch 。2017年5月25日。2018年6月17日のオリジナルからアーカイブ。2018年6月17日に取得。
↑ 「ニューラルネットワークを脳と比較する際には注意が必要であるという研究結果」。MITニュース｜マサチューセッツ工科大学。2022年11月2日。 2023年12月6日閲覧。
1 2 3 4 Bengio, Y. (2009). "Learning Deep Architectures for AI". Foundations and Trends® in Machine Learning . 2 (1): 1– 127. doi : 10.1561/2200000006 .
1 2 3 4 5Bengio, Y.; Courville, A.; Vincent, P. (2013). "Representation Learning: A Review and New Perspectives". IEEE Transactions on Pattern Analysis and Machine Intelligence. 35 (8): 1798–1828. arXiv:1206.5538. Bibcode:2013ITPAM..35.1798B. doi:10.1109/tpami.2013.50. PMID 23787338.
1 2 3 4 5 6 7 8Schmidhuber, J. (2015). "Deep Learning in Neural Networks: An Overview". Neural Networks. 61: 85–117. arXiv:1404.7828. Bibcode:2015NN.....61...85S. doi:10.1016/j.neunet.2014.09.003. PMID 25462637.
↑Shigeki, Sugiyama (12 April 2019). Human Behavior and Another Kind in Consciousness: Emerging Research and Opportunities: Emerging Research and Opportunities. IGI Global. ISBN 978-1-5225-8218-2.
↑Bengio, Yoshua; Lamblin, Pascal; Popovici, Dan; Larochelle, Hugo (2007). Greedy layer-wise training of deep networks(PDF). Advances in neural information processing systems. pp. 153–160. Archived(PDF) from the original on 2019-10-20. Retrieved 2019-10-06.
1 2Hinton, G.E. (2009). "Deep belief networks". Scholarpedia. 4 (5): 5947. Bibcode:2009SchpJ...4.5947H. doi:10.4249/scholarpedia.5947.
↑Rina Dechter (1986). Learning while searching in constraint-satisfaction problems. University of California, Computer Science Department, Cognitive Systems Laboratory.OnlineArchived 2016-04-19 at the Wayback Machine
↑Aizenberg, Igor N.; Aizenberg, Naum N.; Vandewalle, Joos (2000). Multi-Valued and Universal Binary Neurons. doi:10.1007/978-1-4757-3115-6. ISBN 978-1-4419-4978-3.
↑Co-evolving recurrent neurons learn deep memory POMDPs. Proc. GECCO, Washington, D. C., pp. 1795–1802, ACM Press, New York, NY, USA, 2005.
↑Fradkov, Alexander L. (2020-01-01). "Early History of Machine Learning". IFAC-PapersOnLine. 21st IFAC World Congress. 53 (2): 1385–1390. doi:10.1016/j.ifacol.2020.12.1888.
1 2 3Cybenko, G. (December 1989). "Approximation by superpositions of a sigmoidal function". Mathematics of Control, Signals, and Systems. 2 (4): 303–314. Bibcode:1989MCSS....2..303C. doi:10.1007/bf02551274.
1 2 3Hornik, Kurt (1991). "Approximation Capabilities of Multilayer Feedforward Networks". Neural Networks. 4 (2): 251–257. Bibcode:1991NN......4..251H. doi:10.1016/0893-6080(91)90009-t.
1 2Haykin, Simon S. (1999). Neural Networks: A Comprehensive Foundation. Prentice Hall. ISBN 978-0-13-273350-2.
1 2Hassoun, Mohamad H. (1995). Fundamentals of Artificial Neural Networks. MIT Press. p. 48. ISBN 978-0-262-08239-6.
1 2Lu, Z., Pu, H., Wang, F., Hu, Z., & Wang, L. (2017). The Expressive Power of Neural Networks: A View from the WidthArchived 2019-02-13 at the Wayback Machine. Neural Information Processing Systems, 6231-6239.
↑Orhan, A. E.; Ma, W. J. (2017). "Efficient probabilistic inference in generic neural networks trained with non-probabilistic feedback". Nature Communications. 8 (1): 138. Bibcode:2017NatCo...8..138O. doi:10.1038/s41467-017-00181-8. PMC 5527101. PMID 28743932.
1 2 3 4 5Deng, L.; Yu, D. (2014). "Deep Learning: Methods and Applications"(PDF). Foundations and Trends in Signal Processing. 7 (3–4): 1–199. doi:10.1561/2000000039. Archived(PDF) from the original on 2016-03-14. Retrieved 2014-10-18.
1 2 3 4マーフィー、ケビン P. (2012年8月24日).機械学習：確率論的視点. MIT Press. ISBN 978-0-262-01802-9。
1 2福島、K. (1969). 「アナログ閾値要素の多層ネットワークによる視覚的特徴抽出」. IEEE Transactions on Systems Science and Cybernetics . 5 (4): 322– 333. Bibcode : 1969ITSSC...5..322F . doi : 10.1109/TSSC.1969.300225 .
↑園田翔、村田昇 (2017)「無制限活性化関数を持つニューラルネットワークは普遍近似器である」応用および計算調和解析43 ( 2): 233– 268. arXiv : 1505.03654 . doi : 10.1016/j.acha.2015.12.005 .
↑ビショップ、クリストファー M. (2006).パターン認識と機械学習. Springer. ISBN 978-0-387-31073-2。
1 2 「エルンスト・イジングの強磁性理論への貢献」。
↑ Brush, Stephen G. (1967). "レンツ・イジング模型の歴史". Reviews of Modern Physics . 39 (4): 883–893 . Bibcode : 1967RvMP...39..883B . doi : 10.1103/RevModPhys.39.883 .
1 2甘利俊一 (1972). 「閾値要素の自己組織化ネットによるパターンとパターンシーケンスの学習」. IEEE Transactions . C (21): 1197–1206 .
1 2 3 4 5 6 7 Schmidhuber, Jürgen (2022). "Annotated History of Modern AI and Deep Learning". arXiv : 2212.11279 [ cs.NE ].
↑ Hopfield, JJ (1982). "ニューラルネットワークと、集合的な計算能力が出現する物理システム" . Proceedings of the National Academy of Sciences . 79 (8): 2554– 2558. Bibcode : 1982PNAS...79.2554H . doi : 10.1073/pnas.79.8.2554 . PMC 346238 . PMID 6953413 .
↑中野薫（1971）「連想記憶モデルにおける学習過程」パターン認識と機械学習、pp. 172–186、doi : 10.1007/978-1-4615-7566-5_15、ISBN 978-1-4615-7568-9。
↑中野薫 (1972). 「アソシアトロン - 連想記憶のモデル」. IEEE Transactions on Systems, Man, and Cybernetics . SMC-2 (3): 380–388 . Bibcode : 1972ITSMC...2..380N . doi : 10.1109/TSMC.1972.4309133 .
↑チューリング、アラン（1992）[1948]。「知能機械」。DCインス編『AMチューリング著作集：機械的知能』第1巻、エルゼビア・サイエンス・パブリッシャーズ、107ページ。ISBN 0-444-88058-5。
↑ Rosenblatt, F. (1958). "パーセプトロン：脳における情報貯蔵と組織化のための確率モデル". Psychological Review . 65 (6): 386–408 . doi : 10.1037/h0042519 . PMID 13602029 .
1 2ローゼンブラット、フランク（1962）。神経力学の原理。スパルタン、ニューヨーク。
↑ Joseph, RD (1960). Contributions to Perceptron Theory, Cornell Aeronautical Laboratory Report No. VG-11 96--G-7, Buffalo .
↑イヴァフネンコ、AG; ラパ、VG (1967).サイバネティクスと予測技術. アメリカン・エルゼビア出版. ISBN 978-0-444-00020-0。
↑ Ivakhnenko, AG (1970年3月). "工学サイバネティクスの問題におけるヒューリスティック自己組織化" . Automatica . 6 (2): 207– 219. Bibcode : 1970Autom...6..207I . doi : 10.1016/0005-1098(70)90092-0 .
1 2 Ivakhnenko, Alexey (1971). "複雑系の多項式理論" (PDF) . IEEE Transactions on Systems, Man, and Cybernetics . SMC-1 (4): 364– 378. Bibcode : 1971ITSMC...1..364I . doi : 10.1109/TSMC.1971.4308320 . 2017-08-29 のオリジナルからアーカイブ(PDF) 。 2019-11-05に取得.
↑ Robbins, H. ; Monro, S. (1951). "A Stochastic Approximation Method" . The Annals of Mathematical Statistics . 22 (3): 400. doi : 10.1214/aoms/1177729586 .
↑甘利俊一 (1967年6月)「適応型パターン分類器の理論」IEEE Transactions on Electronic Computers . EC-16 (3): 299–307 . Bibcode : 1967ITECm..16..299A . doi : 10.1109/PGEC.1967.264666 .
↑ Ramachandran, Prajit; Barret, Zoph; Quoc, V. Le (2017年10月16日). "活性化関数の探索". arXiv : 1710.05941 [ cs.NE ].
↑福島和也 (1979). 「位置ずれに影響されないパターン認識機構のニューラルネットワークモデル―ネオコグニトロン」. 電子情報通信学会論文集. J62-A (10): 658–665 . doi : 10.1007/bf00344251 . PMID 7370364 .
↑福島、K. (1980). 「ネオコグニトロン：位置のずれに影響されないパターン認識メカニズムのための自己組織化ニューラルネットワークモデル」. Biol. Cybern . 36 (4): 193– 202. doi : 10.1007/bf00344251 . PMID 7370364 .
↑ライプニッツ、ゴットフリート・ヴィルヘルム・フライヘル・フォン (1920)。ライプニッツの初期数学手稿：カール・イマヌエル・ゲルハルト出版、ラテン語テキストからの翻訳、批評的および歴史的注釈付き（ライプニッツは1676年の回想録で連鎖律を発表）。オープン・コート出版。ISBN 978-0-598-81846-1。{{cite book}}ISBN /日付の不一致（ヘルプ）
↑ Kelley, Henry J. (1960). "最適な飛行経路の勾配理論". ARS Journal . 30 (10): 947– 954. doi : 10.2514/8.5282 .
↑ Linnainmaa, Seppo (1970).アルゴリズムの累積丸め誤差を局所丸め誤差のテイラー展開として表現する方法（修士論文）（フィンランド語）。ヘルシンキ大学。pp. 6–7。
↑ Linnainmaa, Seppo (1976). "累積丸め誤差のテイラー展開". BIT Numerical Mathematics . 16 (2): 146– 160. doi : 10.1007/bf01931367 .
↑ Ostrovski, GM、Volin, YM、Boris, WW (1971)。導関数の計算について。Wiss. Z. Tech. Hochschule for Chemistry、13:382–384。
1 2 Schmidhuber, Juergen (2014 年 10 月 25 日). 「バックプロパゲーションを発明したのは誰か？」 . IDSIA、スイス。2024年 7 月 30 日のオリジナルからアーカイブ済み。2024年9 月 14 日取得。
↑ Werbos, Paul (1982). "非線形感度分析の進歩の応用" (PDF) .システムモデリングと最適化. Springer. pp. 762–770 . 2016年4月14日のオリジナルからアーカイブ(PDF) 。 2017年7月2日取得。
↑ウェルボス、ポール・J. (1994).バックプロパゲーションのルーツ：順序付き微分からニューラルネットワークと政治予測まで. ニューヨーク：ジョン・ワイリー・アンド・サンズ. ISBN 0-471-59897-6。
↑ Rumelhart, David E.; Hinton, Geoffrey E.; Williams, Ronald J. (1986 年 10 月). "誤差逆伝播による表現の学習". Nature . 323 (6088): 533– 536. Bibcode : 1986Natur.323..533R . doi : 10.1038/323533a0 .
↑ Rumelhart, David E.; Hinton, Geoffrey E.; Williams, Ronald J. (1985). Learning Internal Representations by Error Propagation (PDF) (Report). DTIC ADA164453 . 2022年10月13日にオリジナル(PDF)からアーカイブされました。
↑ Waibel, Alex (1987年12月).時間遅延ニューラルネットワークを用いた音素認識(PDF) . 電気情報通信学会 (IEICE) 講演会. 東京, 日本.
↑ Waibel, A.; Hanazawa, T.; Hinton, G.; Shikano, K.; Lang, KJ (1989年3月). "時間遅延ニューラルネットワークを用いた音素認識". IEEE Transactions on Acoustics, Speech, and Signal Processing . 37 (3): 328– 339. Bibcode : 1989ITASS..37..328W . doi : 10.1109/29.21701 .
↑ Zhang, Wei (1988). 「シフト不変パターン認識ニューラルネットワークとその光学的アーキテクチャ」 .日本応用物理学会年次大会論文集.
↑ LeCun, Y.; Boser, B.; Denker, JS; Henderson, D.; Howard, RE; Hubbard, W.; Jackel, LD (1989 年 12 月). "手書き郵便番号認識へのバックプロパゲーションの適用". Neural Computation . 1 (4): 541– 551. doi : 10.1162/neco.1989.1.4.541 .
↑ Zhang, Wei; Itoh, Kazuyoshi; Tanida, Jun; Ichioka, Yoshiki (1990年11月10日). "局所空間不変相互接続を備えた並列分散処理モデルとその光アーキテクチャ". Applied Optics . 29 (32): 4790–4797 . Bibcode : 1990ApOpt..29.4790Z . doi : 10.1364/AO.29.004790 . PMID 20577468 .
↑ Zhang, Wei; Hasegawa, Akira; Itoh, Kazuyoshi; Ichioka, Yoshiki (1991年10月10日). 「学習ネットワークに基づくヒト角膜内皮の画像処理」. Applied Optics . 30 (29): 4211–4217 . Bibcode : 1991ApOpt..30.4211Z . doi : 10.1364/AO.30.004211 . PMID 20706526 .
↑ Zhang, Wei (1994). "シフト不変人工ニューラルネットワークを用いたデジタルマンモグラフィにおけるクラスター状微小石灰化のコンピュータ検出". Medical Physics . 21 (4): 517–24 . Bibcode : 1994MedPh..21..517Z . doi : 10.1118/1.597177 . PMID 8058017 .
↑ LeCun, Yann; Léon Bottou; Yoshua Bengio; Patrick Haffner (1998). "文書認識に適用された勾配ベース学習" (PDF) . Proceedings of the IEEE . 86 (11): 2278– 2324. Bibcode : 1998IEEEP..86.2278L . doi : 10.1109/5.726791 .
↑ Jordan, Michael I. (1986). "コネクショニスト逐次マシンにおけるアトラクターダイナミクスと並列性" .認知科学学会年次大会論文集. 8 .
↑エルマン、ジェフリー L. (1990 年 3 月) 「時間における構造の発見」。認知科学。14 (2): 179–211。doi : 10.1207 /s15516709cog1402_1。
1 2 3 Schmidhuber, Jürgen (1991 年 4 月). "ニューラルシーケンスチャンカー" (PDF) . TR FKI-148、ミュンヘン工科大学.
1 2 Schmidhuber, Jürgen (1992 年 3 月). "履歴圧縮の原理を用いた複雑で拡張されたシーケンスの学習". Neural Computation . 4 (2): 234– 242. Bibcode : 1992NeCom...4..234S . doi : 10.1162/neco.1992.4.2.234 .
↑ Schmidhuber, Jürgen (1993).教授資格論文: システムモデリングと最適化(PDF) . 2022年5月16日にオリジナル(PDF)からアーカイブされました。150ページ以降では、展開されたRNNにおける1,200層に相当する層全体にわたるクレジット割り当てについて説明しています。
1 2 3 S. Hochreiter、「 Untersuchungen zu dynamischen neuronalen Netzen」。 2015 年 3 月 6 日にWayback Machineにアーカイブされました。卒業論文。インスティチュート f.工科大学インフォマティックミュンヘン。アドバイザー: J. シュミットフーバー、1991 年。
↑ Hochreiter, S.他 (2001年1月15日) 「リカレントネットワークにおける勾配フロー：長期依存性の学習の難しさ」 Kolen, John F.、Kremer, Stefan C. (編) 『動的リカレントネットワークのフィールドガイド』 John Wiley & Sons. ISBN 978-0-7803-5369-5。
↑ゼップ・ホッホライター;ユルゲン・シュミットフーバー(1995 年 8 月 21 日)、長短期記憶、ウィキデータQ98967430
↑ Gers, Felix; Schmidhuber, Jürgen; Cummins, Fred (1999). "Learning to forget: Continual prediction with LSTM".第9回人工ニューラルネットワーク国際会議: ICANN '99 . Vol. 1999. pp. 850–855 . doi : 10.1049/cp:19991218 . ISBN 0-85296-721-7。
1 2 Schmidhuber, Juergen (1991). 「モデル構築ニューラルコントローラにおける好奇心と退屈の実装の可能性」『動物からアニマッツへ』pp. 222–228 . doi : 10.7551/mitpress/3115.003.0030 . ISBN 978-0-262-25667-4。
↑ Schmidhuber, Jürgen (2010). "創造性、楽しさ、および内発的動機付けの形式理論（1990-2010）". IEEE Transactions on Autonomous Mental Development . 2 (3): 230– 247. Bibcode : 2010ITAMD...2..230S . doi : 10.1109/TAMD.2010.2056368 .
1 2 Schmidhuber, Jürgen (2020). "Generative Adversarial Networks are Special Cases of Artificial Curiosity (1990) and also Closely Related to Predictability Minimization (1991)". Neural Networks . 127 : 58– 66. arXiv : 1906.04493 . doi : 10.1016/j.neunet.2020.04.008 . PMID 32334341 .
↑ Ackley, D; Hinton, G; Sejnowski, T (1985年3月). "A learning algorithm for boltzmann machines". Cognitive Science . 9 (1): 147– 169. doi : 10.1016/S0364-0213(85)80012-4 .
↑スモレンスキー、ポール（1986）。「第6章：動的システムにおける情報処理：調和理論の基礎」（PDF）。デイビッド・E・ルーメルハート、ジェームズ・L・マクレランド編『並列分散処理：認知の微細構造の探求、第1巻：基礎』MIT Press、194～281ページ。ISBN 0-262-68053-X。
↑ Peter, Dayan ; Hinton, Geoffrey E. ; Neal, Radford M. ; Zemel, Richard S. (1995). "The Helmholtz machine". Neural Computation . 7 (5): 889– 904. doi : 10.1162/neco.1995.7.5.889 . hdl : 21.11116/0000-0002-D6D3-E . PMID 7584891 .
↑ Hinton, Geoffrey E. ; Dayan, Peter ; Frey, Brendan J. ; Neal, Radford (1995-05-26). "教師なしニューラルネットワークのためのウェイクスリープアルゴリズム". Science . 268 (5214): 1158– 1161. Bibcode : 1995Sci...268.1158H . doi : 10.1126/science.7761831 . PMID 7761831 .
↑セジノウスキー、テレンス・J. (2018).ディープラーニング革命. マサチューセッツ州ケンブリッジ: MIT Press . ISBN 978-0-262-03803-4。
↑Qian, Ning; Sejnowski, Terrence J. (1988-08-20). "Predicting the secondary structure of globular proteins using neural network models". Journal of Molecular Biology. 202 (4): 865–884. Bibcode:1988JMBio.202..865Q. doi:10.1016/0022-2836(88)90564-5. ISSN 0022-2836. PMID 3172241.
↑Morgan, Nelson; Bourlard, Hervé; Renals, Steve; Cohen, Michael; Franco, Horacio (1 August 1993). "Hybrid neural network/hidden markov model systems for continuous speech recognition". International Journal of Pattern Recognition and Artificial Intelligence. 07 (4): 899–916. doi:10.1142/s0218001493000455. ISSN 0218-0014.
↑Robinson, T. (1992). "A real-time recurrent error propagation network word recognition system". [Proceedings] ICASSP-92: 1992 IEEE International Conference on Acoustics, Speech, and Signal Processing. pp. 617-620 vol.1. doi:10.1109/ICASSP.1992.225833. ISBN 0-7803-0532-9.
↑Waibel, A.; Hanazawa, T.; Hinton, G.; Shikano, K.; Lang, K.J. (March 1989). "Phoneme recognition using time-delay neural networks". IEEE Transactions on Acoustics, Speech, and Signal Processing. 37 (3): 328–339. Bibcode:1989ITASS..37..328W. doi:10.1109/29.21701. hdl:10338.dmlcz/135496.
↑Baker, J.; Deng, Li; Glass, Jim; Khudanpur, S.; Lee, C.-H.; Morgan, N.; O'Shaughnessy, D. (2009). "Research Developments and Directions in Speech Recognition and Understanding, Part 1". IEEE Signal Processing Magazine. 26 (3): 75–80. Bibcode:2009ISPM...26...75B. doi:10.1109/msp.2009.932166. hdl:1721.1/51891.
↑Bengio, Y. (1991). "Artificial Neural Networks and their Application to Speech/Sequence Recognition". McGill University Ph.D. thesis. Archived from the original on 2021-05-09. Retrieved 2017-06-12.
↑ Deng, L.; Hassanein, K.; Elmasry, M. (1994). "音声認識への応用を伴うニューラル予測モデルの相関構造の分析". Neural Networks . 7 (2): 331– 339. doi : 10.1016/0893-6080(94)90027-2 .
↑ Doddington, G.; Przybocki, M.; Martin, A.; Reynolds, D. (2000). "NIST話者認識評価±概要、方法論、システム、結果、展望". Speech Communication . 31 (2): 225– 254. doi : 10.1016/S0167-6393(99)00080-1 .
1 2 Heck, L.; Konig, Y.; Sonmez, M.; Weintraub, M. (2000). "識別特徴設計による話者認識における電話受話器の歪みに対するロバスト性". Speech Communication . 31 (2): 181– 192. doi : 10.1016/s0167-6393(99)00077-1 .
↑ LP Heck および R. Teunen。「Nuance Verifier を使用した安全で便利なトランザクション」。Nuance ユーザーカンファレンス、1998 年 4 月。
↑ 「LVCSRの生時間信号を用いた深層ニューラルネットワークによる音響モデリング（PDFダウンロード可能）」。ResearchGate。2021年5月9日にオリジナルからアーカイブ済み。 2017年6月14日に取得。
1 2 Graves, Alex; Eck, Douglas; Beringer, Nicole; Schmidhuber, Jürgen (2003). "Biologically Plausible Speech Recognition with LSTM Neural Nets" (PDF) .第 1 回、生物学的に着想を得た高度情報技術へのアプローチに関する国際ワークショップ、Bio-ADIT 2004、スイス、ローザンヌ。pp. 175–184。2017年 7 月 6 日にオリジナル(PDF)からアーカイブ済み。2016年 4 月 9 日に取得。
↑ Graves, Alex; Fernández, Santiago; Gomez, Faustino; Schmidhuber, Jürgen (2006). "Connectionist temporal classification: Labelling unsegmented sequence data with recurrent neural networks". Proceedings of the 23rd international conference on Machine learning - ICML '06 . pp. 369–376 . doi : 10.1145/1143844.1143891 . ISBN 1-59593-383-2。
↑ Fernández, Santiago; Graves, Alex; Schmidhuber, Jürgen (2007). "An Application of Recurrent Neural Networks to Discriminative Keyword Spotting" . Artificial Neural Networks – ICANN 2007. Lecture Notes in Computer Science. Vol. 4669. pp. 220–229 . doi : 10.1007/978-3-540-74695-9_23 . ISBN 978-3-540-74693-5。
↑ Graves, Alex; Schmidhuber, Jürgen (2008). "Offline Handwriting Recognition with Multidimensional Recurrent Neural Networks" . Advances in Neural Information Processing Systems . 21 .
1 2 3 Hinton, Geoffrey E. (2007 年 10 月). 「表現の複数の層の学習」. Trends in Cognitive Sciences . 11 (10): 428–434 . doi : 10.1016/j.tics.2007.09.004 . PMID 17921042 .
↑ Hinton, Geoffrey E.; Osindero, Simon; Teh, Yee-Whye (2006年7月)「ディープビリーフネットのための高速学習アルゴリズム」Neural Computation . 18 (7): 1527– 1554. doi : 10.1162/neco.2006.18.7.1527 . PMID 16764513 .
↑ Hinton, Geoffrey E.; Osindero, Simon; Teh, Yee-Whye (2006年7月)「ディープビリーフネットのための高速学習アルゴリズム」Neural Computation . 18 (7): 1527– 1554. doi : 10.1162/neco.2006.18.7.1527 . PMID 16764513 .
↑ Hinton, Geoffrey (2009). "Deep belief networks" . Scholarpedia . 4 (5): 5947. Bibcode : 2009SchpJ...4.5947H . doi : 10.4249/scholarpedia.5947 .
↑ LeCun, Yann (2016年3月24日).深層学習とAIの未来. CERNコロキウム.
1 2 3 Hinton, Geoffrey; Deng, Li; Yu, Dong; Dahl, George; Mohamed, Abdel-rahman; Jaitly, Navdeep; Senior, Andrew; Vanhoucke, Vincent; Nguyen, Patrick; Sainath, Tara; Kingsbury, Brian (2012 年 11 月). "音声認識における音響モデリングのための深層ニューラルネットワーク: 4 つの研究グループの共通見解". IEEE Signal Processing Magazine . 29 (6): 82–97 . Bibcode : 2012ISPM...29...82H . doi : 10.1109/msp.2012.2205597 .
1 2 3 Deng, Li; Hinton, Geoffrey; Kingsbury, Brian (2013). 「音声認識および関連アプリケーションのための新しいタイプの深層ニューラルネットワーク学習：概要」. 2013 IEEE International Conference on Acoustics, Speech and Signal Processing . pp. 8599–8603 . doi : 10.1109/ICASSP.2013.6639344 . ISBN 978-1-4799-0356-6。
1 2 3 Yu, Dong; Deng, Li (2015).自動音声認識. Signals and Communication Technology. doi : 10.1007/978-1-4471-5779-3 . ISBN 978-1-4471-5778-6。
↑ 「鄧氏が権威あるIEEE技術功績賞を受賞 - マイクロソフトリサーチ」。マイクロソフトリサーチ。2015年12月3日。2018年3月16日にオリジナルからアーカイブ。 2018年3月16日に取得。
1 2 Li, Deng (2014年9月) 「基調講演: 'ディープラーニングの成果と課題 - 音声分析と認識から言語とマルチモーダル処理まで'」" . Interspeech . 2017-09-26 のオリジナルからアーカイブ済み. 2017-06-12に取得.
↑ Yu, D.; Deng, L. (2010). "実世界音声認識のためのコンテキスト依存型DBN-HMMにおける事前学習とファインチューニングの役割" . NIPS 深層学習と教師なし特徴学習ワークショップ. 2017-10-12 のオリジナルからアーカイブ. 2017-06-14に取得.
↑ Seide, Frank; Li, Gang; Yu, Dong (2011). "文脈依存型深層ニューラルネットワークを用いた会話音声の書き起こし". Interspeech 2011. pp. 437–440 . doi : 10.21437/Interspeech.2011-169 .
↑ Deng, Li; Li, Jinyu; Huang, Jui-Ting; Yao, Kaisheng; Yu, Dong; Seide, Frank; Seltzer, Michael; Zweig, Geoff; He, Xiaodong; Williams, Jason; Gong, Yifan; Acero, Alex (2013). "Microsoftにおける音声研究のための深層学習の最近の進歩". 2013 IEEE International Conference on Acoustics, Speech and Signal Processing . pp. 8604–8608 . doi : 10.1109/ICASSP.2013.6639345 . ISBN 978-1-4799-0356-6。
1 2 Oh, K.-S.; Jung, K. (2004). "GPUによるニューラルネットワークの実装". Pattern Recognition . 37 (6): 1311– 1314. Bibcode : 2004PatRe..37.1311O . doi : 10.1016/j.patcog.2004.01.013 .
1 2 Chellapilla, Kumar; Puri, Sidd; Simard, Patrice (2006), High performance convolutional neural networks for document processing , archived from the original on 2020-05-18 , retrieved 2021-02-14
↑ Sze, Vivienne ; Chen, Yu-Hsin; Yang, Tien-Ju; Emer, Joel (2017). "Efficient Processing of Deep Neural Networks: A Tutorial and Survey". arXiv : 1703.09039 [ cs.CV ].
↑ Raina, Rajat; Madhavan, Anand; Ng, Andrew Y. (2009). "グラフィックスプロセッサを用いた大規模深層非教師あり学習".第26回国際機械学習会議議事録. pp. 873–880 . doi : 10.1145/1553374.1553486 . ISBN 978-1-60558-516-1。
↑ Cireşan, Dan Claudiu; Meier, Ueli; Gambardella, Luca Maria; Schmidhuber, Jürgen (2010年9月21日). "手書き数字認識のための深く、大きく、シンプルなニューラルネットワーク". Neural Computation . 22 (12): 3207–3220 . arXiv : 1003.0358 . Bibcode : 2010NeCom..22.3207C . doi : 10.1162/neco_a_00052 . PMID 20858131 .
↑。土井: 10.5591/978-1-57735-516-8/ijcai11-210。{{cite journal}}:ジャーナルを引用するには|journal=（ヘルプ）が必要です。不足または空欄の場合|title=（ヘルプ）
↑ Ciresan, Dan; Giusti, Alessandro; Gambardella, Luca M.; Schmidhuber, Jürgen (2012). Pereira, F.; Burges, CJC; Bottou, L.; Weinberger, KQ (eds.). Advances in Neural Information Processing Systems 25 (PDF) . Curran Associates, Inc. pp. 2843– 2851. 2017-08-09のオリジナルからアーカイブ(PDF) 。2017-06-13 に取得。
↑ Ciresan, D.; Giusti, A.; Gambardella, LM; Schmidhuber, J. (2013). "深層ニューラルネットワークを用いた乳がん組織画像における有糸分裂検出". Medical Image Computing and Computer-Assisted Intervention – MICCAI 2013. Lecture Notes in Computer Science. Vol. 7908. pp. 411–418 . doi : 10.1007/978-3-642-40763-5_51 . ISBN 978-3-642-38708-1PMID 24579167
↑ Ng, Andrew; Dean, Jeff (2012). "大規模教師なし学習を用いた高レベル特徴の構築". arXiv : 1112.6209 [ cs.LG ].
↑ Simonyan, Karen; Andrew, Zisserman (2014). "大規模画像認識のための非常に深い畳み込みネットワーク". arXiv : 1409.1556 [ cs.CV ].
↑ Szegedy, Christian (2015). "Going deeper with convolutions" (PDF) . Cvpr2015 . arXiv : 1409.4842 .
↑ Vinyals, Oriol; Toshev, Alexander; Bengio, Samy; Erhan, Dumitru (2014). "Show and Tell: A Neural Image Caption Generator". arXiv : 1411.4555 [ cs.CV ].。
↑ Fang, Hao; Gupta, Saurabh; Iandola, Forrest; Srivastava, Rupesh; Deng, Li; Dollár, Piotr; Gao, Jianfeng; He, Xiaodong; Mitchell, Margaret; Platt, John C; Lawrence Zitnick, C; Zweig, Geoffrey (2014). "From Captions to Visual Concepts and Back". arXiv : 1411.4952 [ cs.CV ].。
↑ Kiros, Ryan; Salakhutdinov, Ruslan; Zemel, Richard S (2014). "Unifying Visual-Semantic Embeddings with Multimodal Neural Language Models". arXiv : 1411.2539 [ cs.LG ].。
↑ Simonyan, Karen; Zisserman, Andrew (2014). "大規模画像認識のための非常に深い畳み込みネットワーク". arXiv : 1409.1556 [ cs.CV ].
↑ He, Kaiming; Zhang, Xiangyu; Ren, Shaoqing; Sun, Jian (2016). "Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification". arXiv : 1502.01852 [ cs.CV ].
1 2 He, Kaiming; Zhang, Xiangyu; Ren, Shaoqing; Sun, Jian (2016). "Deep Residual Learning for Image Recognition". 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) . pp. 770–778 . arXiv : 1512.03385 . doi : 10.1109/CVPR.2016.90 . ISBN 978-1-4673-8851-1。
↑ Gatys, Leon A.; Ecker, Alexander S.; Bethge, Matthias (2015年8月26日). "芸術スタイルのニューラルアルゴリズム". arXiv : 1508.06576 [ cs.CV ].
↑ Goodfellow, Ian; Pouget-Abadie, Jean; Mirza, Mehdi; Xu, Bing; Warde-Farley, David; Ozair, Sherjil; Courville, Aaron; Bengio, Yoshua (2014). Generative Adversarial Networks (PDF) . Proceedings of the International Conference on Neural Information Processing Systems (NIPS 2014). pp. 2672– 2680. Archived (PDF) from the original on 22 November 2019 . Retrieved 20 August 2019 .
↑ 「GAN 2.0: NVIDIAの超リアルな顔生成器」。SyncedReview.com 。 2018年12月14日。 2019年10月3日取得。
↑ Karras, T.; Aila, T.; Laine, S.; Lehtinen, J. (2018年2月26日). "Progressive Growing of GANs for Improved Quality, Stability, and Variation". arXiv : 1710.10196 [ cs.NE ].
↑ 「準備せよ、パニックになるな：合成メディアとディープフェイク」。witness.org。2020年12月2日にオリジナルからアーカイブ済み。2020年11月25日に取得。
↑ Sohl-Dickstein, Jascha; Weiss, Eric; Maheswaranathan, Niru; Ganguli, Surya (2015-06-01). "Deep Unsupervised Learning using Nonequilibrium Thermodynamics" (PDF) . Proceedings of the 32nd International Conference on Machine Learning . 37 . PMLR: 2256– 2265. arXiv : 1503.03585 .
↑ Googleリサーチブログ。「Google音声認識の背後にあるニューラルネットワーク」。2015年8月11日。フランソワーズ・ボーフェイ著。http ://googleresearch.blogspot.co.at/2015/08/the-neural-networks-behind-google-voice.html
1 2 Sak, Haşim; Senior, Andrew; Rao, Kanishka; Beaufays, Françoise; Schalkwyk, Johan (2015 年 9 月)。「Google 音声検索: より速く、より正確」。2016年 3 月 9 日にオリジナルからアーカイブ。2016年 4 月 9 日に取得。
↑ Singh, Premjeet; Saha, Goutam; Sahidullah, Md (2021). "音声感情認識のための定数Q変換を用いた非線形周波数ワーピング". 2021 International Conference on Computer Communication and Informatics (ICCCI) . pp. 1– 4. arXiv : 2102.04029 . doi : 10.1109/ICCCI50826.2021.9402569 . ISBN 978-1-7281-5875-4。
↑ Sak, Haşim; Senior, Andrew; Beaufays, Françoise (2014). "大規模語彙音声認識のための長短期記憶に基づくリカレントニューラルネットワークアーキテクチャ". arXiv : 1402.1128 [ cs.NE ].
↑ Li, Xiangang; Wu, Xihong (2014). "大規模語彙音声認識のための長短期記憶に基づく深層リカレントニューラルネットワークの構築". arXiv : 1410.4281 [ cs.CL ].
↑ Zen, Heiga; Sak, Hasim (2015). "低遅延音声合成のためのリカレント出力層を備えた単方向長短期記憶リカレントニューラルネットワーク". 2015 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) . pp. 4470–4474 . doi : 10.1109/ICASSP.2015.7178816 . ISBN 978-1-4673-6997-8。
↑ 「2018 ACM AMチューリング賞受賞者」 . awards.acm.org . 2024年8月7日取得。
↑ Ferrie, C., & Kaiser, S. (2019). Neural Networks for Babies . Sourcebooks. ISBN 978-1-4926-7120-6。{{cite book}}: CS1 maint: 複数の名前: 著者リスト (リンク)
↑ Silver, David; Huang, Aja; Maddison, Chris J.; Guez, Arthur; Sifre, Laurent; Driessche, George van den; Schrittwieser, Julian; Antonoglou, Ioannis; Panneershelvam, Veda (2016 年 1 月). "深層ニューラルネットワークとツリーサーチによる囲碁の攻略". Nature . 529 (7587): 484–489 . Bibcode : 2016Natur.529..484S . doi : 10.1038/nature16961 . ISSN 1476-4687 . PMID 26819042 .
↑ディープラーニングとニューラルネットワークのガイド、2020年11月2日にオリジナルからアーカイブ、2020年11月16日に取得
1 2 Kumar, Nishant; Raubal, Martin (2021). "渋滞検出、予測、緩和における深層学習の応用：概説" . Transportation Research Part C: Emerging Technologies . 133 103432. arXiv : 2102.09759 . Bibcode : 2021TRPC..13303432K . doi : 10.1016/j.trc.2021.103432 . hdl : 10230/42143 .
↑ Szegedy, Christian; Toshev, Alexander; Erhan, Dumitru (2013). "Deep neural networks for object detection" . Advances in Neural Information Processing Systems : 2553– 2561. 2017-06-29のオリジナルからアーカイブ。2017-06-13 に取得。
↑ Rolnick, David; Tegmark, Max (2018). 「自然関数を表現するためのより深いネットワークの力」 .国際学習表現会議. ICLR 2018. 2021年1月7日のオリジナルからアーカイブ済み。 2021年1月5日取得。
↑ Hof, Robert D. 「人工知能はついにその真価を発揮し始めたのか？」 . MIT Technology Review . 2019年3月31日時点のオリジナルよりアーカイブ済み。 2018年7月10日取得。
1 2 Gers, FA; Schmidhuber, E. (2001年11月)「LSTMリカレントネットワークは単純な文脈自由言語と文脈依存言語を学習する」IEEE Transactions on Neural Networks . 12 (6): 1333– 1340. Bibcode : 2001ITNN...12.1333G . doi : 10.1109/72.963769 . PMID 18249962 .
1 2 3 Sutskever, L.; Vinyals, O.; Le, Q. (2014). "Sequence to Sequence Learning with Neural Networks" (PDF) . Proc. NIPS . arXiv : 1409.3215 . Bibcode : 2014arXiv1409.3215S . 2021-05-09 のオリジナルからアーカイブ(PDF) . 2017-06-13に取得.
1 2 Jozefowicz, Rafal; Vinyals, Oriol; Schuster, Mike; Shazeer, Noam; Wu, Yonghui (2016). "言語モデリングの限界を探る". arXiv : 1602.02410 [ cs.CL ].
1 2 Gillick, Dan; Brunk, Cliff; Vinyals, Oriol; Subramanya, Amarnag (2015). "Multilingual Language Processing from Bytes". arXiv : 1512.00103 [ cs.CL ].
↑ミコロフ、トマーシュ。カラフィアト、マーティン。ブルゲット、ルカシュ。チェルノツキー、ヤン。サンジーブ、クダンプール（2010）。「リカレントニューラルネットワークベースの言語モデル」。インタースピーチ 2010。 pp. 1045–1048 . doi : 10.21437/Interspeech.2010-343。
↑ゼップ・ホッホライター;シュミットフーバー、ユルゲン（1997年11月1日）。「長短期記憶」。ニューラル計算。9 (8): 1735 ～ 1780 年。土井: 10.1162/neco.1997.9.8.1735。PMID 9377276。
1 2 Gers, Felix A.; Schraudolph, Nicol N.; Schmidhuber, Jürgen (2002). "Learning Precise Timing with LSTM Recurrent Networks" . Journal of Machine Learning Research . 3 (Aug): 115–143 .
↑ LeCun, Y.; et al. (1998). "文書認識に適用された勾配ベース学習" . Proceedings of the IEEE . 86 (11): 2278– 2324. Bibcode : 1998IEEEP..86.2278L . doi : 10.1109/5.726791 .
↑ Sainath, Tara N. ; Mohamed, Abdel-Rahman; Kingsbury, Brian; Ramabhadran, Bhuvana (2013). "Deep convolutional neural networks for LVCSR". 2013 IEEE International Conference on Acoustics, Speech and Signal Processing . pp. 8614–8618 . doi : 10.1109/icassp.2013.6639347 . ISBN 978-1-4799-0356-6。
↑ Bengio, Yoshua; Boulanger-Lewandowski, Nicolas; Pascanu, Razvan (2013). "Advances in optimizing recurrent networks". 2013 IEEE International Conference on Acoustics, Speech and Signal Processing . pp. 8624–8628 . doi : 10.1109/icassp.2013.6639349 . ISBN 978-1-4799-0356-6。
↑ Dahl, G.; et al. (2013). "Improving DNNs for LVCSR using rectified linear units and dropout" (PDF) . ICASSP . 2017-08-12 のオリジナルからアーカイブ(PDF) . 2017-06-13に取得.
↑ Kumar, Nishant; Martin, Henry; Raubal, Martin (2024). "複雑性分析による深層学習ベースの都市全体の交通予測パイプラインの強化" . Data Science for Transportation . 6 (3) 24. doi : 10.1007/s42421-024-00109-x . hdl : 20.500.11850/695425 .
↑ 「データ拡張 - deeplearning.ai | Coursera」。Coursera。2017年12月1日にオリジナルからアーカイブ済み。2017年11月30日に取得。
↑ Hinton, GE (2010). "制限付きボルツマンマシンのトレーニングに関する実践ガイド" .技術報告書 UTML TR 2010-003 . 2021年5月9日にオリジナルからアーカイブ済み. 2017年6月13日に取得.
↑ You, Yang; Buluç, Aydın; Demmel, James (2017). "Scaling deep learning on GPU and knights landing clusters". Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis . pp. 1–12 . arXiv : 1708.02983 . doi : 10.1145/3126908.3126912 . ISBN 978-1-4503-5114-0。
↑ Viebke, André; Memeti, Suejb; Pllana, Sabri; Abraham, Ajith (2019). "CHAOS: Intel Xeon Phi 上で畳み込みニューラルネットワークをトレーニングするための並列化スキーム". The Journal of Supercomputing . 75 : 197–227 . arXiv : 1702.07908 . Bibcode : 2017arXiv170207908V . doi : 10.1007/s11227-017-1994-x .
↑ Ting Qin, et al.「RLSに基づくCMACの学習アルゴリズム」Neural Processing Letters 19.1 (2004): 49-61.
↑ Ting Qin, et al. " Continuous CMAC-QRLS and its systolic array ". Archived 2018-11-18 at the Wayback Machine . Neural Processing Letters 22.1 (2005): 1-16.
↑ Research, AI (2015年10月23日)。「音声認識における音響モデリングのための深層ニューラルネットワーク」。airesearch.com 。2016年2月1日にオリジナルからアーカイブ済み。2015年10月23日に取得。
↑ 「GPUは当面AIアクセラレータ市場を支配し続ける」 . InformationWeek . 2019年12月。2020年6月10日にオリジナルからアーカイブ済み。2020年6月11日に取得。
↑ Ray, Tiernan (2019). "AIは計算の性質全体を変えつつある" . ZDNet . 2020年5月25日のオリジナルからアーカイブ済み。 2020年6月11日取得。
↑ 「AIとコンピューティング」。OpenAI。2018年5月16日。2020年6月17日にオリジナルからアーカイブ。2020年6月11日に取得。
↑ "HUAWEI、IFA 2017でモバイルAIの未来を発表| HUAWEI最新ニュース| HUAWEIグローバル" . consumer.huawei.com . 2021年11月10日にオリジナルからアーカイブ済み。2022年8月3日に取得。
↑ P, JouppiNorman; YoungCliff; PatilNishant; PattersonDavid; AgrawalGaurav; BajwaRaminder; BatesSarah; BhatiaSuresh; BodenNan; BorchersAl; BoyleRick (2017-06-24). "In-Datacenter Performance Analysis of a Tensor Processing Unit" . ACM SIGARCH Computer Architecture News . 45 (2): 1– 12. arXiv : 1704.04760 . doi : 10.1145/3140659.3080246 .
↑ Woodie, Alex (2021-11-01). "Cerebrasがディープラーニングワークロードのアクセラレーターに参入" . Datanami . 2022-08-03に取得.
↑ 「Cerebrasが2.6兆個のトランジスタを搭載した新しいAIスーパーコンピューティングプロセッサを発表」。VentureBeat 。2021年4月20日。2024年9月17日のオリジナルからアーカイブ。 2022年8月3日取得。
↑マレガ、ギリェルメ・ミリアート。趙、延飛。アフサール、アフメット。王振宇。トリパティ、ムケシュ。ラデノビッチ、アレクサンドラ。キス、アンラス（2020）。「原子レベルの薄い半導体に基づくロジックインメモリ」。自然。587 (2): 72– 77。Bibcode : 2020Natur.587...72M。土井: 10.1038/s41586-020-2861-0。PMC 7116757。PMID 33149289。
1 2 3 Feldmann, J.; Youngblood, N.; Karpov, M.; et al. (2021). "統合フォトニックテンソルを用いた並列畳み込み処理". Nature . 589 (2): 52– 58. arXiv : 2002.00281 . doi : 10.1038/s41586-020-03070-1 . PMID 33408373 .
↑ Garofolo, JS; Lamel, LF; Fisher, WM; Fiscus, JG; Pallett, DS; Dahlgren, NL; Zue, V. (1993). TIMIT Acoustic-Phonetic Continuous Speech Corpus . Linguistic Data Consortium. doi : 10.35111/17gk-bn40 . ISBN 1-58563-019-52023年12月27日に取得。
↑ Robinson, Tony (1991年9月30日). 「反復エラー伝播ネットワーク電話認識システムに対するいくつかの改善」. Cambridge University Engineering Department Technical Report . CUED/F-INFENG/TR82. doi : 10.13140/RG.2.2.15418.90567 .
↑ Abdel-Hamid, Ossama; Mohamed, Abdel-rahman; Jiang, Hui; Deng, Li; Penn, Gerald; Yu, Dong (2014 年 10 月). "音声認識のための畳み込みニューラルネットワーク". IEEE/ACM Transactions on Audio, Speech, and Language Processing . 22 (10): 1533– 1545. Bibcode : 2014ITASL..22.1533A . doi : 10.1109/taslp.2014.2339736 .
↑ Deng, L.; Platt, J. (2014). "音声認識のためのアンサンブル深層学習". Proc. Interspeech : 1915– 1919. doi : 10.21437/Interspeech.2014-433 .
↑ Tóth, László (2015年12月). 「階層型畳み込みディープマックスアウトネットワークによる音声認識」 EURASIP Journal on Audio, Speech, and Music Processing . 2015 (1) 25. doi : 10.1186/s13636-015-0068-3 .
↑アーロン・ファン・デン・オールド。ディーレマン、サンダー。禅、ヘイガ。シモニャン、カレン。ビニャール、オリオール。グレイブス、アレックス。カルクブレンナー、ナル。先輩、アンドリュー。コライ州カブククオール (2016)。「WaveNet: 生オーディオの生成モデル」。arXiv : 1609.03499 [ cs.SD ]。
↑ 「WaveNet: 生の音声のための生成モデル」。Google DeepMind。2016年9月8日。 2025年7月31日取得。
↑ラティフ、シディク。ザイディ、アウン。クアヤウィトル、ヘリベルト。シャムシャド、ファハド。ショーカット、モアザム。ウサマ、ムハンマド。カディール、ジュナイド（2023）。「音声処理におけるトランスフォーマー: 調査」。arXiv : 2303.11607 [ cs.CL ]。
↑マクミラン、ロバート（2014年12月17日）。「SkypeがAIを使って驚くべき新しい言語翻訳ツールを構築した方法｜WIRED」。Wired。2017年6月8日のオリジナルからアーカイブ。 2017年6月14日取得。
↑ハヌン、アウニ。ケース、カール。キャスパー、ジャレッド。カタンザーロ、ブライアン。ディアモス、グレッグ。エルセン、エーリッヒ。プレンジャー、ライアン。サシーシュ、サンジーブ。セングプタ、シュボー。コーツ、アダム。ン、アンドリュー Y (2014)。「ディープスピーチ: エンドツーエンドの音声認識のスケールアップ」。arXiv : 1412.5567 [ cs.CL ]。
↑ 「MNIST手書き数字データベース、Yann LeCun、Corinna Cortes、Chris Burges」。yann.lecun.com 。 2014年1月13日のオリジナルからアーカイブ済み。 2014年1月28日取得。
↑ Cireşan, Dan; Meier, Ueli; Masci, Jonathan; Schmidhuber, Jürgen (2012年8月). "交通標識分類のためのマルチカラム深層ニューラルネットワーク". Neural Networks . 32 : 333–338 . doi : 10.1016/j.neunet.2012.02.023 . PMID 22386783 .
↑チャオチャオ・ルー。シャオウ・タン（2014）。「人間レベルを超えた顔認識」。arXiv : 1404.3840 [ cs.CV ]。
↑ Nvidiaが「ディープラーニング」で訓練された車載コンピューターをデモ（2015年1月6日）、David Talbot、 MIT Technology Review
1 2 3 G. W. スミス、フレデリック・フォル・レイマリー (2017 年 4 月 10 日)。「機械をアーティストとして：入門」。Arts。6 (4): 5。doi : 10.3390 /arts6020005。
1 2 3 Blaise Agüera y Arcas (2017年9月29日) 「機械知能時代の芸術」 . Arts . 6 (4): 18. doi : 10.3390/arts6040018 .
↑ Goldberg, Yoav; Levy, Omar (2014). "word2vec の説明: Mikolov らのネガティブサンプリング単語埋め込み法の導出". arXiv : 1402.3722 [ cs.CL ].
1 2 Socher, Richard; Manning, Christopher. "Deep Learning for NLP" (PDF) . 2014年7月6日のオリジナルからアーカイブ(PDF) . 2014年10月26日取得.
↑ Socher, Richard; Bauer, John; Manning, Christopher; Ng, Andrew (2013). "構文解析と構成的ベクトル文法" (PDF) . ACL 2013 会議議事録. 2014-11-27 のオリジナルからアーカイブ(PDF) . 2014-09-03に取得.
↑ Socher, Richard; Perelygin, Alex; Wu, Jean; Chuang, Jason; Manning, Christopher D.; Ng, Andrew; Potts, Christopher (2013). "Recursive Deep Models for Semantic Compositionality over a Sentiment Treebank". Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing . pp. 1631–1642 . doi : 10.18653/v1/d13-1170 .
↑ Shen, Yelong; He, Xiaodong; Gao, Jianfeng; Deng, Li; Mesnil, Gregoire (2014年11月1日). "情報検索のための畳み込みプーリング構造を持つ潜在意味モデル" . Microsoft Research . 2017年10月27日のオリジナルからアーカイブ済み。 2017年6月14日取得。
↑ Huang, Po-Sen; He, Xiaodong; Gao, Jianfeng; Deng, Li; Acero, Alex; Heck, Larry (2013年10月1日). "クリックスルーデータを使用したWeb検索のための深層構造セマンティックモデルの学習" . Microsoft Research . 2017年10月27日のオリジナルからアーカイブ済み。 2017年6月14日取得。
↑ Mesnil, G.; Dauphin, Y.; Yao, K.; Bengio, Y.; Deng, L.; Hakkani-Tur, D. ; He, X.; Heck, L.; Tur, G.; Yu, D.; Zweig, G. (2015). "Using recurrent neural networks for slot filling in spoken language understanding". IEEE Transactions on Audio, Speech, and Language Processing . 23 (3): 530– 539. Bibcode : 2015ITASL..23..530M . doi : 10.1109/taslp.2014.2383614 .
1 2 Gao, Jianfeng; He, Xiaodong; Yih, Scott Wen-tau; Deng, Li (2014年6月1日). "翻訳モデリングのための連続フレーズ表現の学習" . Microsoft Research . 2017年10月27日のオリジナルからアーカイブ済み。 2017年6月14日取得。
↑ Brocardo, Marcelo Luiz; Traore, Issa; Woungang, Isaac; Obaidat, Mohammad S. (2017). "深層信念ネットワークシステムを用いた著者検証". International Journal of Communication Systems . 30 (12) e3259. doi : 10.1002/dac.3259 .
↑ Kariampuzha, William; Alyea, Gioconda; Qu, Sue; Sanjak, Jaleal; Mathé, Ewy; Sid, Eric; Chatelaine, Haley; Yadaw, Arjun; Xu, Yanji; Zhu, Qian (2023). "Precision information extraction for rare disease epidemiology at scale" . Journal of Translational Medicine . 21 (1): 157. doi : 10.1186/s12967-023-04011-y . PMC 9972634 . PMID 36855134 .
↑ 「自然言語処理のための深層学習：理論と実践（CIKM2014チュートリアル） - Microsoft Research」。Microsoft Research。2017年3月13日のオリジナルからアーカイブ済み。 2017年6月14日取得。
↑ Turovsky, Barak (2016年11月15日) 「翻訳で発見: Google翻訳でより正確で流暢な文章」 . The Keyword Google Blog . 2017年4月7日のオリジナルからアーカイブ済み。2017年3月23日取得。
1 2 3 4 Schuster, Mike; Johnson, Melvin; Thorat, Nikhil (2016年11月22日)。「Googleの多言語ニューラル機械翻訳システムによるゼロショット翻訳」。Googleリサーチブログ。2017年7月10日のオリジナルからアーカイブ。 2017年3月23日取得。
↑ Wu, Yonghui; Schuster, Mike; Chen, Zhifeng; Le, Quoc V; Norouzi, Mohammad; Macherey, Wolfgang; Krikun, Maxim; Cao, Yuan; Gao, Qin; Macherey, Klaus; Klingner, Jeff; Shah, Apurva; Johnson, Melvin; Liu, Xiaobing; Kaiser, Łukasz; Gouws, Stephan; Kato, Yoshikiyo; Kudo, Taku; Kazawa, Hideto; Stevens, Keith; Kurian, George; Patil, Nishant; Wang, Wei; Young, Cliff; Smith, Jason; Riesa, Jason; Rudnick, Alex; Vinyals, Oriol; Corrado, Greg; et al. (2016). "Googleのニューラル機械翻訳システム：人間と機械翻訳のギャップを埋める". arXiv : 1609.08144 [ cs.CL ]。
↑ Metz, Cade (2016年9月27日) 「AIの導入によりGoogle翻訳はこれまで以上に強力に」Wired。2020年11月8日のオリジナルからアーカイブ。2017年10月12日取得。
1 2 Boitet, Christian; Blanchon, Hervé; Seligman, Mark; Bellynck, Valérie (2010). "MT on and for the Web" (PDF) . 2017年3月29日にオリジナル(PDF)からアーカイブ済み。 2016年12月1日に取得。
↑ Arrowsmith, J; Miller, P (2013). "治験ウォッチ：第II相および第III相の脱落率 2011-2012" . Nature Reviews Drug Discovery . 12 (8): 569. doi : 10.1038/nrd4090 . PMID 23903212 .
↑ Verbist, B; Klambauer, G; Vervoort, L; Talloen, W; The Qstar, Consortium; Shkedy, Z; Thas, O; Bender, A; Göhlmann, HW; Hochreiter, S (2015). "Using transcriptomics to guide lead optimization in drug discovery projects: Lessons learned from the QSTAR project" . Drug Discovery Today . 20 (5): 505– 513. doi : 10.1016/j.drudis.2014.12.014 . hdl : 1942/18723 . PMID 25582842 .
↑ 「Merck Molecular Activity Challenge」 . kaggle.com . 2020年7月16日のオリジナルからアーカイブ済み。2020年7月16日に取得。
↑ダール、ジョージ E.ジェイトリー、ナブディープ。サラクトディノフ、ルスラン (2014)。「QSAR 予測のためのマルチタスクニューラルネットワーク」。arXiv : 1406.1231 [ stat.ML ]。
↑「21世紀の毒性学：データ課題」
↑ 「NCATSがTox21データチャレンジの受賞者を発表」。2015年9月8日にオリジナルからアーカイブ済み。2015年3月5日に取得。
↑ 「NCATSがTox21データチャレンジの受賞者を発表」。 2015年2月28日のオリジナルからアーカイブ。2015年3月5日取得。
↑ Wallach, Izhar; Dzamba, Michael; Heifets, Abraham (2015年10月9日). "AtomNet: 構造ベースの創薬における生物活性予測のための深層畳み込みニューラルネットワーク". arXiv : 1510.02855 [ cs.LG ].
1 2 「トロントのスタートアップ企業が効果的な医薬品をより迅速に発見する方法を開発」。グローブ・アンド・メール紙。2015年10月20日のオリジナルからアーカイブ。2015年11月9日取得。
↑ 「スタートアップ企業がスーパーコンピューターを活用して治療法を模索」。KQED Future of You。2015年5月27日。2015年12月24日のオリジナルからアーカイブ。 2015年11月9日取得。
↑ Gilmer, Justin; Schoenholz, Samuel S.; Riley, Patrick F.; Vinyals, Oriol; Dahl, George E. (2017-06-12). "量子化学のためのニューラルメッセージパッシング". arXiv : 1704.01212 [ cs.LG ].
↑ Zhavoronkov, Alex (2019). "ディープラーニングにより強力なDDR1キナーゼ阻害剤を迅速に同定することが可能になる". Nature Biotechnology . 37 (9): 1038– 1040. doi : 10.1038/s41587-019-0224-x . PMID 31477924 .
↑グレゴリー、バーバー。「AIによって設計された分子が『医薬品のような』特性を示す」。Wired 。2020年4月30日のオリジナルからアーカイブ。2019年9月5日に取得。
↑ファン・デン・オールド、アーロン。ディーレマン、サンダー。シュラウウェン、ベンジャミン (2013)。「ディープコンテンツベースの音楽レコメンド」。神経情報処理システムの進歩。２６．
↑ Feng, XY; Zhang, H.; Ren, YJ; Shang, PH; Zhu, Y.; Liang, YC; Guan, RC; Xu, D. (2019). "深層学習に基づく生物医学出版媒体選択のための推薦システム「Pubmender」：開発と検証研究" . Journal of Medical Internet Research . 21 (5) e12957. doi : 10.2196/12957 . PMC 6555124 . PMID 31127715 .
↑ Elkahky, Ali Mamdouh; Song, Yang; He, Xiaodong (2015年5月1日). "推薦システムにおけるクロスドメインユーザーモデリングのためのマルチビュー深層学習アプローチ" . Microsoft Research . 2018年1月25日のオリジナルからアーカイブ済み。 2017年6月14日取得。
↑ Chicco, Davide; Sadowski, Peter; Baldi, Pierre (2014). "遺伝子オントロジー注釈予測のための深層オートエンコーダーニューラルネットワーク".第5回ACMバイオインフォマティクス、計算生物学、および健康情報学会議議事録. pp. 533–540 . doi : 10.1145/2649387.2649442 . hdl : 11311/964622 . ISBN 978-1-4503-2894-4。
↑ Sathyanarayana, Aarti (2016年1月1日). 「深層学習を用いたウェアラブルデータからの睡眠の質の予測」 . JMIR mHealth and uHealth . 4 (4): e125. doi : 10.2196/mhealth.6562 . PMC 5116102. PMID 27815231 .
↑ Choi, Edward; Schuetz, Andy; Stewart, Walter F.; Sun, Jimeng (2016年8月13日). 「心不全発症の早期発見のためのリカレントニューラルネットワークモデルの使用」 . Journal of the American Medical Informatics Association . 24 (2): 361– 370. doi : 10.1093/jamia/ocw112 . ISSN 1067-5027 . PMC 5391725 . PMID 27521897 .
↑ 「DeepMindのタンパク質折り畳みAIが生物学における50年来の大きな課題を解決した」。MITテクノロジーレビュー。2024年5月10日取得。
↑ Shead, Sam (2020-11-30). "DeepMindがタンパク質折り畳みAIで50年来の「大きな課題」を解決" CNBC . 2024-05-10に閲覧。
1 2 Shalev , Yuval; Painsky, Amichai; Ben-Gal, Irad (2024 年 4 月)。「ニューラル結合エントロピー推定」。IEEE Transactions on Neural Networks and Learning Systems。35 ( 4 ) : 5488–5500。arXiv : 2012.11197。Bibcode : 2024ITNNL..35.5488S。doi : 10.1109 / TNNLS.2022.3204919。PMID 36155469。
↑リッチェンス、ギアト。コーイ、ティスス。ベジノルディ、ババク・エテシャミ。セティオ、アルノー・アリンドラ・アディヨソ。チオンピ、フランチェスコ。ガフーリアン、モーセン。ファン・デル・ラーク、ジェロン・AWM。ファン・ギネケン、ブラム。サンチェス、クララ I. (2017 年 12 月)。「医用画像解析におけるディープラーニングに関する調査」。医用画像解析。42 : 60–88.arXiv : 1702.05747 。 Bibcode : 2017arXiv170205747L。土井：10.1016/j.media.2017.07.005。PMID 28778026。
↑ Forslid, Gustav; Wieslander, Hakan; Bengtsson, Ewert; Wahlby, Carolina; Hirsch, Jan-Michael; Stark, Christina Runow; Sadanandan, Sajith Kecheril (2017). "悪性腫瘍による細胞変化を検出するための深層畳み込みニューラルネットワーク" . 2017 IEEE International Conference on Computer Vision Workshops (ICCVW) . pp. 82– 89. doi : 10.1109/ICCVW.2017.18 . ISBN 978-1-5386-1034-32021年5月9日にオリジナルからアーカイブされました。2019年11月12日に取得。
↑ Dong, Xin; Zhou, Yizhao; Wang, Lantian; Peng, Jingfeng; Lou, Yanbo; Fan, Yiqun (2020). "Liver Cancer Detection Using Hybridized Fully Convolutional Neural Network Based on Deep Learning Framework" . IEEE Access . 8 : 129889–129898 . Bibcode : 2020IEEEA...8l9889D . doi : 10.1109/ACCESS.2020.3006362 . ISSN 2169-3536 .
↑ Lyakhov, Pavel Alekseevich; Lyakhova, Ulyana Alekseevna; Nagornov, Nikolay Nikolaevich (2022-04-03). "System for the Recognizing of Pigmented Skin Lesions with Fusion and Analysis of Heterogeneous Data Based on a Multimodal Neural Network" . Cancers . 14 ( 7): 1819. doi : 10.3390/cancers14071819 . ISSN 2072-6694 . PMC 8997449. PMID 35406591 .
↑ De, Shaunak; Maity, Abhishek; Goel, Vritti; Shitole, Sanjay; Bhattacharya, Avik (2017). "ライフスタイル雑誌のInstagram投稿の人気度を深層学習を用いて予測する". 2017年第2回通信システム、コンピューティング、ITアプリケーションに関する国際会議（CSCITA） . pp. 174–177 . doi : 10.1109/CSCITA.2017.8066548 . ISBN 978-1-5090-4381-1。
↑ 「ディープラーニングによる古い画像のカラー化と復元」。FloydHubブログ。2018年11月13日。2019年10月11日にオリジナルからアーカイブ。2019年10月11日に取得。
↑ Schmidt, Uwe; Roth, Stefan. Shrinkage Fields for Effective Image Restoration (PDF) . Computer Vision and Pattern Recognition (CVPR), 2014 IEEE Conference on. Archived (PDF) from the original on 2018-01-02 . Retrieved 2018-01-01 .
↑ Kleanthous, Christos; Chatzis, Sotirios (2020). "付加価値税監査ケース選択のためのゲート付き混合変分オートエンコーダー". Knowledge-Based Systems . 188 105048. doi : 10.1016/j.knosys.2019.105048 .
↑ Fan, Jiani; Khin Shar, Lwin; Zhang, Ruichen; Liu, Ziyao; Yang, Wenzhuo; Niyato, Dusit; Lam, Kwok-Yan (2026年3月15日). "モバイル取引におけるマネーロンダリング対策のための深層学習アプローチ：レビュー、フレームワーク、および方向性". IEEE Internet of Things Journal . 13 (6): 10407– 10431. Bibcode : 2026IITJ...1310407F . doi : 10.1109/JIOT.2026.3653434 . ISSN 2327-4662 .
↑ Nuñez, Michael (2023-11-29). 「Google DeepMindの材料AIはすでに220万個の新しい結晶を発見」。VentureBeat。2023-12-19に閲覧。
↑ Merchant, Amil; Batzner, Simon; Schoenholz, Samuel S.; Aykol, Muratahan; Cheon, Gowoon; Cubuk, Ekin Dogus (2023 年 12 月). "材料発見のための深層学習のスケーリング" . Nature . 624 (7990): 80– 85. Bibcode : 2023Natur.624...80M . doi : 10.1038/s41586-023-06735-9 . ISSN 1476-4687 . PMC 10700131 . PMID 38030720 .
↑ Peplow, Mark (2023年11月29日). 「Google AIとロボットが協力して新素材を開発」. Nature . doi : 10.1038/d41586-023-03745-5 . PMID 38030771 .
1 2 3 「陸軍の研究者がロボットを訓練するための新しいアルゴリズムを開発」。EurekAlert !。2018年8月28日のオリジナルからアーカイブ済み。2018年8月29日取得。
↑ Raissi, M.; Perdikaris, P.; Karniadakis, GE (2019年2月). "物理学に基づいたニューラルネットワーク: 非線形偏微分方程式を含む順問題と逆問題を解くための深層学習フレームワーク" . Journal of Computational Physics . 378 : 686– 707. Bibcode : 2019JCoPh.378..686R . doi : 10.1016/j.jcp.2018.10.045 . OSTI 1595805 .
↑ Mao, Zhiping; Jagtap, Ameya D.; Karniadakis, George Em (2020年3月). "高速流れのための物理情報に基づくニューラルネットワーク" . Computer Methods in Applied Mechanics and Engineering . 360 112789. Bibcode : 2020CMAME.36012789M . doi : 10.1016/j.cma.2019.112789 .
↑ Raissi, Maziar; Yazdani, Alireza; Karniadakis, George Em (2020年2月28日). "隠れた流体力学: 流れの可視化から速度場と圧力場を学習する" . Science . 367 (6481): 1026– 1030. Bibcode : 2020Sci...367.1026R . doi : 10.1126/science.aaw4741 . PMC 7219083 . PMID 32001523 .
↑ Huang, Yunfei; Greenberg, David S. (2025). "Geometric and Physical Constraints Synergistically Enhance Neural PDE Surrogates". arXiv : 2506.05513 [ cs.LG ].
↑ Han, J.; Jentzen, A.; E, W. (2018). "深層学習を用いた高次元偏微分方程式の解法" . Proceedings of the National Academy of Sciences . 115 (34): 8505– 8510. arXiv : 1707.02568 . Bibcode : 2018PNAS..115.8505H . doi : 10.1073/pnas.1718942115 . PMC 6112690 . PMID 30082389 .
↑ Oktem, Figen S.; Kar, Oğuzhan Fatih; Bezek, Can Deniz; Kamalabadi, Farzad (2021). "High-Resolution Multi-Spectral Imaging With Diffractive Lenses and Learned Reconstruction". IEEE Transactions on Computational Imaging . 7 : 489–504 . arXiv : 2008.11625 . Bibcode : 2021ITCI....7..489O . doi : 10.1109/TCI.2021.3075349 .
↑ Bernhardt, Melanie; Vishnevskiy, Valery; Rau, Richard; Goksel, Orcun (2020 年 12 月). "多領域シミュレーションによる変分ネットワークのトレーニング: 音速画像再構成". IEEE Transactions on Ultrasonics, Ferroelectrics, and Frequency Control . 67 (12): 2584–2594 . arXiv : 2006.14395 . Bibcode : 2020ITUFF..67.2584B . doi : 10.1109/TUFFC.2020.3010186 . PMID 32746211 .
↑ラム、レミ。サンチェス・ゴンザレス、アルバロ。ウィルソン、マシュー。ウィルンズバーガー、ピーター。フォルトゥナート、メイレ。アレ、フェラン。ラヴリ、スーマン。エワルズ、ティモ。ザック・イートン・ローゼン。胡、威華。メローズ、アレクサンダー。ホイヤー、ステファン。ホランド、ジョージ。ビニャール、オリオール。ストット、ジャックリン (2023-12-22)。「上手に学ぶ世界の中期天気予報」。科学。382 (6677): 1416 – 1421。arXiv : 2212.12794。Bibcode : 2023Sci...382.1416L。土井：10.1126/science.adi2336。ISSN 0036-8075。PMID 37962497。
↑ Sivakumar, Ramakrishnan (2023-11-27). "GraphCast: 天気予報における画期的な進歩" . Medium . 2024-05-19に閲覧.
↑ Galkin, F.; Mamoshina, P.; Kochetov, K.; Sidorenko, D.; Zhavoronkov, A. (2020). "DeepMAge: 深層学習で開発されたメチル化老化時計" . Aging and Disease . doi : 10.14336/AD .
↑ Utgoff, PE; Stracuzzi, DJ (2002). "多層学習". Neural Computation . 14 (10): 2497–2529 . doi : 10.1162/08997660260293319 . PMID 12396572 .
↑エルマン、ジェフリー・L. (1998).生得性の再考：発達に関するコネクショニストの視点. MIT Press. ISBN 978-0-262-55030-7。
↑ Shrager, J.; Johnson, MH (1996). "Dynamic plasticity influences the emergence of function in a simple cortical array". Neural Networks . 9 (7): 1119– 1129. doi : 10.1016/0893-6080(96)00033-0 . PMID 12662587 .
↑ Quartz, Steven R.; Sejnowski, Terrence J. (1997 年 12 月). 「認知発達の神経基盤: 構成主義マニフェスト」. Behavioral and Brain Sciences . 20 (4): 537–556 . doi : 10.1017/s0140525x97001581 . PMID 10097006 .
↑ S. Blakeslee、「脳の初期成長において、時間割が重要となる可能性がある」、ニューヨーク・タイムズ、科学セクション、pp. B5–B6、1995年。
↑ Mazzoni, P.; Andersen, RA; Jordan, MI (1991年5月15日). 「ニューラルネットワークのための、より生物学的に妥当な学習ルール」 . Proceedings of the National Academy of Sciences . 88 (10): 4433– 4437. Bibcode : 1991PNAS...88.4433M . doi : 10.1073/pnas.88.10.4433 . ISSN 0027-8424 . PMC 51674. PMID 1903542 .
↑ O'Reilly, Randall C. (1996年7月1日). "局所活性化差を用いた生物学的に妥当なエラー駆動型学習：一般化再循環アルゴリズム". Neural Computation . 8 (5): 895–938 . doi : 10.1162/neco.1996.8.5.895 . ISSN 0899-7667 .
↑ Testolin, Alberto; Zorzi, Marco (2016). "確率モデルと生成ニューラルネットワーク：正常および障害された神経認知機能のモデリングのための統一フレームワークに向けて" . Frontiers in Computational Neuroscience . 10 : 73. doi : 10.3389/fncom.2016.00073 . ISSN 1662-5188 . PMC 4943066 . PMID 27468262 .
↑ Testolin, Alberto; Stoianov, Ivilin; Zorzi, Marco (2017年9月)「文字認識は教師なし深層学習と自然画像特徴の再利用から生じる」Nature Human Behaviour . 1 (9): 657– 664. doi : 10.1038/s41562-017-0186-2 . ISSN 2397-3374 . PMID 31024135 .
↑ Buesing, Lars; Bill, Johannes; Nessler, Bernhard; Maass, Wolfgang (2011年11月3日). "Neural Dynamics as Sampling: A Model for Stochastic Computation in Recurrent Networks of Spiking Neurons" . PLOS Computational Biology . 7 (11) e1002211. Bibcode : 2011PLSCB...7E2211B . doi : 10.1371/journal.pcbi.1002211 . ISSN 1553-7358 . PMC 3207943. PMID 22096452 .
↑ Cash, S.; Yuste, R. (1999年2月). "CA1錐体ニューロンによる興奮性入力の線形加算" . Neuron . 22 (2): 383– 394. doi : 10.1016/s0896-6273(00)81098-3 . ISSN 0896-6273 . PMID 10069343 .
↑ Olshausen, B; Field, D (2004年8月1日). 「感覚入力のスパースコーディング」. Current Opinion in Neurobiology . 14 (4): 481– 487. doi : 10.1016/j.conb.2004.07.007 . PMID 15321069 .
↑ Yamins, Daniel LK; DiCarlo, James J (2016年3月)「目標指向型深層学習モデルを用いた感覚皮質の理解」Nature Neuroscience . 19 (3): 356–365 . doi : 10.1038/nn.4244 . ISSN 1546-1726 . PMID 26906502 .
↑ Zorzi, Marco; Testolin, Alberto (2018年2月19日) 「数感覚の起源に関する創発主義的視点」 Phil . Trans. R. Soc. B. 373 ( 1740) 20170043. doi : 10.1098 / rstb.2017.0043 . ISSN 0962-8436 . PMC 5784047. PMID 29292348 .
↑ Güçlü, Umut; van Gerven, Marcel AJ (2015年7月8日). "深層ニューラルネットワークは腹側経路全体にわたる神経表現の複雑性の勾配を明らかにする" . Journal of Neuroscience . 35 (27): 10005– 10014. arXiv : 1411.6422 . doi : 10.1523/jneurosci.5023-14.2015 . PMC 6605414 . PMID 26157000 .
↑ Metz, C. (2013年12月12日). 「Facebookの『ディープラーニング』の第一人者がAIの未来を明かす」 . Wired . 2014年3月28日のオリジナルよりアーカイブ。 2017年8月26日閲覧。
↑ Gibney, Elizabeth (2016). "Google AI アルゴリズムが古代の囲碁をマスター" . Nature . 529 (7587): 445– 446. Bibcode : 2016Natur.529..445G . doi : 10.1038/529445a . PMID 26819021 .
↑シルバー、デイビッド; Huang, アジャ;マディソン、クリス・J。グエズ、アーサー。シフレ、ローラン。ドリーシェ、ジョージ・ヴァン・デン。シュリットヴィーザー、ジュリアン。アントノグルー、イオアニス。パニールシェルヴァム、ヴェーダ。マーク・ランクトット。ディーレマン、サンダー。グルー、ドミニク。ナム、ジョン。カルクブレンナー、ナル。Sutskever, イリヤ;リリックラップ、ティモシー。リーチ、マデリン。カヴククオール、コライ州。グライペル、トール。ハサビス、デミス（2016年1月28日）。「ディープニューラルネットワークとツリー検索で囲碁をマスターする」。自然。529 (7587): 484–489。Bibcode : 2016Natur.529..484S。doi : 10.1038/nature16961 . ISSN 0028-0836 . PMID 26819042 .
↑ 「Google DeepMindのアルゴリズムが深層学習などを用いて囲碁をマスター｜MITテクノロジーレビュー」。MITテクノロジーレビュー。2016年1月27日。 2016年2月1日のオリジナルからアーカイブ。 2016年1月30日取得。
↑メッツ、ケイド（2017年11月6日）。「AI研究者がイーロン・マスク研究所を離れ、ロボット工学のスタートアップを立ち上げる」。ニューヨーク・タイムズ。2019年7月7日のオリジナルからアーカイブ。 2019年7月5日閲覧。
↑ Bradley Knox, W.; Stone, Peter (2008). "TAMER: 評価的強化によるエージェントの手動トレーニング". 2008 第 7 回 IEEE 国際開発学習会議. pp. 292–297 . doi : 10.1109/devlrn.2008.4640845 . ISBN 978-1-4244-2661-4。
↑ 「アルゴリズムと対話する：AIがより速く学習するようになる」 governmentciomedia.com 2018年5月16日。2018年8月28日のオリジナルからアーカイブ。 2018年8月29日取得。
↑マーカス、ゲイリー (2018 年 1 月 14 日)。「深層学習に対する懐疑論の擁護」。ゲイリー・マーカス。2018年 10 月 12 日のオリジナルからアーカイブ済み。2018年10 月 11 日取得。
↑ Knight, Will (2017年3月14日). 「DARPAはAIのブラックボックスを解明しようとするプロジェクトに資金提供している」 . MIT Technology Review . 2019年11月4日のオリジナルからアーカイブ済み。 2017年11月2日閲覧。
↑ Alexander Mordvintsev; Christopher Olah; Mike Tyka (2015年6月17日). "Inceptionism: Going Deeper into Neural Networks" . Google Research Blog. 2015年7月3日のオリジナルからアーカイブ済み。 2015年6月20日取得。
↑ Alex Hern (2015年6月18日) 「そう、アンドロイドは電気羊の夢を見る」。ガーディアン。2015年6月19日のオリジナルからアーカイブ。 2015年6月20日閲覧。
↑高橋、カルロス一成。フィゲイレード、フリオ・セザール・バストス・デ;ファヴァレット、ホセ・エドゥアルド・リッチャルディ（2023-03-24）。「検索傾向によるディープラーニングの普及: 国レベルの分析」。未来研究研究ジャーナル: 傾向と戦略。15 (1): e0695。土井：10.24023/FutureJournal/2175-5825/2023.v15i1.695。ISSN 2175-5825。
1 2 3 Goertzel, Ben (2015). 「今日の深層学習アルゴリズムの病理の根底には深い理由があるのか？」.人工汎用知能. コンピュータサイエンス講義ノート. 第9205巻. 70–79頁. doi : 10.1007 /978-3-319-21365-1_8 . ISBN 978-3-319-21364-4。
↑ Nguyen, Anh; Yosinski, Jason; Clune, Jeff (2014). "ディープニューラルネットワークは簡単に騙される：認識できない画像に対する高信頼度予測". arXiv : 1412.1897 [ cs.CV ].
↑セゲディ、クリスチャン。ザレンバ、ヴォイチェフ。スツケヴァー、イリヤ。ブルーナ、ジョアン。エルハン、ドゥミトル。グッドフェロー、イアン。ファーガス、ロブ (2013)。「ニューラルネットワークの興味深い特性」。arXiv : 1312.6199 [ cs.CV ]。
↑ Zhu, Song-Chun; Mumford, David (20 August 2007). "A Stochastic Grammar of Images". Foundations and Trends® in Computer Graphics and Vision . 2 (4): 259–362 . doi : 10.1561/0600000018 .
↑ミラー、GA、およびN.チョムスキー。「パターンの概念」。パターン検出に関する会議論文、ミシガン大学。1957年。
↑ Eisner, Jason. "再帰構造の深層学習: 文法誘導" . 2017年12月30日のオリジナルからアーカイブ済み。 2015年5月10日取得。
↑ 「ハッカーはすでに人工知能を兵器化し始めている」。Gizmodo 。2017年9月11日。2019年10月11日にオリジナルからアーカイブ済み。2019年10月11日に取得。
↑ 「ハッカーがAIに愚かなミスをさせる方法」。The Daily Dot。2018年6月18日。2019年10月11日にオリジナルからアーカイブ。2019年10月11日に取得。
1 2 3 4 5 「AIは騙されやすい ― なぜそれを変える必要があるのか」。シンギュラリティ・ハブ。2017年10月10日。2017年10月11日にオリジナルからアーカイブ。 2017年10月11日に取得。
↑ギブニー、エリザベス (2017)。「偽動画を見抜く科学者」。ネイチャー。doi : 10.1038/nature.2017.22784。 2017年10月10日のオリジナルからアーカイブ。 2017年10月11日取得。
↑ Tubaro, Paola (2020). 「人工知能は誰の知能か？」 . Global Dialogue : 38–39 .
1 2 Mühlhoff, Rainer (2019年11月6日). 「人間支援型人工知能：あるいは、人間の脳で大規模な計算を実行するにはどうすればよいか？機械学習のメディア社会学に向けて」 . New Media & Society . 22 (10): 1868– 1884. doi : 10.1177/1461444819885334 .

さらに読む

ビショップ、クリストファー M.、ビショップ、ヒュー (2024).ディープラーニング：基礎と概念. スプリンガー. ISBN 978-3-031-45467-7。
ショレ、フランソワ；ワトソン、マシュー（2025）。Pythonによるディープラーニング。マニング。ISBN 9781633436589。
プリンス、サイモン JD (2023).深層学習を理解する. MIT Press. ISBN 978-0-262-04864-4。
グッドフェロー、イアン；ベンジオ、ヨシュア；クールヴィル、アーロン（2016）。ディープラーニング。MIT Press。ISBN 978-0-26203561-3. 2016年4月16日にオリジナルからアーカイブされました。2021年5月9日に取得、入門教科書。{{cite book}}: CS1 maint: postscript (リンク)

[1] シュルツ、ハンネス。スヴェン・ベンケ（2012年11月）。「深層学習: 特徴階層のレイヤーワイズ学習」。KI-Künstliche Intelligenz。26 (4): 357–363 .土井: 10.1007/s13218-012-0198-z。

[NatureBengio-2] 1 2 LeCun, Yann; Bengio, Yoshua; Hinton, Geoffrey (2015). "Deep Learning" . Nature . 521 (7553): 436–444 . Bibcode : 2015Natur.521..436L . doi : 10.1038/nature14539 . PMID 26017442 .

[:9-3] 1 2 Ciresan, D.; Meier, U.; Schmidhuber, J. (2012). "画像分類のためのマルチカラム深層ニューラルネットワーク". 2012 IEEE Conference on Computer Vision and Pattern Recognition . pp. 3642–3649 . arXiv : 1202.2745 . doi : 10.1109/cvpr.2012.6248110 . ISBN 978-1-4673-1228-8。

[krizhevsky2012-4] 1 2 Krizhevsky, Alex; Sutskever, Ilya; Hinton, Geoffrey E (2012). "ImageNet Classification with Deep Convolutional Neural Networks" . Advances in Neural Information Processing Systems . 25 .

[5] 「GoogleのAlphaGo AIが世界最高の囲碁棋士との3局シリーズで勝利」。TechCrunch 。2017年5月25日。2018年6月17日のオリジナルからアーカイブ。2018年6月17日に取得。

[6] 「ニューラルネットワークを脳と比較する際には注意が必要であるという研究結果」。MITニュース｜マサチューセッツ工科大学。2022年11月2日。 2023年12月6日閲覧。

[BENGIODEEP-7] 1 2 3 4 Bengio, Y. (2009). "Learning Deep Architectures for AI". Foundations and Trends® in Machine Learning . 2 (1): 1– 127. doi : 10.1561/2200000006 .

[BENGIO2012-8] 1 2 3 4 5Bengio, Y.; Courville, A.; Vincent, P. (2013). "Representation Learning: A Review and New Perspectives". IEEE Transactions on Pattern Analysis and Machine Intelligence. 35 (8): 1798–1828. arXiv:1206.5538. Bibcode:2013ITPAM..35.1798B. doi:10.1109/tpami.2013.50. PMID 23787338.

[SCHIDHUB-9] 1 2 3 4 5 6 7 8Schmidhuber, J. (2015). "Deep Learning in Neural Networks: An Overview". Neural Networks. 61: 85–117. arXiv:1404.7828. Bibcode:2015NN.....61...85S. doi:10.1016/j.neunet.2014.09.003. PMID 25462637.

[10] Shigeki, Sugiyama (12 April 2019). Human Behavior and Another Kind in Consciousness: Emerging Research and Opportunities: Emerging Research and Opportunities. IGI Global. ISBN 978-1-5225-8218-2.

[BENGIO2007-11] Bengio, Yoshua; Lamblin, Pascal; Popovici, Dan; Larochelle, Hugo (2007). Greedy layer-wise training of deep networks(PDF). Advances in neural information processing systems. pp. 153–160. Archived(PDF) from the original on 2019-10-20. Retrieved 2019-10-06.

[SCHOLARDBNS-12] 1 2Hinton, G.E. (2009). "Deep belief networks". Scholarpedia. 4 (5): 5947. Bibcode:2009SchpJ...4.5947H. doi:10.4249/scholarpedia.5947.

[dechter1986-13] Rina Dechter (1986). Learning while searching in constraint-satisfaction problems. University of California, Computer Science Department, Cognitive Systems Laboratory.OnlineArchived 2016-04-19 at the Wayback Machine

[MV_1-14] Aizenberg, Igor N.; Aizenberg, Naum N.; Vandewalle, Joos (2000). Multi-Valued and Universal Binary Neurons. doi:10.1007/978-1-4757-3115-6. ISBN 978-1-4419-4978-3.

[15] Co-evolving recurrent neurons learn deep memory POMDPs. Proc. GECCO, Washington, D. C., pp. 1795–1802, ACM Press, New York, NY, USA, 2005.

[16] Fradkov, Alexander L. (2020-01-01). "Early History of Machine Learning". IFAC-PapersOnLine. 21st IFAC World Congress. 53 (2): 1385–1390. doi:10.1016/j.ifacol.2020.12.1888.

[cyb-17] 1 2 3Cybenko, G. (December 1989). "Approximation by superpositions of a sigmoidal function". Mathematics of Control, Signals, and Systems. 2 (4): 303–314. Bibcode:1989MCSS....2..303C. doi:10.1007/bf02551274.

[horn-18] 1 2 3Hornik, Kurt (1991). "Approximation Capabilities of Multilayer Feedforward Networks". Neural Networks. 4 (2): 251–257. Bibcode:1991NN......4..251H. doi:10.1016/0893-6080(91)90009-t.

[Haykin,_Simon_1998-19] 1 2Haykin, Simon S. (1999). Neural Networks: A Comprehensive Foundation. Prentice Hall. ISBN 978-0-13-273350-2.

[Hassoun,_M._1995_p._48-20] 1 2Hassoun, Mohamad H. (1995). Fundamentals of Artificial Neural Networks. MIT Press. p. 48. ISBN 978-0-262-08239-6.

[ZhouLu-21] 1 2Lu, Z., Pu, H., Wang, F., Hu, Z., & Wang, L. (2017). The Expressive Power of Neural Networks: A View from the WidthArchived 2019-02-13 at the Wayback Machine. Neural Information Processing Systems, 6231-6239.

[22] Orhan, A. E.; Ma, W. J. (2017). "Efficient probabilistic inference in generic neural networks trained with non-probabilistic feedback". Nature Communications. 8 (1): 138. Bibcode:2017NatCo...8..138O. doi:10.1038/s41467-017-00181-8. PMC 5527101. PMID 28743932.

[BOOK2014-23] 1 2 3 4 5Deng, L.; Yu, D. (2014). "Deep Learning: Methods and Applications"(PDF). Foundations and Trends in Signal Processing. 7 (3–4): 1–199. doi:10.1561/2000000039. Archived(PDF) from the original on 2016-03-14. Retrieved 2014-10-18.

[MURPHY-24] 1 2 3 4マーフィー、ケビン P. (2012年8月24日).機械学習：確率論的視点. MIT Press. ISBN 978-0-262-01802-9。

[Fukushima1969-25] 1 2福島、K. (1969). 「アナログ閾値要素の多層ネットワークによる視覚的特徴抽出」. IEEE Transactions on Systems Science and Cybernetics . 5 (4): 322– 333. Bibcode : 1969ITSSC...5..322F . doi : 10.1109/TSSC.1969.300225 .

[sonoda17-26] 園田翔、村田昇 (2017)「無制限活性化関数を持つニューラルネットワークは普遍近似器である」応用および計算調和解析43 ( 2): 233– 268. arXiv : 1505.03654 . doi : 10.1016/j.acha.2015.12.005 .

[prml-27] ビショップ、クリストファー M. (2006).パターン認識と機械学習. Springer. ISBN 978-0-387-31073-2。

[ising1925-28] 1 2 「エルンスト・イジングの強磁性理論への貢献」。

[brush67-29] Brush, Stephen G. (1967). "レンツ・イジング模型の歴史". Reviews of Modern Physics . 39 (4): 883–893 . Bibcode : 1967RvMP...39..883B . doi : 10.1103/RevModPhys.39.883 .

[Amari1972-30] 1 2甘利俊一 (1972). 「閾値要素の自己組織化ネットによるパターンとパターンシーケンスの学習」. IEEE Transactions . C (21): 1197–1206 .

[DLhistory-31] 1 2 3 4 5 6 7 Schmidhuber, Jürgen (2022). "Annotated History of Modern AI and Deep Learning". arXiv : 2212.11279 [ cs.NE ].

[Hopfield1982-32] Hopfield, JJ (1982). "ニューラルネットワークと、集合的な計算能力が出現する物理システム" . Proceedings of the National Academy of Sciences . 79 (8): 2554– 2558. Bibcode : 1982PNAS...79.2554H . doi : 10.1073/pnas.79.8.2554 . PMC 346238 . PMID 6953413 .

[Nakano1971-33] 中野薫（1971）「連想記憶モデルにおける学習過程」パターン認識と機械学習、pp. 172–186、doi : 10.1007/978-1-4615-7566-5_15、ISBN 978-1-4615-7568-9。

[Nakano1972-34] 中野薫 (1972). 「アソシアトロン - 連想記憶のモデル」. IEEE Transactions on Systems, Man, and Cybernetics . SMC-2 (3): 380–388 . Bibcode : 1972ITSMC...2..380N . doi : 10.1109/TSMC.1972.4309133 .

[turing1948-35] チューリング、アラン（1992）[1948]。「知能機械」。DCインス編『AMチューリング著作集：機械的知能』第1巻、エルゼビア・サイエンス・パブリッシャーズ、107ページ。ISBN 0-444-88058-5。

[36] Rosenblatt, F. (1958). "パーセプトロン：脳における情報貯蔵と組織化のための確率モデル". Psychological Review . 65 (6): 386–408 . doi : 10.1037/h0042519 . PMID 13602029 .

[rosenblatt1962-37] 1 2ローゼンブラット、フランク（1962）。神経力学の原理。スパルタン、ニューヨーク。

[joseph1960-38] Joseph, RD (1960). Contributions to Perceptron Theory, Cornell Aeronautical Laboratory Report No. VG-11 96--G-7, Buffalo .

[ivak1965-39] イヴァフネンコ、AG; ラパ、VG (1967).サイバネティクスと予測技術. アメリカン・エルゼビア出版. ISBN 978-0-444-00020-0。

[40] Ivakhnenko, AG (1970年3月). "工学サイバネティクスの問題におけるヒューリスティック自己組織化" . Automatica . 6 (2): 207– 219. Bibcode : 1970Autom...6..207I . doi : 10.1016/0005-1098(70)90092-0 .

[ivak1971-41] 1 2 Ivakhnenko, Alexey (1971). "複雑系の多項式理論" (PDF) . IEEE Transactions on Systems, Man, and Cybernetics . SMC-1 (4): 364– 378. Bibcode : 1971ITSMC...1..364I . doi : 10.1109/TSMC.1971.4308320 . 2017-08-29 のオリジナルからアーカイブ(PDF) 。 2019-11-05に取得.

[robbins1951-42] Robbins, H. ; Monro, S. (1951). "A Stochastic Approximation Method" . The Annals of Mathematical Statistics . 22 (3): 400. doi : 10.1214/aoms/1177729586 .

[Amari1967-43] 甘利俊一 (1967年6月)「適応型パターン分類器の理論」IEEE Transactions on Electronic Computers . EC-16 (3): 299–307 . Bibcode : 1967ITECm..16..299A . doi : 10.1109/PGEC.1967.264666 .

[44] Ramachandran, Prajit; Barret, Zoph; Quoc, V. Le (2017年10月16日). "活性化関数の探索". arXiv : 1710.05941 [ cs.NE ].

[FUKU1979-45] 福島和也 (1979). 「位置ずれに影響されないパターン認識機構のニューラルネットワークモデル―ネオコグニトロン」. 電子情報通信学会論文集. J62-A (10): 658–665 . doi : 10.1007/bf00344251 . PMID 7370364 .

[FUKU1980-46] 福島、K. (1980). 「ネオコグニトロン：位置のずれに影響されないパターン認識メカニズムのための自己組織化ニューラルネットワークモデル」. Biol. Cybern . 36 (4): 193– 202. doi : 10.1007/bf00344251 . PMID 7370364 .

[leibniz1676-47] ライプニッツ、ゴットフリート・ヴィルヘルム・フライヘル・フォン (1920)。ライプニッツの初期数学手稿：カール・イマヌエル・ゲルハルト出版、ラテン語テキストからの翻訳、批評的および歴史的注釈付き（ライプニッツは1676年の回想録で連鎖律を発表）。オープン・コート出版。ISBN 978-0-598-81846-1。{{cite book}}ISBN /日付の不一致（ヘルプ）

[kelley1960-48] Kelley, Henry J. (1960). "最適な飛行経路の勾配理論". ARS Journal . 30 (10): 947– 954. doi : 10.2514/8.5282 .

[lin19703-49] Linnainmaa, Seppo (1970).アルゴリズムの累積丸め誤差を局所丸め誤差のテイラー展開として表現する方法（修士論文）（フィンランド語）。ヘルシンキ大学。pp. 6–7。

[lin19763-50] Linnainmaa, Seppo (1976). "累積丸め誤差のテイラー展開". BIT Numerical Mathematics . 16 (2): 146– 160. doi : 10.1007/bf01931367 .

[ostrowski1971-51] Ostrovski, GM、Volin, YM、Boris, WW (1971)。導関数の計算について。Wiss. Z. Tech. Hochschule for Chemistry、13:382–384。

[backprop-52] 1 2 Schmidhuber, Juergen (2014 年 10 月 25 日). 「バックプロパゲーションを発明したのは誰か？」 . IDSIA、スイス。2024年 7 月 30 日のオリジナルからアーカイブ済み。2024年9 月 14 日取得。

[werbos1982-53] Werbos, Paul (1982). "非線形感度分析の進歩の応用" (PDF) .システムモデリングと最適化. Springer. pp. 762–770 . 2016年4月14日のオリジナルからアーカイブ(PDF) 。 2017年7月2日取得。

[werbos1974-54] ウェルボス、ポール・J. (1994).バックプロパゲーションのルーツ：順序付き微分からニューラルネットワークと政治予測まで. ニューヨーク：ジョン・ワイリー・アンド・サンズ. ISBN 0-471-59897-6。

[55] Rumelhart, David E.; Hinton, Geoffrey E.; Williams, Ronald J. (1986 年 10 月). "誤差逆伝播による表現の学習". Nature . 323 (6088): 533– 536. Bibcode : 1986Natur.323..533R . doi : 10.1038/323533a0 .

[rumelhart1986-56] Rumelhart, David E.; Hinton, Geoffrey E.; Williams, Ronald J. (1985). Learning Internal Representations by Error Propagation (PDF) (Report). DTIC ADA164453 . 2022年10月13日にオリジナル(PDF)からアーカイブされました。

[Waibel1987-57] Waibel, Alex (1987年12月).時間遅延ニューラルネットワークを用いた音素認識(PDF) . 電気情報通信学会 (IEICE) 講演会. 東京, 日本.

[speechsignal-58] Waibel, A.; Hanazawa, T.; Hinton, G.; Shikano, K.; Lang, KJ (1989年3月). "時間遅延ニューラルネットワークを用いた音素認識". IEEE Transactions on Acoustics, Speech, and Signal Processing . 37 (3): 328– 339. Bibcode : 1989ITASS..37..328W . doi : 10.1109/29.21701 .

[wz1988-59] Zhang, Wei (1988). 「シフト不変パターン認識ニューラルネットワークとその光学的アーキテクチャ」 .日本応用物理学会年次大会論文集.

[LECUN1989-60] LeCun, Y.; Boser, B.; Denker, JS; Henderson, D.; Howard, RE; Hubbard, W.; Jackel, LD (1989 年 12 月). "手書き郵便番号認識へのバックプロパゲーションの適用". Neural Computation . 1 (4): 541– 551. doi : 10.1162/neco.1989.1.4.541 .

[wz1990-61] Zhang, Wei; Itoh, Kazuyoshi; Tanida, Jun; Ichioka, Yoshiki (1990年11月10日). "局所空間不変相互接続を備えた並列分散処理モデルとその光アーキテクチャ". Applied Optics . 29 (32): 4790–4797 . Bibcode : 1990ApOpt..29.4790Z . doi : 10.1364/AO.29.004790 . PMID 20577468 .

[62] Zhang, Wei; Hasegawa, Akira; Itoh, Kazuyoshi; Ichioka, Yoshiki (1991年10月10日). 「学習ネットワークに基づくヒト角膜内皮の画像処理」. Applied Optics . 30 (29): 4211–4217 . Bibcode : 1991ApOpt..30.4211Z . doi : 10.1364/AO.30.004211 . PMID 20706526 .

[63] Zhang, Wei (1994). "シフト不変人工ニューラルネットワークを用いたデジタルマンモグラフィにおけるクラスター状微小石灰化のコンピュータ検出". Medical Physics . 21 (4): 517–24 . Bibcode : 1994MedPh..21..517Z . doi : 10.1118/1.597177 . PMID 8058017 .

[lecun98-64] LeCun, Yann; Léon Bottou; Yoshua Bengio; Patrick Haffner (1998). "文書認識に適用された勾配ベース学習" (PDF) . Proceedings of the IEEE . 86 (11): 2278– 2324. Bibcode : 1998IEEEP..86.2278L . doi : 10.1109/5.726791 .

[65] Jordan, Michael I. (1986). "コネクショニスト逐次マシンにおけるアトラクターダイナミクスと並列性" .認知科学学会年次大会論文集. 8 .

[66] エルマン、ジェフリー L. (1990 年 3 月) 「時間における構造の発見」。認知科学。14 (2): 179–211。doi : 10.1207 /s15516709cog1402_1。

[chunker1991-67] 1 2 3 Schmidhuber, Jürgen (1991 年 4 月). "ニューラルシーケンスチャンカー" (PDF) . TR FKI-148、ミュンヘン工科大学.

[schmidhuber1992-68] 1 2 Schmidhuber, Jürgen (1992 年 3 月). "履歴圧縮の原理を用いた複雑で拡張されたシーケンスの学習". Neural Computation . 4 (2): 234– 242. Bibcode : 1992NeCom...4..234S . doi : 10.1162/neco.1992.4.2.234 .

[schmidhuber1993-69] Schmidhuber, Jürgen (1993).教授資格論文: システムモデリングと最適化(PDF) . 2022年5月16日にオリジナル(PDF)からアーカイブされました。150ページ以降では、展開されたRNNにおける1,200層に相当する層全体にわたるクレジット割り当てについて説明しています。

[HOCH1991-70] 1 2 3 S. Hochreiter、「 Untersuchungen zu dynamischen neuronalen Netzen」。 2015 年 3 月 6 日にWayback Machineにアーカイブされました。卒業論文。インスティチュート f.工科大学インフォマティックミュンヘン。アドバイザー: J. シュミットフーバー、1991 年。

[HOCH2001-71] Hochreiter, S.他 (2001年1月15日) 「リカレントネットワークにおける勾配フロー：長期依存性の学習の難しさ」 Kolen, John F.、Kremer, Stefan C. (編) 『動的リカレントネットワークのフィールドガイド』 John Wiley & Sons. ISBN 978-0-7803-5369-5。

[72] ゼップ・ホッホライター;ユルゲン・シュミットフーバー(1995 年 8 月 21 日)、長短期記憶、ウィキデータQ98967430

[lstm1999-73] Gers, Felix; Schmidhuber, Jürgen; Cummins, Fred (1999). "Learning to forget: Continual prediction with LSTM".第9回人工ニューラルネットワーク国際会議: ICANN '99 . Vol. 1999. pp. 850–855 . doi : 10.1049/cp:19991218 . ISBN 0-85296-721-7。

[curiosity1991-74] 1 2 Schmidhuber, Juergen (1991). 「モデル構築ニューラルコントローラにおける好奇心と退屈の実装の可能性」『動物からアニマッツへ』pp. 222–228 . doi : 10.7551/mitpress/3115.003.0030 . ISBN 978-0-262-25667-4。

[fun2010-75] Schmidhuber, Jürgen (2010). "創造性、楽しさ、および内発的動機付けの形式理論（1990-2010）". IEEE Transactions on Autonomous Mental Development . 2 (3): 230– 247. Bibcode : 2010ITAMD...2..230S . doi : 10.1109/TAMD.2010.2056368 .

[gancurpm2020-76] 1 2 Schmidhuber, Jürgen (2020). "Generative Adversarial Networks are Special Cases of Artificial Curiosity (1990) and also Closely Related to Predictability Minimization (1991)". Neural Networks . 127 : 58– 66. arXiv : 1906.04493 . doi : 10.1016/j.neunet.2020.04.008 . PMID 32334341 .

[77] Ackley, D; Hinton, G; Sejnowski, T (1985年3月). "A learning algorithm for boltzmann machines". Cognitive Science . 9 (1): 147– 169. doi : 10.1016/S0364-0213(85)80012-4 .

[78] スモレンスキー、ポール（1986）。「第6章：動的システムにおける情報処理：調和理論の基礎」（PDF）。デイビッド・E・ルーメルハート、ジェームズ・L・マクレランド編『並列分散処理：認知の微細構造の探求、第1巻：基礎』MIT Press、194～281ページ。ISBN 0-262-68053-X。

[nc95-79] Peter, Dayan ; Hinton, Geoffrey E. ; Neal, Radford M. ; Zemel, Richard S. (1995). "The Helmholtz machine". Neural Computation . 7 (5): 889– 904. doi : 10.1162/neco.1995.7.5.889 . hdl : 21.11116/0000-0002-D6D3-E . PMID 7584891 .

[:1-80] Hinton, Geoffrey E. ; Dayan, Peter ; Frey, Brendan J. ; Neal, Radford (1995-05-26). "教師なしニューラルネットワークのためのウェイクスリープアルゴリズム". Science . 268 (5214): 1158– 1161. Bibcode : 1995Sci...268.1158H . doi : 10.1126/science.7761831 . PMID 7761831 .

[81] セジノウスキー、テレンス・J. (2018).ディープラーニング革命. マサチューセッツ州ケンブリッジ: MIT Press . ISBN 978-0-262-03803-4。

[82] Qian, Ning; Sejnowski, Terrence J. (1988-08-20). "Predicting the secondary structure of globular proteins using neural network models". Journal of Molecular Biology. 202 (4): 865–884. Bibcode:1988JMBio.202..865Q. doi:10.1016/0022-2836(88)90564-5. ISSN 0022-2836. PMID 3172241.

[83] Morgan, Nelson; Bourlard, Hervé; Renals, Steve; Cohen, Michael; Franco, Horacio (1 August 1993). "Hybrid neural network/hidden markov model systems for continuous speech recognition". International Journal of Pattern Recognition and Artificial Intelligence. 07 (4): 899–916. doi:10.1142/s0218001493000455. ISSN 0218-0014.

[Robinson1992-84] Robinson, T. (1992). "A real-time recurrent error propagation network word recognition system". [Proceedings] ICASSP-92: 1992 IEEE International Conference on Acoustics, Speech, and Signal Processing. pp. 617-620 vol.1. doi:10.1109/ICASSP.1992.225833. ISBN 0-7803-0532-9.

[85] Waibel, A.; Hanazawa, T.; Hinton, G.; Shikano, K.; Lang, K.J. (March 1989). "Phoneme recognition using time-delay neural networks". IEEE Transactions on Acoustics, Speech, and Signal Processing. 37 (3): 328–339. Bibcode:1989ITASS..37..328W. doi:10.1109/29.21701. hdl:10338.dmlcz/135496.

[Baker2009-86] Baker, J.; Deng, Li; Glass, Jim; Khudanpur, S.; Lee, C.-H.; Morgan, N.; O'Shaughnessy, D. (2009). "Research Developments and Directions in Speech Recognition and Understanding, Part 1". IEEE Signal Processing Magazine. 26 (3): 75–80. Bibcode:2009ISPM...26...75B. doi:10.1109/msp.2009.932166. hdl:1721.1/51891.

[Bengio1991-87] Bengio, Y. (1991). "Artificial Neural Networks and their Application to Speech/Sequence Recognition". McGill University Ph.D. thesis. Archived from the original on 2021-05-09. Retrieved 2017-06-12.

[Deng1994-88] Deng, L.; Hassanein, K.; Elmasry, M. (1994). "音声認識への応用を伴うニューラル予測モデルの相関構造の分析". Neural Networks . 7 (2): 331– 339. doi : 10.1016/0893-6080(94)90027-2 .

[Doddington2000-89] Doddington, G.; Przybocki, M.; Martin, A.; Reynolds, D. (2000). "NIST話者認識評価±概要、方法論、システム、結果、展望". Speech Communication . 31 (2): 225– 254. doi : 10.1016/S0167-6393(99)00080-1 .

[Heck2000-90] 1 2 Heck, L.; Konig, Y.; Sonmez, M.; Weintraub, M. (2000). "識別特徴設計による話者認識における電話受話器の歪みに対するロバスト性". Speech Communication . 31 (2): 181– 192. doi : 10.1016/s0167-6393(99)00077-1 .

[91] LP Heck および R. Teunen。「Nuance Verifier を使用した安全で便利なトランザクション」。Nuance ユーザーカンファレンス、1998 年 4 月。

[92] 「LVCSRの生時間信号を用いた深層ニューラルネットワークによる音響モデリング（PDFダウンロード可能）」。ResearchGate。2021年5月9日にオリジナルからアーカイブ済み。 2017年6月14日に取得。

[graves2003-93] 1 2 Graves, Alex; Eck, Douglas; Beringer, Nicole; Schmidhuber, Jürgen (2003). "Biologically Plausible Speech Recognition with LSTM Neural Nets" (PDF) .第 1 回、生物学的に着想を得た高度情報技術へのアプローチに関する国際ワークショップ、Bio-ADIT 2004、スイス、ローザンヌ。pp. 175–184。2017年 7 月 6 日にオリジナル(PDF)からアーカイブ済み。2016年 4 月 9 日に取得。

[graves2006-94] Graves, Alex; Fernández, Santiago; Gomez, Faustino; Schmidhuber, Jürgen (2006). "Connectionist temporal classification: Labelling unsegmented sequence data with recurrent neural networks". Proceedings of the 23rd international conference on Machine learning - ICML '06 . pp. 369–376 . doi : 10.1145/1143844.1143891 . ISBN 1-59593-383-2。

[fernandez2007keyword-95] Fernández, Santiago; Graves, Alex; Schmidhuber, Jürgen (2007). "An Application of Recurrent Neural Networks to Discriminative Keyword Spotting" . Artificial Neural Networks – ICANN 2007. Lecture Notes in Computer Science. Vol. 4669. pp. 220–229 . doi : 10.1007/978-3-540-74695-9_23 . ISBN 978-3-540-74693-5。

[96] Graves, Alex; Schmidhuber, Jürgen (2008). "Offline Handwriting Recognition with Multidimensional Recurrent Neural Networks" . Advances in Neural Information Processing Systems . 21 .

[Hinton_2007_Learning_multiple_layers-97] 1 2 3 Hinton, Geoffrey E. (2007 年 10 月). 「表現の複数の層の学習」. Trends in Cognitive Sciences . 11 (10): 428–434 . doi : 10.1016/j.tics.2007.09.004 . PMID 17921042 .

[hinton06-98] Hinton, Geoffrey E.; Osindero, Simon; Teh, Yee-Whye (2006年7月)「ディープビリーフネットのための高速学習アルゴリズム」Neural Computation . 18 (7): 1527– 1554. doi : 10.1162/neco.2006.18.7.1527 . PMID 16764513 .

[99] Hinton, Geoffrey E.; Osindero, Simon; Teh, Yee-Whye (2006年7月)「ディープビリーフネットのための高速学習アルゴリズム」Neural Computation . 18 (7): 1527– 1554. doi : 10.1162/neco.2006.18.7.1527 . PMID 16764513 .

[100] Hinton, Geoffrey (2009). "Deep belief networks" . Scholarpedia . 4 (5): 5947. Bibcode : 2009SchpJ...4.5947H . doi : 10.4249/scholarpedia.5947 .

[lecun2016slides-101] LeCun, Yann (2016年3月24日).深層学習とAIの未来. CERNコロキウム.

[HintonDengYu2012-102] 1 2 3 Hinton, Geoffrey; Deng, Li; Yu, Dong; Dahl, George; Mohamed, Abdel-rahman; Jaitly, Navdeep; Senior, Andrew; Vanhoucke, Vincent; Nguyen, Patrick; Sainath, Tara; Kingsbury, Brian (2012 年 11 月). "音声認識における音響モデリングのための深層ニューラルネットワーク: 4 つの研究グループの共通見解". IEEE Signal Processing Magazine . 29 (6): 82–97 . Bibcode : 2012ISPM...29...82H . doi : 10.1109/msp.2012.2205597 .

[ReferenceICASSP2013-103] 1 2 3 Deng, Li; Hinton, Geoffrey; Kingsbury, Brian (2013). 「音声認識および関連アプリケーションのための新しいタイプの深層ニューラルネットワーク学習：概要」. 2013 IEEE International Conference on Acoustics, Speech and Signal Processing . pp. 8599–8603 . doi : 10.1109/ICASSP.2013.6639344 . ISBN 978-1-4799-0356-6。

[ReferenceA-104] 1 2 3 Yu, Dong; Deng, Li (2015).自動音声認識. Signals and Communication Technology. doi : 10.1007/978-1-4471-5779-3 . ISBN 978-1-4471-5778-6。

[105] 「鄧氏が権威あるIEEE技術功績賞を受賞 - マイクロソフトリサーチ」。マイクロソフトリサーチ。2015年12月3日。2018年3月16日にオリジナルからアーカイブ。 2018年3月16日に取得。

[interspeech2014Keynote-106] 1 2 Li, Deng (2014年9月) 「基調講演: 'ディープラーニングの成果と課題 - 音声分析と認識から言語とマルチモーダル処理まで'」" . Interspeech . 2017-09-26 のオリジナルからアーカイブ済み. 2017-06-12に取得.

[Roles2010-107] Yu, D.; Deng, L. (2010). "実世界音声認識のためのコンテキスト依存型DBN-HMMにおける事前学習とファインチューニングの役割" . NIPS 深層学習と教師なし特徴学習ワークショップ. 2017-10-12 のオリジナルからアーカイブ. 2017-06-14に取得.

[108] Seide, Frank; Li, Gang; Yu, Dong (2011). "文脈依存型深層ニューラルネットワークを用いた会話音声の書き起こし". Interspeech 2011. pp. 437–440 . doi : 10.21437/Interspeech.2011-169 .

[109] Deng, Li; Li, Jinyu; Huang, Jui-Ting; Yao, Kaisheng; Yu, Dong; Seide, Frank; Seltzer, Michael; Zweig, Geoff; He, Xiaodong; Williams, Jason; Gong, Yifan; Acero, Alex (2013). "Microsoftにおける音声研究のための深層学習の最近の進歩". 2013 IEEE International Conference on Acoustics, Speech and Signal Processing . pp. 8604–8608 . doi : 10.1109/ICASSP.2013.6639345 . ISBN 978-1-4799-0356-6。

[jung2004-110] 1 2 Oh, K.-S.; Jung, K. (2004). "GPUによるニューラルネットワークの実装". Pattern Recognition . 37 (6): 1311– 1314. Bibcode : 2004PatRe..37.1311O . doi : 10.1016/j.patcog.2004.01.013 .

[chellapilla2006-111] 1 2 Chellapilla, Kumar; Puri, Sidd; Simard, Patrice (2006), High performance convolutional neural networks for document processing , archived from the original on 2020-05-18 , retrieved 2021-02-14

[sze2017-112] Sze, Vivienne ; Chen, Yu-Hsin; Yang, Tien-Ju; Emer, Joel (2017). "Efficient Processing of Deep Neural Networks: A Tutorial and Survey". arXiv : 1703.09039 [ cs.CV ].

[113] Raina, Rajat; Madhavan, Anand; Ng, Andrew Y. (2009). "グラフィックスプロセッサを用いた大規模深層非教師あり学習".第26回国際機械学習会議議事録. pp. 873–880 . doi : 10.1145/1553374.1553486 . ISBN 978-1-60558-516-1。

[:3-114] Cireşan, Dan Claudiu; Meier, Ueli; Gambardella, Luca Maria; Schmidhuber, Jürgen (2010年9月21日). "手書き数字認識のための深く、大きく、シンプルなニューラルネットワーク". Neural Computation . 22 (12): 3207–3220 . arXiv : 1003.0358 . Bibcode : 2010NeCom..22.3207C . doi : 10.1162/neco_a_00052 . PMID 20858131 .

[:6-115] 。土井: 10.5591/978-1-57735-516-8/ijcai11-210。{{cite journal}}:ジャーナルを引用するには|journal=（ヘルプ）が必要です。不足または空欄の場合|title=（ヘルプ）

[:8-116] Ciresan, Dan; Giusti, Alessandro; Gambardella, Luca M.; Schmidhuber, Jürgen (2012). Pereira, F.; Burges, CJC; Bottou, L.; Weinberger, KQ (eds.). Advances in Neural Information Processing Systems 25 (PDF) . Curran Associates, Inc. pp. 2843– 2851. 2017-08-09のオリジナルからアーカイブ(PDF) 。2017-06-13 に取得。

[ciresan2013miccai-117] Ciresan, D.; Giusti, A.; Gambardella, LM; Schmidhuber, J. (2013). "深層ニューラルネットワークを用いた乳がん組織画像における有糸分裂検出". Medical Image Computing and Computer-Assisted Intervention – MICCAI 2013. Lecture Notes in Computer Science. Vol. 7908. pp. 411–418 . doi : 10.1007/978-3-642-40763-5_51 . ISBN 978-3-642-38708-1PMID 24579167

[ng2012-118] Ng, Andrew; Dean, Jeff (2012). "大規模教師なし学習を用いた高レベル特徴の構築". arXiv : 1112.6209 [ cs.LG ].

[VGG-119] Simonyan, Karen; Andrew, Zisserman (2014). "大規模画像認識のための非常に深い畳み込みネットワーク". arXiv : 1409.1556 [ cs.CV ].

[szegedy-120] Szegedy, Christian (2015). "Going deeper with convolutions" (PDF) . Cvpr2015 . arXiv : 1409.4842 .

[1411.4555-121] Vinyals, Oriol; Toshev, Alexander; Bengio, Samy; Erhan, Dumitru (2014). "Show and Tell: A Neural Image Caption Generator". arXiv : 1411.4555 [ cs.CV ].。

[1411.4952-122] Fang, Hao; Gupta, Saurabh; Iandola, Forrest; Srivastava, Rupesh; Deng, Li; Dollár, Piotr; Gao, Jianfeng; He, Xiaodong; Mitchell, Margaret; Platt, John C; Lawrence Zitnick, C; Zweig, Geoffrey (2014). "From Captions to Visual Concepts and Back". arXiv : 1411.4952 [ cs.CV ].。

[1411.2539-123] Kiros, Ryan; Salakhutdinov, Ruslan; Zemel, Richard S (2014). "Unifying Visual-Semantic Embeddings with Multimodal Neural Language Models". arXiv : 1411.2539 [ cs.LG ].。

[124] Simonyan, Karen; Zisserman, Andrew (2014). "大規模画像認識のための非常に深い畳み込みネットワーク". arXiv : 1409.1556 [ cs.CV ].

[prelu-125] He, Kaiming; Zhang, Xiangyu; Ren, Shaoqing; Sun, Jian (2016). "Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification". arXiv : 1502.01852 [ cs.CV ].

[He_Zhang_Deep_Residual_Learning_for_Image_Recognition-126] 1 2 He, Kaiming; Zhang, Xiangyu; Ren, Shaoqing; Sun, Jian (2016). "Deep Residual Learning for Image Recognition". 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) . pp. 770–778 . arXiv : 1512.03385 . doi : 10.1109/CVPR.2016.90 . ISBN 978-1-4673-8851-1。

[127] Gatys, Leon A.; Ecker, Alexander S.; Bethge, Matthias (2015年8月26日). "芸術スタイルのニューラルアルゴリズム". arXiv : 1508.06576 [ cs.CV ].

[GANnips-128] Goodfellow, Ian; Pouget-Abadie, Jean; Mirza, Mehdi; Xu, Bing; Warde-Farley, David; Ozair, Sherjil; Courville, Aaron; Bengio, Yoshua (2014). Generative Adversarial Networks (PDF) . Proceedings of the International Conference on Neural Information Processing Systems (NIPS 2014). pp. 2672– 2680. Archived (PDF) from the original on 22 November 2019 . Retrieved 20 August 2019 .

[SyncedReview2018-129] 「GAN 2.0: NVIDIAの超リアルな顔生成器」。SyncedReview.com 。 2018年12月14日。 2019年10月3日取得。

[progressiveGAN2017-130] Karras, T.; Aila, T.; Laine, S.; Lehtinen, J. (2018年2月26日). "Progressive Growing of GANs for Improved Quality, Stability, and Variation". arXiv : 1710.10196 [ cs.NE ].

[131] 「準備せよ、パニックになるな：合成メディアとディープフェイク」。witness.org。2020年12月2日にオリジナルからアーカイブ済み。2020年11月25日に取得。

[132] Sohl-Dickstein, Jascha; Weiss, Eric; Maheswaranathan, Niru; Ganguli, Surya (2015-06-01). "Deep Unsupervised Learning using Nonequilibrium Thermodynamics" (PDF) . Proceedings of the 32nd International Conference on Machine Learning . 37 . PMLR: 2256– 2265. arXiv : 1503.03585 .

[GoogleVoiceTranscription-133] Googleリサーチブログ。「Google音声認識の背後にあるニューラルネットワーク」。2015年8月11日。フランソワーズ・ボーフェイ著。http ://googleresearch.blogspot.co.at/2015/08/the-neural-networks-behind-google-voice.html

[sak2015-134] 1 2 Sak, Haşim; Senior, Andrew; Rao, Kanishka; Beaufays, Françoise; Schalkwyk, Johan (2015 年 9 月)。「Google 音声検索: より速く、より正確」。2016年 3 月 9 日にオリジナルからアーカイブ。2016年 4 月 9 日に取得。

[135] Singh, Premjeet; Saha, Goutam; Sahidullah, Md (2021). "音声感情認識のための定数Q変換を用いた非線形周波数ワーピング". 2021 International Conference on Computer Communication and Informatics (ICCCI) . pp. 1– 4. arXiv : 2102.04029 . doi : 10.1109/ICCCI50826.2021.9402569 . ISBN 978-1-7281-5875-4。

[sak2014-136] Sak, Haşim; Senior, Andrew; Beaufays, Françoise (2014). "大規模語彙音声認識のための長短期記憶に基づくリカレントニューラルネットワークアーキテクチャ". arXiv : 1402.1128 [ cs.NE ].

[liwu2015-137] Li, Xiangang; Wu, Xihong (2014). "大規模語彙音声認識のための長短期記憶に基づく深層リカレントニューラルネットワークの構築". arXiv : 1410.4281 [ cs.CL ].

[zen2015-138] Zen, Heiga; Sak, Hasim (2015). "低遅延音声合成のためのリカレント出力層を備えた単方向長短期記憶リカレントニューラルネットワーク". 2015 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) . pp. 4470–4474 . doi : 10.1109/ICASSP.2015.7178816 . ISBN 978-1-4673-6997-8。

[139] 「2018 ACM AMチューリング賞受賞者」 . awards.acm.org . 2024年8月7日取得。

[140] Ferrie, C., & Kaiser, S. (2019). Neural Networks for Babies . Sourcebooks. ISBN 978-1-4926-7120-6。{{cite book}}: CS1 maint: 複数の名前: 著者リスト (リンク)

[141] Silver, David; Huang, Aja; Maddison, Chris J.; Guez, Arthur; Sifre, Laurent; Driessche, George van den; Schrittwieser, Julian; Antonoglou, Ioannis; Panneershelvam, Veda (2016 年 1 月). "深層ニューラルネットワークとツリーサーチによる囲碁の攻略". Nature . 529 (7587): 484–489 . Bibcode : 2016Natur.529..484S . doi : 10.1038/nature16961 . ISSN 1476-4687 . PMID 26819042 .

[Nokkada-142] ディープラーニングとニューラルネットワークのガイド、2020年11月2日にオリジナルからアーカイブ、2020年11月16日に取得

[Kumar2021-143] 1 2 Kumar, Nishant; Raubal, Martin (2021). "渋滞検出、予測、緩和における深層学習の応用：概説" . Transportation Research Part C: Emerging Technologies . 133 103432. arXiv : 2102.09759 . Bibcode : 2021TRPC..13303432K . doi : 10.1016/j.trc.2021.103432 . hdl : 10230/42143 .

[144] Szegedy, Christian; Toshev, Alexander; Erhan, Dumitru (2013). "Deep neural networks for object detection" . Advances in Neural Information Processing Systems : 2553– 2561. 2017-06-29のオリジナルからアーカイブ。2017-06-13 に取得。

[rolnickpaper-145] Rolnick, David; Tegmark, Max (2018). 「自然関数を表現するためのより深いネットワークの力」 .国際学習表現会議. ICLR 2018. 2021年1月7日のオリジナルからアーカイブ済み。 2021年1月5日取得。

[146] Hof, Robert D. 「人工知能はついにその真価を発揮し始めたのか？」 . MIT Technology Review . 2019年3月31日時点のオリジナルよりアーカイブ済み。 2018年7月10日取得。

[gers2001-147] 1 2 Gers, FA; Schmidhuber, E. (2001年11月)「LSTMリカレントネットワークは単純な文脈自由言語と文脈依存言語を学習する」IEEE Transactions on Neural Networks . 12 (6): 1333– 1340. Bibcode : 2001ITNN...12.1333G . doi : 10.1109/72.963769 . PMID 18249962 .

[NIPS2014-148] 1 2 3 Sutskever, L.; Vinyals, O.; Le, Q. (2014). "Sequence to Sequence Learning with Neural Networks" (PDF) . Proc. NIPS . arXiv : 1409.3215 . Bibcode : 2014arXiv1409.3215S . 2021-05-09 のオリジナルからアーカイブ(PDF) . 2017-06-13に取得.

[vinyals2016-149] 1 2 Jozefowicz, Rafal; Vinyals, Oriol; Schuster, Mike; Shazeer, Noam; Wu, Yonghui (2016). "言語モデリングの限界を探る". arXiv : 1602.02410 [ cs.CL ].

[gillick2015-150] 1 2 Gillick, Dan; Brunk, Cliff; Vinyals, Oriol; Subramanya, Amarnag (2015). "Multilingual Language Processing from Bytes". arXiv : 1512.00103 [ cs.CL ].

[MIKO2010-151] ミコロフ、トマーシュ。カラフィアト、マーティン。ブルゲット、ルカシュ。チェルノツキー、ヤン。サンジーブ、クダンプール（2010）。「リカレントニューラルネットワークベースの言語モデル」。インタースピーチ 2010。 pp. 1045–1048 . doi : 10.21437/Interspeech.2010-343。

[:0-152] ゼップ・ホッホライター;シュミットフーバー、ユルゲン（1997年11月1日）。「長短期記憶」。ニューラル計算。9 (8): 1735 ～ 1780 年。土井: 10.1162/neco.1997.9.8.1735。PMID 9377276。

[:10-153] 1 2 Gers, Felix A.; Schraudolph, Nicol N.; Schmidhuber, Jürgen (2002). "Learning Precise Timing with LSTM Recurrent Networks" . Journal of Machine Learning Research . 3 (Aug): 115–143 .

[LECUN86-154] LeCun, Y.; et al. (1998). "文書認識に適用された勾配ベース学習" . Proceedings of the IEEE . 86 (11): 2278– 2324. Bibcode : 1998IEEEP..86.2278L . doi : 10.1109/5.726791 .

[:2-155] Sainath, Tara N. ; Mohamed, Abdel-Rahman; Kingsbury, Brian; Ramabhadran, Bhuvana (2013). "Deep convolutional neural networks for LVCSR". 2013 IEEE International Conference on Acoustics, Speech and Signal Processing . pp. 8614–8618 . doi : 10.1109/icassp.2013.6639347 . ISBN 978-1-4799-0356-6。

[156] Bengio, Yoshua; Boulanger-Lewandowski, Nicolas; Pascanu, Razvan (2013). "Advances in optimizing recurrent networks". 2013 IEEE International Conference on Acoustics, Speech and Signal Processing . pp. 8624–8628 . doi : 10.1109/icassp.2013.6639349 . ISBN 978-1-4799-0356-6。

[DAHL2013-157] Dahl, G.; et al. (2013). "Improving DNNs for LVCSR using rectified linear units and dropout" (PDF) . ICASSP . 2017-08-12 のオリジナルからアーカイブ(PDF) . 2017-06-13に取得.

[Kumar2024-158] Kumar, Nishant; Martin, Henry; Raubal, Martin (2024). "複雑性分析による深層学習ベースの都市全体の交通予測パイプラインの強化" . Data Science for Transportation . 6 (3) 24. doi : 10.1007/s42421-024-00109-x . hdl : 20.500.11850/695425 .

[159] 「データ拡張 - deeplearning.ai | Coursera」。Coursera。2017年12月1日にオリジナルからアーカイブ済み。2017年11月30日に取得。

[RBMTRAIN-160] Hinton, GE (2010). "制限付きボルツマンマシンのトレーニングに関する実践ガイド" .技術報告書 UTML TR 2010-003 . 2021年5月9日にオリジナルからアーカイブ済み. 2017年6月13日に取得.

[161] You, Yang; Buluç, Aydın; Demmel, James (2017). "Scaling deep learning on GPU and knights landing clusters". Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis . pp. 1–12 . arXiv : 1708.02983 . doi : 10.1145/3126908.3126912 . ISBN 978-1-4503-5114-0。

[162] Viebke, André; Memeti, Suejb; Pllana, Sabri; Abraham, Ajith (2019). "CHAOS: Intel Xeon Phi 上で畳み込みニューラルネットワークをトレーニングするための並列化スキーム". The Journal of Supercomputing . 75 : 197–227 . arXiv : 1702.07908 . Bibcode : 2017arXiv170207908V . doi : 10.1007/s11227-017-1994-x .

[Qin1-163] Ting Qin, et al.「RLSに基づくCMACの学習アルゴリズム」Neural Processing Letters 19.1 (2004): 49-61.

[Qin2-164] Ting Qin, et al. " Continuous CMAC-QRLS and its systolic array ". Archived 2018-11-18 at the Wayback Machine . Neural Processing Letters 22.1 (2005): 1-16.

[165] Research, AI (2015年10月23日)。「音声認識における音響モデリングのための深層ニューラルネットワーク」。airesearch.com 。2016年2月1日にオリジナルからアーカイブ済み。2015年10月23日に取得。

[166] 「GPUは当面AIアクセラレータ市場を支配し続ける」 . InformationWeek . 2019年12月。2020年6月10日にオリジナルからアーカイブ済み。2020年6月11日に取得。

[167] Ray, Tiernan (2019). "AIは計算の性質全体を変えつつある" . ZDNet . 2020年5月25日のオリジナルからアーカイブ済み。 2020年6月11日取得。

[168] 「AIとコンピューティング」。OpenAI。2018年5月16日。2020年6月17日にオリジナルからアーカイブ。2020年6月11日に取得。

[169] "HUAWEI、IFA 2017でモバイルAIの未来を発表| HUAWEI最新ニュース| HUAWEIグローバル" . consumer.huawei.com . 2021年11月10日にオリジナルからアーカイブ済み。2022年8月3日に取得。

[170] P, JouppiNorman; YoungCliff; PatilNishant; PattersonDavid; AgrawalGaurav; BajwaRaminder; BatesSarah; BhatiaSuresh; BodenNan; BorchersAl; BoyleRick (2017-06-24). "In-Datacenter Performance Analysis of a Tensor Processing Unit" . ACM SIGARCH Computer Architecture News . 45 (2): 1– 12. arXiv : 1704.04760 . doi : 10.1145/3140659.3080246 .

[171] Woodie, Alex (2021-11-01). "Cerebrasがディープラーニングワークロードのアクセラレーターに参入" . Datanami . 2022-08-03に取得.

[172] 「Cerebrasが2.6兆個のトランジスタを搭載した新しいAIスーパーコンピューティングプロセッサを発表」。VentureBeat 。2021年4月20日。2024年9月17日のオリジナルからアーカイブ。 2022年8月3日取得。

[atomthin-173] マレガ、ギリェルメ・ミリアート。趙、延飛。アフサール、アフメット。王振宇。トリパティ、ムケシュ。ラデノビッチ、アレクサンドラ。キス、アンラス（2020）。「原子レベルの薄い半導体に基づくロジックインメモリ」。自然。587 (2): 72– 77。Bibcode : 2020Natur.587...72M。土井: 10.1038/s41586-020-2861-0。PMC 7116757。PMID 33149289。

[photonic-174] 1 2 3 Feldmann, J.; Youngblood, N.; Karpov, M.; et al. (2021). "統合フォトニックテンソルを用いた並列畳み込み処理". Nature . 589 (2): 52– 58. arXiv : 2002.00281 . doi : 10.1038/s41586-020-03070-1 . PMID 33408373 .

[APC_1-175] Garofolo, JS; Lamel, LF; Fisher, WM; Fiscus, JG; Pallett, DS; Dahlgren, NL; Zue, V. (1993). TIMIT Acoustic-Phonetic Continuous Speech Corpus . Linguistic Data Consortium. doi : 10.35111/17gk-bn40 . ISBN 1-58563-019-52023年12月27日に取得。

[176] Robinson, Tony (1991年9月30日). 「反復エラー伝播ネットワーク電話認識システムに対するいくつかの改善」. Cambridge University Engineering Department Technical Report . CUED/F-INFENG/TR82. doi : 10.13140/RG.2.2.15418.90567 .

[CNN-2014-177] Abdel-Hamid, Ossama; Mohamed, Abdel-rahman; Jiang, Hui; Deng, Li; Penn, Gerald; Yu, Dong (2014 年 10 月). "音声認識のための畳み込みニューラルネットワーク". IEEE/ACM Transactions on Audio, Speech, and Language Processing . 22 (10): 1533– 1545. Bibcode : 2014ITASL..22.1533A . doi : 10.1109/taslp.2014.2339736 .

[EnsembleDL-178] Deng, L.; Platt, J. (2014). "音声認識のためのアンサンブル深層学習". Proc. Interspeech : 1915– 1919. doi : 10.21437/Interspeech.2014-433 .

[HCDMM-179] Tóth, László (2015年12月). 「階層型畳み込みディープマックスアウトネットワークによる音声認識」 EURASIP Journal on Audio, Speech, and Music Processing . 2015 (1) 25. doi : 10.1186/s13636-015-0068-3 .

[180] アーロン・ファン・デン・オールド。ディーレマン、サンダー。禅、ヘイガ。シモニャン、カレン。ビニャール、オリオール。グレイブス、アレックス。カルクブレンナー、ナル。先輩、アンドリュー。コライ州カブククオール (2016)。「WaveNet: 生オーディオの生成モデル」。arXiv : 1609.03499 [ cs.SD ]。

[181] 「WaveNet: 生の音声のための生成モデル」。Google DeepMind。2016年9月8日。 2025年7月31日取得。

[182] ラティフ、シディク。ザイディ、アウン。クアヤウィトル、ヘリベルト。シャムシャド、ファハド。ショーカット、モアザム。ウサマ、ムハンマド。カディール、ジュナイド（2023）。「音声処理におけるトランスフォーマー: 調査」。arXiv : 2303.11607 [ cs.CL ]。

[183] マクミラン、ロバート（2014年12月17日）。「SkypeがAIを使って驚くべき新しい言語翻訳ツールを構築した方法｜WIRED」。Wired。2017年6月8日のオリジナルからアーカイブ。 2017年6月14日取得。

[Baidu-184] ハヌン、アウニ。ケース、カール。キャスパー、ジャレッド。カタンザーロ、ブライアン。ディアモス、グレッグ。エルセン、エーリッヒ。プレンジャー、ライアン。サシーシュ、サンジーブ。セングプタ、シュボー。コーツ、アダム。ン、アンドリュー Y (2014)。「ディープスピーチ: エンドツーエンドの音声認識のスケールアップ」。arXiv : 1412.5567 [ cs.CL ]。

[YANNMNIST-185] 「MNIST手書き数字データベース、Yann LeCun、Corinna Cortes、Chris Burges」。yann.lecun.com 。 2014年1月13日のオリジナルからアーカイブ済み。 2014年1月28日取得。

[:7-186] Cireşan, Dan; Meier, Ueli; Masci, Jonathan; Schmidhuber, Jürgen (2012年8月). "交通標識分類のためのマルチカラム深層ニューラルネットワーク". Neural Networks . 32 : 333–338 . doi : 10.1016/j.neunet.2012.02.023 . PMID 22386783 .

[surpass1-187] チャオチャオ・ルー。シャオウ・タン（2014）。「人間レベルを超えた顔認識」。arXiv : 1404.3840 [ cs.CV ]。

[188] Nvidiaが「ディープラーニング」で訓練された車載コンピューターをデモ（2015年1月6日）、David Talbot、 MIT Technology Review

[art1-189] 1 2 3 G. W. スミス、フレデリック・フォル・レイマリー (2017 年 4 月 10 日)。「機械をアーティストとして：入門」。Arts。6 (4): 5。doi : 10.3390 /arts6020005。

[art2-190] 1 2 3 Blaise Agüera y Arcas (2017年9月29日) 「機械知能時代の芸術」 . Arts . 6 (4): 18. doi : 10.3390/arts6040018 .

[GoldbergLevy2014-191] Goldberg, Yoav; Levy, Omar (2014). "word2vec の説明: Mikolov らのネガティブサンプリング単語埋め込み法の導出". arXiv : 1402.3722 [ cs.CL ].

[SocherManning2014-192] 1 2 Socher, Richard; Manning, Christopher. "Deep Learning for NLP" (PDF) . 2014年7月6日のオリジナルからアーカイブ(PDF) . 2014年10月26日取得.

[193] Socher, Richard; Bauer, John; Manning, Christopher; Ng, Andrew (2013). "構文解析と構成的ベクトル文法" (PDF) . ACL 2013 会議議事録. 2014-11-27 のオリジナルからアーカイブ(PDF) . 2014-09-03に取得.

[RDM_1-194] Socher, Richard; Perelygin, Alex; Wu, Jean; Chuang, Jason; Manning, Christopher D.; Ng, Andrew; Potts, Christopher (2013). "Recursive Deep Models for Semantic Compositionality over a Sentiment Treebank". Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing . pp. 1631–1642 . doi : 10.18653/v1/d13-1170 .

[195] Shen, Yelong; He, Xiaodong; Gao, Jianfeng; Deng, Li; Mesnil, Gregoire (2014年11月1日). "情報検索のための畳み込みプーリング構造を持つ潜在意味モデル" . Microsoft Research . 2017年10月27日のオリジナルからアーカイブ済み。 2017年6月14日取得。

[196] Huang, Po-Sen; He, Xiaodong; Gao, Jianfeng; Deng, Li; Acero, Alex; Heck, Larry (2013年10月1日). "クリックスルーデータを使用したWeb検索のための深層構造セマンティックモデルの学習" . Microsoft Research . 2017年10月27日のオリジナルからアーカイブ済み。 2017年6月14日取得。

[IEEE-TASL2015-197] Mesnil, G.; Dauphin, Y.; Yao, K.; Bengio, Y.; Deng, L.; Hakkani-Tur, D. ; He, X.; Heck, L.; Tur, G.; Yu, D.; Zweig, G. (2015). "Using recurrent neural networks for slot filling in spoken language understanding". IEEE Transactions on Audio, Speech, and Language Processing . 23 (3): 530– 539. Bibcode : 2015ITASL..23..530M . doi : 10.1109/taslp.2014.2383614 .

[auto-198] 1 2 Gao, Jianfeng; He, Xiaodong; Yih, Scott Wen-tau; Deng, Li (2014年6月1日). "翻訳モデリングのための連続フレーズ表現の学習" . Microsoft Research . 2017年10月27日のオリジナルからアーカイブ済み。 2017年6月14日取得。

[BROC2017-199] Brocardo, Marcelo Luiz; Traore, Issa; Woungang, Isaac; Obaidat, Mohammad S. (2017). "深層信念ネットワークシステムを用いた著者検証". International Journal of Communication Systems . 30 (12) e3259. doi : 10.1002/dac.3259 .

[200] Kariampuzha, William; Alyea, Gioconda; Qu, Sue; Sanjak, Jaleal; Mathé, Ewy; Sid, Eric; Chatelaine, Haley; Yadaw, Arjun; Xu, Yanji; Zhu, Qian (2023). "Precision information extraction for rare disease epidemiology at scale" . Journal of Translational Medicine . 21 (1): 157. doi : 10.1186/s12967-023-04011-y . PMC 9972634 . PMID 36855134 .

[201] 「自然言語処理のための深層学習：理論と実践（CIKM2014チュートリアル） - Microsoft Research」。Microsoft Research。2017年3月13日のオリジナルからアーカイブ済み。 2017年6月14日取得。

[GT_Turovsky_2016-202] Turovsky, Barak (2016年11月15日) 「翻訳で発見: Google翻訳でより正確で流暢な文章」 . The Keyword Google Blog . 2017年4月7日のオリジナルからアーカイブ済み。2017年3月23日取得。

[googleblog_GNMT_2016-203] 1 2 3 4 Schuster, Mike; Johnson, Melvin; Thorat, Nikhil (2016年11月22日)。「Googleの多言語ニューラル機械翻訳システムによるゼロショット翻訳」。Googleリサーチブログ。2017年7月10日のオリジナルからアーカイブ。 2017年3月23日取得。

[GoogleTranslate-204] Wu, Yonghui; Schuster, Mike; Chen, Zhifeng; Le, Quoc V; Norouzi, Mohammad; Macherey, Wolfgang; Krikun, Maxim; Cao, Yuan; Gao, Qin; Macherey, Klaus; Klingner, Jeff; Shah, Apurva; Johnson, Melvin; Liu, Xiaobing; Kaiser, Łukasz; Gouws, Stephan; Kato, Yoshikiyo; Kudo, Taku; Kazawa, Hideto; Stevens, Keith; Kurian, George; Patil, Nishant; Wang, Wei; Young, Cliff; Smith, Jason; Riesa, Jason; Rudnick, Alex; Vinyals, Oriol; Corrado, Greg; et al. (2016). "Googleのニューラル機械翻訳システム：人間と機械翻訳のギャップを埋める". arXiv : 1609.08144 [ cs.CL ]。

[WiredGoogleTranslate-205] Metz, Cade (2016年9月27日) 「AIの導入によりGoogle翻訳はこれまで以上に強力に」Wired。2020年11月8日のオリジナルからアーカイブ。2017年10月12日取得。

[Biotet-206] 1 2 Boitet, Christian; Blanchon, Hervé; Seligman, Mark; Bellynck, Valérie (2010). "MT on and for the Web" (PDF) . 2017年3月29日にオリジナル(PDF)からアーカイブ済み。 2016年12月1日に取得。

[ARROWSMITH2013-207] Arrowsmith, J; Miller, P (2013). "治験ウォッチ：第II相および第III相の脱落率 2011-2012" . Nature Reviews Drug Discovery . 12 (8): 569. doi : 10.1038/nrd4090 . PMID 23903212 .

[VERBIEST2015-208] Verbist, B; Klambauer, G; Vervoort, L; Talloen, W; The Qstar, Consortium; Shkedy, Z; Thas, O; Bender, A; Göhlmann, HW; Hochreiter, S (2015). "Using transcriptomics to guide lead optimization in drug discovery projects: Lessons learned from the QSTAR project" . Drug Discovery Today . 20 (5): 505– 513. doi : 10.1016/j.drudis.2014.12.014 . hdl : 1942/18723 . PMID 25582842 .

[MERCK2012-209] 「Merck Molecular Activity Challenge」 . kaggle.com . 2020年7月16日のオリジナルからアーカイブ済み。2020年7月16日に取得。

[:5-210] ダール、ジョージ E.ジェイトリー、ナブディープ。サラクトディノフ、ルスラン (2014)。「QSAR 予測のためのマルチタスクニューラルネットワーク」。arXiv : 1406.1231 [ stat.ML ]。

[TOX21-211] 「21世紀の毒性学：データ課題」

[TOX21Data-212] 「NCATSがTox21データチャレンジの受賞者を発表」。2015年9月8日にオリジナルからアーカイブ済み。2015年3月5日に取得。

[:11-213] 「NCATSがTox21データチャレンジの受賞者を発表」。 2015年2月28日のオリジナルからアーカイブ。2015年3月5日取得。

[214] Wallach, Izhar; Dzamba, Michael; Heifets, Abraham (2015年10月9日). "AtomNet: 構造ベースの創薬における生物活性予測のための深層畳み込みニューラルネットワーク". arXiv : 1510.02855 [ cs.LG ].

[Toronto-215] 1 2 「トロントのスタートアップ企業が効果的な医薬品をより迅速に発見する方法を開発」。グローブ・アンド・メール紙。2015年10月20日のオリジナルからアーカイブ。2015年11月9日取得。

[216] 「スタートアップ企業がスーパーコンピューターを活用して治療法を模索」。KQED Future of You。2015年5月27日。2015年12月24日のオリジナルからアーカイブ。 2015年11月9日取得。

[217] Gilmer, Justin; Schoenholz, Samuel S.; Riley, Patrick F.; Vinyals, Oriol; Dahl, George E. (2017-06-12). "量子化学のためのニューラルメッセージパッシング". arXiv : 1704.01212 [ cs.LG ].

[218] Zhavoronkov, Alex (2019). "ディープラーニングにより強力なDDR1キナーゼ阻害剤を迅速に同定することが可能になる". Nature Biotechnology . 37 (9): 1038– 1040. doi : 10.1038/s41587-019-0224-x . PMID 31477924 .

[219] グレゴリー、バーバー。「AIによって設計された分子が『医薬品のような』特性を示す」。Wired 。2020年4月30日のオリジナルからアーカイブ。2019年9月5日に取得。

[220] ファン・デン・オールド、アーロン。ディーレマン、サンダー。シュラウウェン、ベンジャミン (2013)。「ディープコンテンツベースの音楽レコメンド」。神経情報処理システムの進歩。２６．

[221] Feng, XY; Zhang, H.; Ren, YJ; Shang, PH; Zhu, Y.; Liang, YC; Guan, RC; Xu, D. (2019). "深層学習に基づく生物医学出版媒体選択のための推薦システム「Pubmender」：開発と検証研究" . Journal of Medical Internet Research . 21 (5) e12957. doi : 10.2196/12957 . PMC 6555124 . PMID 31127715 .

[222] Elkahky, Ali Mamdouh; Song, Yang; He, Xiaodong (2015年5月1日). "推薦システムにおけるクロスドメインユーザーモデリングのためのマルチビュー深層学習アプローチ" . Microsoft Research . 2018年1月25日のオリジナルからアーカイブ済み。 2017年6月14日取得。

[223] Chicco, Davide; Sadowski, Peter; Baldi, Pierre (2014). "遺伝子オントロジー注釈予測のための深層オートエンコーダーニューラルネットワーク".第5回ACMバイオインフォマティクス、計算生物学、および健康情報学会議議事録. pp. 533–540 . doi : 10.1145/2649387.2649442 . hdl : 11311/964622 . ISBN 978-1-4503-2894-4。

[224] Sathyanarayana, Aarti (2016年1月1日). 「深層学習を用いたウェアラブルデータからの睡眠の質の予測」 . JMIR mHealth and uHealth . 4 (4): e125. doi : 10.2196/mhealth.6562 . PMC 5116102. PMID 27815231 .

[225] Choi, Edward; Schuetz, Andy; Stewart, Walter F.; Sun, Jimeng (2016年8月13日). 「心不全発症の早期発見のためのリカレントニューラルネットワークモデルの使用」 . Journal of the American Medical Informatics Association . 24 (2): 361– 370. doi : 10.1093/jamia/ocw112 . ISSN 1067-5027 . PMC 5391725 . PMID 27521897 .

[226] 「DeepMindのタンパク質折り畳みAIが生物学における50年来の大きな課題を解決した」。MITテクノロジーレビュー。2024年5月10日取得。

[227] Shead, Sam (2020-11-30). "DeepMindがタンパク質折り畳みAIで50年来の「大きな課題」を解決" CNBC . 2024-05-10に閲覧。

[SPB22-228] 1 2 Shalev , Yuval; Painsky, Amichai; Ben-Gal, Irad (2024 年 4 月)。「ニューラル結合エントロピー推定」。IEEE Transactions on Neural Networks and Learning Systems。35 ( 4 ) : 5488–5500。arXiv : 2012.11197。Bibcode : 2024ITNNL..35.5488S。doi : 10.1109 / TNNLS.2022.3204919。PMID 36155469。

[229] リッチェンス、ギアト。コーイ、ティスス。ベジノルディ、ババク・エテシャミ。セティオ、アルノー・アリンドラ・アディヨソ。チオンピ、フランチェスコ。ガフーリアン、モーセン。ファン・デル・ラーク、ジェロン・AWM。ファン・ギネケン、ブラム。サンチェス、クララ I. (2017 年 12 月)。「医用画像解析におけるディープラーニングに関する調査」。医用画像解析。42 : 60–88.arXiv : 1702.05747 。 Bibcode : 2017arXiv170205747L。土井：10.1016/j.media.2017.07.005。PMID 28778026。

[230] Forslid, Gustav; Wieslander, Hakan; Bengtsson, Ewert; Wahlby, Carolina; Hirsch, Jan-Michael; Stark, Christina Runow; Sadanandan, Sajith Kecheril (2017). "悪性腫瘍による細胞変化を検出するための深層畳み込みニューラルネットワーク" . 2017 IEEE International Conference on Computer Vision Workshops (ICCVW) . pp. 82– 89. doi : 10.1109/ICCVW.2017.18 . ISBN 978-1-5386-1034-32021年5月9日にオリジナルからアーカイブされました。2019年11月12日に取得。

[231] Dong, Xin; Zhou, Yizhao; Wang, Lantian; Peng, Jingfeng; Lou, Yanbo; Fan, Yiqun (2020). "Liver Cancer Detection Using Hybridized Fully Convolutional Neural Network Based on Deep Learning Framework" . IEEE Access . 8 : 129889–129898 . Bibcode : 2020IEEEA...8l9889D . doi : 10.1109/ACCESS.2020.3006362 . ISSN 2169-3536 .

[232] Lyakhov, Pavel Alekseevich; Lyakhova, Ulyana Alekseevna; Nagornov, Nikolay Nikolaevich (2022-04-03). "System for the Recognizing of Pigmented Skin Lesions with Fusion and Analysis of Heterogeneous Data Based on a Multimodal Neural Network" . Cancers . 14 ( 7): 1819. doi : 10.3390/cancers14071819 . ISSN 2072-6694 . PMC 8997449. PMID 35406591 .

[233] De, Shaunak; Maity, Abhishek; Goel, Vritti; Shitole, Sanjay; Bhattacharya, Avik (2017). "ライフスタイル雑誌のInstagram投稿の人気度を深層学習を用いて予測する". 2017年第2回通信システム、コンピューティング、ITアプリケーションに関する国際会議（CSCITA） . pp. 174–177 . doi : 10.1109/CSCITA.2017.8066548 . ISBN 978-1-5090-4381-1。

[234] 「ディープラーニングによる古い画像のカラー化と復元」。FloydHubブログ。2018年11月13日。2019年10月11日にオリジナルからアーカイブ。2019年10月11日に取得。

[235] Schmidt, Uwe; Roth, Stefan. Shrinkage Fields for Effective Image Restoration (PDF) . Computer Vision and Pattern Recognition (CVPR), 2014 IEEE Conference on. Archived (PDF) from the original on 2018-01-02 . Retrieved 2018-01-01 .

[236] Kleanthous, Christos; Chatzis, Sotirios (2020). "付加価値税監査ケース選択のためのゲート付き混合変分オートエンコーダー". Knowledge-Based Systems . 188 105048. doi : 10.1016/j.knosys.2019.105048 .

[237] Fan, Jiani; Khin Shar, Lwin; Zhang, Ruichen; Liu, Ziyao; Yang, Wenzhuo; Niyato, Dusit; Lam, Kwok-Yan (2026年3月15日). "モバイル取引におけるマネーロンダリング対策のための深層学習アプローチ：レビュー、フレームワーク、および方向性". IEEE Internet of Things Journal . 13 (6): 10407– 10431. Bibcode : 2026IITJ...1310407F . doi : 10.1109/JIOT.2026.3653434 . ISSN 2327-4662 .

[238] Nuñez, Michael (2023-11-29). 「Google DeepMindの材料AIはすでに220万個の新しい結晶を発見」。VentureBeat。2023-12-19に閲覧。

[239] Merchant, Amil; Batzner, Simon; Schoenholz, Samuel S.; Aykol, Muratahan; Cheon, Gowoon; Cubuk, Ekin Dogus (2023 年 12 月). "材料発見のための深層学習のスケーリング" . Nature . 624 (7990): 80– 85. Bibcode : 2023Natur.624...80M . doi : 10.1038/s41586-023-06735-9 . ISSN 1476-4687 . PMC 10700131 . PMID 38030720 .

[240] Peplow, Mark (2023年11月29日). 「Google AIとロボットが協力して新素材を開発」. Nature . doi : 10.1038/d41586-023-03745-5 . PMID 38030771 .

[:12-241] 1 2 3 「陸軍の研究者がロボットを訓練するための新しいアルゴリズムを開発」。EurekAlert !。2018年8月28日のオリジナルからアーカイブ済み。2018年8月29日取得。

[242] Raissi, M.; Perdikaris, P.; Karniadakis, GE (2019年2月). "物理学に基づいたニューラルネットワーク: 非線形偏微分方程式を含む順問題と逆問題を解くための深層学習フレームワーク" . Journal of Computational Physics . 378 : 686– 707. Bibcode : 2019JCoPh.378..686R . doi : 10.1016/j.jcp.2018.10.045 . OSTI 1595805 .

[243] Mao, Zhiping; Jagtap, Ameya D.; Karniadakis, George Em (2020年3月). "高速流れのための物理情報に基づくニューラルネットワーク" . Computer Methods in Applied Mechanics and Engineering . 360 112789. Bibcode : 2020CMAME.36012789M . doi : 10.1016/j.cma.2019.112789 .

[244] Raissi, Maziar; Yazdani, Alireza; Karniadakis, George Em (2020年2月28日). "隠れた流体力学: 流れの可視化から速度場と圧力場を学習する" . Science . 367 (6481): 1026– 1030. Bibcode : 2020Sci...367.1026R . doi : 10.1126/science.aaw4741 . PMC 7219083 . PMID 32001523 .

[245] Huang, Yunfei; Greenberg, David S. (2025). "Geometric and Physical Constraints Synergistically Enhance Neural PDE Surrogates". arXiv : 2506.05513 [ cs.LG ].

[Han2018-246] Han, J.; Jentzen, A.; E, W. (2018). "深層学習を用いた高次元偏微分方程式の解法" . Proceedings of the National Academy of Sciences . 115 (34): 8505– 8510. arXiv : 1707.02568 . Bibcode : 2018PNAS..115.8505H . doi : 10.1073/pnas.1718942115 . PMC 6112690 . PMID 30082389 .

[247] Oktem, Figen S.; Kar, Oğuzhan Fatih; Bezek, Can Deniz; Kamalabadi, Farzad (2021). "High-Resolution Multi-Spectral Imaging With Diffractive Lenses and Learned Reconstruction". IEEE Transactions on Computational Imaging . 7 : 489–504 . arXiv : 2008.11625 . Bibcode : 2021ITCI....7..489O . doi : 10.1109/TCI.2021.3075349 .

[248] Bernhardt, Melanie; Vishnevskiy, Valery; Rau, Richard; Goksel, Orcun (2020 年 12 月). "多領域シミュレーションによる変分ネットワークのトレーニング: 音速画像再構成". IEEE Transactions on Ultrasonics, Ferroelectrics, and Frequency Control . 67 (12): 2584–2594 . arXiv : 2006.14395 . Bibcode : 2020ITUFF..67.2584B . doi : 10.1109/TUFFC.2020.3010186 . PMID 32746211 .

[249] ラム、レミ。サンチェス・ゴンザレス、アルバロ。ウィルソン、マシュー。ウィルンズバーガー、ピーター。フォルトゥナート、メイレ。アレ、フェラン。ラヴリ、スーマン。エワルズ、ティモ。ザック・イートン・ローゼン。胡、威華。メローズ、アレクサンダー。ホイヤー、ステファン。ホランド、ジョージ。ビニャール、オリオール。ストット、ジャックリン (2023-12-22)。「上手に学ぶ世界の中期天気予報」。科学。382 (6677): 1416 – 1421。arXiv : 2212.12794。Bibcode : 2023Sci...382.1416L。土井：10.1126/science.adi2336。ISSN 0036-8075。PMID 37962497。

[250] Sivakumar, Ramakrishnan (2023-11-27). "GraphCast: 天気予報における画期的な進歩" . Medium . 2024-05-19に閲覧.

[251] Galkin, F.; Mamoshina, P.; Kochetov, K.; Sidorenko, D.; Zhavoronkov, A. (2020). "DeepMAge: 深層学習で開発されたメチル化老化時計" . Aging and Disease . doi : 10.14336/AD .

[UTGOFF-252] Utgoff, PE; Stracuzzi, DJ (2002). "多層学習". Neural Computation . 14 (10): 2497–2529 . doi : 10.1162/08997660260293319 . PMID 12396572 .

[ELMAN-253] エルマン、ジェフリー・L. (1998).生得性の再考：発達に関するコネクショニストの視点. MIT Press. ISBN 978-0-262-55030-7。

[SHRAGER-254] Shrager, J.; Johnson, MH (1996). "Dynamic plasticity influences the emergence of function in a simple cortical array". Neural Networks . 9 (7): 1119– 1129. doi : 10.1016/0893-6080(96)00033-0 . PMID 12662587 .

[QUARTZ-255] Quartz, Steven R.; Sejnowski, Terrence J. (1997 年 12 月). 「認知発達の神経基盤: 構成主義マニフェスト」. Behavioral and Brain Sciences . 20 (4): 537–556 . doi : 10.1017/s0140525x97001581 . PMID 10097006 .

[BLAKESLEE-256] S. Blakeslee、「脳の初期成長において、時間割が重要となる可能性がある」、ニューヨーク・タイムズ、科学セクション、pp. B5–B6、1995年。

[257] Mazzoni, P.; Andersen, RA; Jordan, MI (1991年5月15日). 「ニューラルネットワークのための、より生物学的に妥当な学習ルール」 . Proceedings of the National Academy of Sciences . 88 (10): 4433– 4437. Bibcode : 1991PNAS...88.4433M . doi : 10.1073/pnas.88.10.4433 . ISSN 0027-8424 . PMC 51674. PMID 1903542 .

[258] O'Reilly, Randall C. (1996年7月1日). "局所活性化差を用いた生物学的に妥当なエラー駆動型学習：一般化再循環アルゴリズム". Neural Computation . 8 (5): 895–938 . doi : 10.1162/neco.1996.8.5.895 . ISSN 0899-7667 .

[259] Testolin, Alberto; Zorzi, Marco (2016). "確率モデルと生成ニューラルネットワーク：正常および障害された神経認知機能のモデリングのための統一フレームワークに向けて" . Frontiers in Computational Neuroscience . 10 : 73. doi : 10.3389/fncom.2016.00073 . ISSN 1662-5188 . PMC 4943066 . PMID 27468262 .

[260] Testolin, Alberto; Stoianov, Ivilin; Zorzi, Marco (2017年9月)「文字認識は教師なし深層学習と自然画像特徴の再利用から生じる」Nature Human Behaviour . 1 (9): 657– 664. doi : 10.1038/s41562-017-0186-2 . ISSN 2397-3374 . PMID 31024135 .

[261] Buesing, Lars; Bill, Johannes; Nessler, Bernhard; Maass, Wolfgang (2011年11月3日). "Neural Dynamics as Sampling: A Model for Stochastic Computation in Recurrent Networks of Spiking Neurons" . PLOS Computational Biology . 7 (11) e1002211. Bibcode : 2011PLSCB...7E2211B . doi : 10.1371/journal.pcbi.1002211 . ISSN 1553-7358 . PMC 3207943. PMID 22096452 .

[262] Cash, S.; Yuste, R. (1999年2月). "CA1錐体ニューロンによる興奮性入力の線形加算" . Neuron . 22 (2): 383– 394. doi : 10.1016/s0896-6273(00)81098-3 . ISSN 0896-6273 . PMID 10069343 .

[263] Olshausen, B; Field, D (2004年8月1日). 「感覚入力のスパースコーディング」. Current Opinion in Neurobiology . 14 (4): 481– 487. doi : 10.1016/j.conb.2004.07.007 . PMID 15321069 .

[264] Yamins, Daniel LK; DiCarlo, James J (2016年3月)「目標指向型深層学習モデルを用いた感覚皮質の理解」Nature Neuroscience . 19 (3): 356–365 . doi : 10.1038/nn.4244 . ISSN 1546-1726 . PMID 26906502 .

[265] Zorzi, Marco; Testolin, Alberto (2018年2月19日) 「数感覚の起源に関する創発主義的視点」 Phil . Trans. R. Soc. B. 373 ( 1740) 20170043. doi : 10.1098 / rstb.2017.0043 . ISSN 0962-8436 . PMC 5784047. PMID 29292348 .

[266] Güçlü, Umut; van Gerven, Marcel AJ (2015年7月8日). "深層ニューラルネットワークは腹側経路全体にわたる神経表現の複雑性の勾配を明らかにする" . Journal of Neuroscience . 35 (27): 10005– 10014. arXiv : 1411.6422 . doi : 10.1523/jneurosci.5023-14.2015 . PMC 6605414 . PMID 26157000 .

[METZ2013-267] Metz, C. (2013年12月12日). 「Facebookの『ディープラーニング』の第一人者がAIの未来を明かす」 . Wired . 2014年3月28日のオリジナルよりアーカイブ。 2017年8月26日閲覧。

[268] Gibney, Elizabeth (2016). "Google AI アルゴリズムが古代の囲碁をマスター" . Nature . 529 (7587): 445– 446. Bibcode : 2016Natur.529..445G . doi : 10.1038/529445a . PMID 26819021 .

[269] シルバー、デイビッド; Huang, アジャ;マディソン、クリス・J。グエズ、アーサー。シフレ、ローラン。ドリーシェ、ジョージ・ヴァン・デン。シュリットヴィーザー、ジュリアン。アントノグルー、イオアニス。パニールシェルヴァム、ヴェーダ。マーク・ランクトット。ディーレマン、サンダー。グルー、ドミニク。ナム、ジョン。カルクブレンナー、ナル。Sutskever, イリヤ;リリックラップ、ティモシー。リーチ、マデリン。カヴククオール、コライ州。グライペル、トール。ハサビス、デミス（2016年1月28日）。「ディープニューラルネットワークとツリー検索で囲碁をマスターする」。自然。529 (7587): 484–489。Bibcode : 2016Natur.529..484S。doi : 10.1038/nature16961 . ISSN 0028-0836 . PMID 26819042 .

[270] 「Google DeepMindのアルゴリズムが深層学習などを用いて囲碁をマスター｜MITテクノロジーレビュー」。MITテクノロジーレビュー。2016年1月27日。 2016年2月1日のオリジナルからアーカイブ。 2016年1月30日取得。

[271] メッツ、ケイド（2017年11月6日）。「AI研究者がイーロン・マスク研究所を離れ、ロボット工学のスタートアップを立ち上げる」。ニューヨーク・タイムズ。2019年7月7日のオリジナルからアーカイブ。 2019年7月5日閲覧。

[272] Bradley Knox, W.; Stone, Peter (2008). "TAMER: 評価的強化によるエージェントの手動トレーニング". 2008 第 7 回 IEEE 国際開発学習会議. pp. 292–297 . doi : 10.1109/devlrn.2008.4640845 . ISBN 978-1-4244-2661-4。

[273] 「アルゴリズムと対話する：AIがより速く学習するようになる」 governmentciomedia.com 2018年5月16日。2018年8月28日のオリジナルからアーカイブ。 2018年8月29日取得。

[274] マーカス、ゲイリー (2018 年 1 月 14 日)。「深層学習に対する懐疑論の擁護」。ゲイリー・マーカス。2018年 10 月 12 日のオリジナルからアーカイブ済み。2018年10 月 11 日取得。

[Knight_2017-275] Knight, Will (2017年3月14日). 「DARPAはAIのブラックボックスを解明しようとするプロジェクトに資金提供している」 . MIT Technology Review . 2019年11月4日のオリジナルからアーカイブ済み。 2017年11月2日閲覧。

[276] Alexander Mordvintsev; Christopher Olah; Mike Tyka (2015年6月17日). "Inceptionism: Going Deeper into Neural Networks" . Google Research Blog. 2015年7月3日のオリジナルからアーカイブ済み。 2015年6月20日取得。

[277] Alex Hern (2015年6月18日) 「そう、アンドロイドは電気羊の夢を見る」。ガーディアン。2015年6月19日のオリジナルからアーカイブ。 2015年6月20日閲覧。

[278] 高橋、カルロス一成。フィゲイレード、フリオ・セザール・バストス・デ;ファヴァレット、ホセ・エドゥアルド・リッチャルディ（2023-03-24）。「検索傾向によるディープラーニングの普及: 国レベルの分析」。未来研究研究ジャーナル: 傾向と戦略。15 (1): e0695。土井：10.24023/FutureJournal/2175-5825/2023.v15i1.695。ISSN 2175-5825。

[goertzel-279] 1 2 3 Goertzel, Ben (2015). 「今日の深層学習アルゴリズムの病理の根底には深い理由があるのか？」.人工汎用知能. コンピュータサイエンス講義ノート. 第9205巻. 70–79頁. doi : 10.1007 /978-3-319-21365-1_8 . ISBN 978-3-319-21364-4。

[280] Nguyen, Anh; Yosinski, Jason; Clune, Jeff (2014). "ディープニューラルネットワークは簡単に騙される：認識できない画像に対する高信頼度予測". arXiv : 1412.1897 [ cs.CV ].

[281] セゲディ、クリスチャン。ザレンバ、ヴォイチェフ。スツケヴァー、イリヤ。ブルーナ、ジョアン。エルハン、ドゥミトル。グッドフェロー、イアン。ファーガス、ロブ (2013)。「ニューラルネットワークの興味深い特性」。arXiv : 1312.6199 [ cs.CV ]。

[282] Zhu, Song-Chun; Mumford, David (20 August 2007). "A Stochastic Grammar of Images". Foundations and Trends® in Computer Graphics and Vision . 2 (4): 259–362 . doi : 10.1561/0600000018 .

[283] ミラー、GA、およびN.チョムスキー。「パターンの概念」。パターン検出に関する会議論文、ミシガン大学。1957年。

[284] Eisner, Jason. "再帰構造の深層学習: 文法誘導" . 2017年12月30日のオリジナルからアーカイブ済み。 2015年5月10日取得。

[285] 「ハッカーはすでに人工知能を兵器化し始めている」。Gizmodo 。2017年9月11日。2019年10月11日にオリジナルからアーカイブ済み。2019年10月11日に取得。

[286] 「ハッカーがAIに愚かなミスをさせる方法」。The Daily Dot。2018年6月18日。2019年10月11日にオリジナルからアーカイブ。2019年10月11日に取得。

[:4-287] 1 2 3 4 5 「AIは騙されやすい ― なぜそれを変える必要があるのか」。シンギュラリティ・ハブ。2017年10月10日。2017年10月11日にオリジナルからアーカイブ。 2017年10月11日に取得。

[288] ギブニー、エリザベス (2017)。「偽動画を見抜く科学者」。ネイチャー。doi : 10.1038/nature.2017.22784。 2017年10月10日のオリジナルからアーカイブ。 2017年10月11日取得。

[289] Tubaro, Paola (2020). 「人工知能は誰の知能か？」 . Global Dialogue : 38–39 .

[:13-290] 1 2 Mühlhoff, Rainer (2019年11月6日). 「人間支援型人工知能：あるいは、人間の脳で大規模な計算を実行するにはどうすればよいか？機械学習のメディア社会学に向けて」 . New Media & Society . 22 (10): 1868– 1884. doi : 10.1177/1461444819885334 .

[ 1 ]

[

[ 4 ]

[ 5 ]

[ 6 ]

[

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ]

[ 13 ]

[ 14 ]

[ 15 ]

[ 16 ] 。

[ 17 ]

[ 18 ]

[ 19 ]

[ 20 ]

[ 21 ]

[ 22 ]

[ 23 ]

[

[ 25 ]

[ 26 ]

[

[

[

[

[

[

[

[

[

[ 36 ]

[ 37 ]

[ 38 ]

[

[

[

[

[

[ 44 ]

[

[

[

[

[

[

[

[

[

[

[

[

[ 57 ]

[ 58 ]

[ 59 ]

[

[

[

[

[

[ 65 ]

[ 66 ]

[ 67 ]

[ 68 ]

[

[ 70 ]

[ 71 ]

[ 72 ]

[ 73 ]

[ 74 ]

[ 75 ]

[

[ 77 ]

[ 78 ]

[ 79 ]

[ 81 ]

[ 82 ] 。

[ 83 ]

[ 84 ]

[ 85 ]

[ 86 ]勾配減少

[ 87 ]

[ 88 ]

[ 89 ]

[ 90 ]

[ 91 ]

[ 92 ]

[ 93 ]

[ 94 ]

[ 95 ]

[

[ 97 ]

[ 98 ]

[ 99 ]

[ 100 ]

[ 101 ]

[ 102 ]

概要

解釈

歴史