Loading article…
ディープラーニングは機械学習のサブセットであり、ニューラルネットワークを利用して分類、回帰、表現学習などのタスクを実行することに重点を置いています。この分野は生物学的神経科学からインスピレーションを得ており、人工ニューロンを層状に積み重ね、データを処理できるように「トレーニング」することを中心にしています。形容詞「ディープ」は、ネットワークで複数の層（3層から数百または数千層）を使用することを意味します。使用される方法は、教師あり、半教師あり、教師なしのいずれかです。[2]
一般的なディープラーニングネットワークアーキテクチャには、完全接続ネットワーク、ディープビリーフネットワーク、リカレントニューラルネットワーク、畳み込みニューラルネットワーク、生成的敵対ネットワーク、トランスフォーマー、ニューラルラディアンスフィールドなどがあります。これらのアーキテクチャは、コンピュータービジョン、音声認識、自然言語処理、機械翻訳、バイオインフォマティクス、薬物設計、医療画像分析、気候科学、材料検査、ボードゲームプログラムなどの分野に適用されており、人間の専門家のパフォーマンスに匹敵し、場合によってはそれを上回る結果を生み出しています。[3] [4] [5]
ニューラルネットワークの初期の形態は、生物システム、特に人間の脳における情報処理と分散通信ノードからヒントを得ました。しかし、現在のニューラルネットワークは生物の脳機能をモデル化することを目的としておらず、その目的には低品質のモデルであると一般的に考えられています。[6]
概要
現代のディープラーニングモデルのほとんどは、畳み込みニューラルネットワークやトランスフォーマーなどの多層ニューラルネットワークに基づいていますが、ディープビリーフネットワークやディープボルツマンマシンのノードなどの深層生成モデルで層ごとに編成された命題式や潜在変数も含めることができます。[7]
基本的に、ディープラーニングとは、階層構造を使用して入力データをやや抽象的で複合的な表現に変換する機械学習 アルゴリズムの一種を指します。たとえば、画像認識モデルでは、生の入力は画像（ピクセルのテンソルとして表現）である場合があります。最初の表現層は線や円などの基本的な形状を識別しようとし、2 番目の層はエッジの配置を構成してエンコードし、3 番目の層は鼻と目をエンコードし、4 番目の層は画像に顔が含まれていることを認識します。
重要なのは、ディープラーニングのプロセスは、どの特徴をどのレベルに最適に配置するかを独自に学習できることです。ディープラーニング以前の機械学習技術では、データを分類アルゴリズムが操作するのに適した表現に変換するために、手作業による特徴エンジニアリングが行われることが多かったです。ディープラーニングのアプローチでは、特徴は手作業で作成されず、モデルがデータから自動的に有用な特徴表現を発見します。これにより、手作業による調整が不要になるわけではありません。たとえば、レイヤーの数やレイヤーのサイズを変えることで、抽象化の度合いを変えることができます。[8] [2]
「ディープラーニング」の「ディープ」という言葉は、データが変換される層の数を指します。より正確には、ディープラーニングシステムは、かなりのクレジット割り当てパス（CAP）の深さを持っています。CAPは、入力から出力への変換のチェーンです。CAPは、入力と出力の間の潜在的な因果関係を説明します。フィードフォワードニューラルネットワークの場合、CAPの深さはネットワークの深さであり、隠れ層の数に1を加えた数です（出力層もパラメーター化されているため）。信号が層を複数回伝播する可能性があるリカレントニューラルネットワークの場合、CAPの深さは潜在的に無制限です。 [9]浅い学習とディープラーニングを区別する普遍的に同意された深さのしきい値はありませんが、ほとんどの研究者は、ディープラーニングには2を超えるCAP深さが必要であることに同意しています。深さ2のCAPは、任意の関数をエミュレートできるという意味で、普遍的な近似器であることが示されています。[10]それを超えて、層を増やしても、ネットワークの関数近似器の能力は向上しません。ディープ モデル (CAP > 2) は、シャロー モデルよりも優れた特徴を抽出できるため、追加のレイヤーによって特徴を効果的に学習できます。
ディープラーニングアーキテクチャは、貪欲なレイヤーバイレイヤー方式で構築できます。 [11]ディープラーニングは、これらの抽象化を解きほぐし、パフォーマンスを向上させる機能を選び出すのに役立ちます。[8]
ディープラーニングアルゴリズムは、教師なし学習タスクに適用できます。ラベルなしデータはラベル付きデータよりも豊富であるため、これは重要な利点です。教師なしでトレーニングできる深層構造の例としては、ディープビリーフネットワークがあります。[8] [12]
ディープラーニングという用語は、1986年にリナ・デヒターによって機械学習コミュニティに導入され、 [13] 2000年にイゴール・アイゼンバーグとその同僚によってブール閾値ニューロンの文脈で人工ニューラルネットワークに導入されました。[14] [15]ただし、その登場の歴史は明らかにより複雑です。[16]
解釈
ディープニューラルネットワークは、一般的に普遍近似定理[17] [18] [19] [20] [21]または確率的推論[22] [23] [8] [9] [24]の観点から解釈される。
古典的な普遍近似定理は、有限サイズの単一の隠れ層を持つフィードフォワードニューラルネットワークが連続関数を近似する能力に関するものです。[17] [18] [19] [20] 1989年に、シグモイド活性化関数に対する最初の証明がジョージ・サイベンコによって発表され[17]、1991年にカート・ホーニックによってフィードフォワード多層アーキテクチャに一般化されました。[18]最近の研究では、普遍近似は福島邦彦の正規化線形ユニットなどの非有界活性化関数にも当てはまることが示されました。[25] [26]
ディープニューラルネットワークの普遍近似定理は、幅は制限されているが深さは増加できるネットワークの容量に関するものです。Luら[21]は、ReLU活性化によるディープニューラルネットワークの幅が入力次元よりも厳密に大きい場合、ネットワークは任意のルベーグ積分関数を近似できることを証明しました。幅が入力次元より小さいか等しい場合、ディープニューラルネットワークは普遍近似器ではありません。
確率的解釈[24]は機械学習の分野に由来する。それは推論[23] [7] [8] [9] [12] [24]と、それぞれフィッティングと一般化に関連するトレーニングとテストの最適化概念を特徴とする。より具体的には、確率的解釈は、活性化の非線形性を累積分布関数として考慮する。[24]確率的解釈は、ニューラルネットワークの正則化としてドロップアウトの導入につながった。確率的解釈は、ホップフィールド、ウィドロウ、ナレンドラなどの研究者によって導入され、ビショップによる調査などで普及した。[27]
歴史
1980年以前
人工ニューラルネットワーク（ANN）には、フィードフォワードニューラルネットワーク（FNN）または多層パーセプトロン（MLP）とリカレントニューラルネットワーク（RNN）の2種類があります。RNNは接続構造にサイクルがありますが、FNNにはありません。1920年代に、ヴィルヘルム・レンツとエルンスト・イジングは、ニューロンのような閾値要素で構成される本質的に非学習RNNアーキテクチャであるイジングモデル[28] [29]を作成しました。1972年に、甘利俊一はこのアーキテクチャを適応型にしました。[30] [31]彼の学習RNNは1982年にジョン・ホップフィールドによって再出版されました。 [32]他の初期のリカレントニューラルネットワークは1971年に中野薫によって出版されました。[33] [34]すでに1948年に、アラン・チューリングは「インテリジェントマシナリー」に関する研究を発表しましたが、これは彼の生前には出版されませんでした。[35]これには「人工進化と学習RNNに関連するアイデア」が含まれていました。[31]
フランク・ローゼンブラット(1958) [36] は、入力層、学習しないランダムな重みを持つ隠れ層、出力層の 3 層からなる MLP であるパーセプトロンを提案しました。彼は後に 1962 年に本を出版し、その中でもさまざまなバリエーションやコンピュータ実験を紹介しました。その中には、最後の 2 つの層が重みを学習する「適応型前終端ネットワークを備えた」4 層パーセプトロンのバージョンも含まれていました (ここで彼は HD ブロックと BW ナイトに功績を認めています)。[37] : セクション 16 この本では、RD ジョセフ (1960) [38]による以前のネットワークが「この 4 層システムのバリエーションと機能的に同等」であると引用されています(この本ではジョセフについて 30 回以上言及されています)。したがって、ジョセフは学習型隠れユニットを備えた適切な適応型多層パーセプトロンの創始者と見なすべきでしょうか。残念ながら、学習アルゴリズムは機能的なものではなく、忘れ去られてしまいました。
最初の実用的なディープラーニングアルゴリズムは、1965年にアレクセイ・イヴァクネンコとラパが発表した、任意の深さのニューラルネットワークをトレーニングする方法であるグループデータ処理法でした。彼らはこれを多項式回帰の一形態、 [39]またはローゼンブラットのパーセプトロンの一般化とみなしました。[40] 1971年の論文では、この方法でトレーニングされた8層のディープネットワークについて説明しました。 [41]これは、回帰分析による層ごとのトレーニングに基づいています。余分な隠れユニットは、別の検証セットを使用して削除されます。ノードの活性化関数はコルモゴロフ-ガボール多項式であるため、これらは乗法ユニットまたは「ゲート」を備えた最初のディープネットワークでもありました。[31]
確率的勾配降下法[42]によって訓練された最初の深層学習多層パーセプトロンは、 1967年に天利俊一によって発表されました。[43]天利の学生である斎藤が行ったコンピュータ実験では、2つの変更可能な層を持つ5層のMLPが、 非線形に分離可能なパターンクラスを分類するための内部表現を学習しました。 [31]その後のハードウェアとハイパーパラメータのチューニングの進歩により、エンドツーエンドの確率的勾配降下法が現在主流の訓練手法となっています。
1969年に福島邦彦はReLU（Rectified Linear Unit）活性化関数を導入した。[25] [31] ReLUはディープラーニングにおける最も人気のある活性化関数となった。[44]
畳み込み層とダウンサンプリング層を備えた畳み込みニューラルネットワーク（CNN）の深層学習アーキテクチャは、1979年に福島邦彦が導入したネオコグニトロンから始まったが、バックプロパゲーションによる訓練は行われなかった。[45] [46]
バックプロパゲーションは、ゴットフリート・ヴィルヘルム・ライプニッツが1673年に導き出した連鎖律[47]を微分可能ノードのネットワークに効率的に適用したものである。「バックプロパゲーション誤差」という用語は、実際には1962年にローゼンブラットによって導入されたが[37]、彼はこれをどのように実装するかを知らなかった。一方、ヘンリー・J・ケリーは、 1960年に制御理論の文脈でバックプロパゲーションの連続的な先駆者を持っていた。[48]バックプロパゲーションの現代的な形式は、セッポ・リンナインマーの修士論文（1970年）で初めて発表された。[49] [50] [31] GM オストロフスキーら1971年に再出版された。[51] [52]ポール・ワーボスは1982年にバックプロパゲーションをニューラルネットワークに適用した[53]（1974年の博士論文は1994年の本に再録されたが[54] 、アルゴリズムはまだ説明されていなかった[52]）。1986年にデビッド・E・ルメルハートらがバックプロパゲーションを普及させたが、元の研究を引用しなかった。[55] [56]
1980年代～2000年代
時間遅延ニューラルネットワーク（TDNN）は、CNNを音素認識に適用するために、1987年にAlex Waibelによって導入されました。畳み込み、重み共有、バックプロパゲーションを使用しました。[57] [58] 1988年に、Wei ZhangはバックプロパゲーションでトレーニングされたCNNをアルファベット認識に適用しました。[59] 1989年に、Yann LeCunらは、郵便物の手書きの郵便番号を認識するためにLeNetと呼ばれるCNNを作成しました。トレーニングには3日かかりました。 [60] 1990年に、Wei Zhangは光コンピューティングハードウェア上にCNNを実装しました。[61] 1991年に、CNNは医療画像オブジェクトのセグメンテーション[62]とマンモグラムでの乳がん検出に適用されました。[63] Yann LeCunらによる数字を分類する7レベルCNNであるLeNet -5（1998）は、いくつかの銀行で32×32ピクセルの画像にデジタル化された小切手上の手書きの数字を認識するために適用されました。[64]
リカレントニューラルネットワーク（RNN）[28] [30]は1980年代にさらに発展しました。リカレントはシーケンス処理に使用され、リカレントネットワークを展開すると、数学的には深いフィードフォワード層に似ています。そのため、これらは同様の特性と問題を持ち、その発展は相互に影響を与えました。RNNにおいて、初期の影響力のある2つの研究は、ジョーダンネットワーク（1986）[65]とエルマンネットワーク（1990）[66]であり、これらはRNNを認知心理学の問題の研究に適用しました。
1980 年代、バックプロパゲーションは、クレジット割り当てパスが長いディープラーニングではうまく機能しませんでした。この問題を克服するために、1991 年にJürgen Schmidhuber は、自己教師あり学習によって一度に 1 レベルずつ事前トレーニングされた RNN の階層を提案しました。この階層では、各 RNN が自身の次の入力を予測しようとします。この入力は、下位の RNN の次の予期しない入力です。[67] [68]この「ニューラル ヒストリー コンプレッサー」は、予測コーディングを使用して、複数の自己組織化時間スケールで内部表現を 学習します。これにより、下流のディープラーニングが大幅に容易になります。RNN 階層は、上位レベルのチャンカーネットワークを下位レベルのオートマタイザーネットワークに蒸留することで、単一の RNN に 縮小できます。 [67] [68] [31] 1993 年、ニューラル ヒストリー コンプレッサーは、時間的に展開された RNN で1000 を超える後続のレイヤーを必要とする「非常にディープラーニング」タスクを解決しました。 [69] ChatGPTの「P」はそのような事前トレーニングを指します。
セップ・ホッホライターの卒業論文（1991年）[70]はニューラル履歴コンプレッサーを実装し、[67]勾配消失問題を特定して分析しました。[70] [71]ホッホライターは勾配消失問題を解決するために 再帰残差接続を提案しました。これは1995年に発表された長短期記憶（LSTM）につながりました。 [72] LSTMは、数千の離散時間ステップ前に発生したイベントの記憶を必要とする長いクレジット割り当てパスを持つ「非常に深い学習」タスク[9]を学習できます。そのLSTMはまだ最新のアーキテクチャではなく、1999年に導入された「忘却ゲート」を必要としました。[73]これが標準的なRNNアーキテクチャになりました。
1991年、ユルゲン・シュミットフーバーも、ゼロサムゲームの形で互いに競合する敵対的ニューラルネットワークを発表しました。このゲームでは、一方のネットワークの利益はもう一方のネットワークの損失となります。[74] [75]最初のネットワークは、出力パターンの確率分布をモデル化する生成モデルです。2番目のネットワークは、勾配降下法によって学習し、これらのパターンに対する環境の反応を予測します。これは「人工好奇心」と呼ばれていました。2014年、この原理は生成的敵対的ネットワーク（GAN）で使用されました。[76]
1985年から1995年にかけて、統計力学に触発されて、テリー・セジュスキー、ピーター・ダヤン、ジェフリー・ヒントンらによって、ボルツマンマシン[77] 、制限付きボルツマンマシン[78] 、 [ヘルムホルツマシン] 、[79]、ウェイクスリープアルゴリズム[80]など、いくつかのアーキテクチャと手法が開発されました。これらは、深層生成モデルの教師なし学習用に設計されました。しかし、バックプロパゲーションに比べて計算コストが高かったです。1985年に発表されたボルツマン機械学習アルゴリズムは、1986年にバックプロパゲーションアルゴリズムに追い抜かれるまで一時的に人気がありました。（p. 112 [81] ）。1988年のネットワークは、深層学習のバイオインフォマティクスへの初期の応用であるタンパク質構造予測の最先端の技術となりました。[82]
音声認識のためのANNの浅い学習と深い学習（例えば、リカレントネット）は、長年にわたって研究されてきました。[83] [84] [85]これらの方法は、識別的に訓練された音声の生成モデルに基づく、非均一な内部ハンドクラフトガウス混合モデル/隠れマルコフモデル（GMM-HMM）技術を上回ることはありませんでした。 [86]勾配減少[70]やニューラル予測モデルにおける弱い時間的相関構造など、主要な困難が分析されてきました。 [87] [88]追加の困難は、トレーニングデータの不足と計算能力の限界でした。
音声認識の研究者の多くは、ニューラルネットから離れて生成モデリングを追求しました。例外は1990年代後半のSRIインターナショナルでした。米国政府のNSAとDARPAの資金提供を受けて、SRIは音声と話者認識の研究を行いました。ラリー・ヘック率いる話者認識チームは、 1998年のNIST話者認識ベンチマークで、音声処理におけるディープニューラルネットワークの大きな成功を報告しました。[89] [90]これはNuance Verifierに導入され、ディープラーニングの最初の主要な産業用アプリケーションとなりました。[91]
手作業による最適化よりも「生の」特徴を重視する原理は、1990年代後半に「生の」スペクトログラムや線形フィルタバンクの特徴に対するディープオートエンコーダのアーキテクチャで初めて成功裏に研究され、 [90]スペクトログラムからの固定変換段階を含むメルケプストラム特徴よりも優れていることが示されました。音声の生の特徴である波形は、後に優れた大規模結果を生み出しました。[92]
2000年代
ニューラル ネットワークは停止状態となり、1990 年代と 2000 年代には、人工ニューラル ネットワークの計算コストと、脳が生物学的ネットワークをどのように配線するかについての理解不足により、ガボール フィルターやサポート ベクター マシン(SVM) などのタスク固有の手作り機能を使用するより単純なモデルが好まれるようになりました。[引用が必要]
2003年、LSTMは特定のタスクにおいて従来の音声認識装置と競合できるようになりました。[93] 2006年、Alex Graves、Santiago Fernández、Faustino Gomez、Schmidhuberは、LSTMのスタックでLSTMをコネクショニスト時間分類（CTC）[94]と組み合わせました。[95] 2009年には、LSTMは連結手書き認識のパターン認識コンテストで優勝した最初のRNNとなりました。[96] [9]
2006年に、ジェフ・ヒントン、ルスラン・サラクディノフ、オシンデロ、テフ[97] [98] による論文で、生成モデリングのためのディープ・ビリーフ・ネットワークが開発された。ディープ・ビリーフ・ネットワークは、1つの制限付きボルツマンマシンを訓練し、それを凍結して最初のマシンの上に別のマシンを訓練する、というように訓練され、その後、必要に応じて教師ありバックプロパゲーションを使用して微調整される。 [99] MNIST画像の分布などの高次元の確率分布をモデル化することはできたが、収束は遅かった。[100] [101] [102]
ヤン・ルカン氏によると、ディープラーニングの産業界への影響は2000年代初頭に始まり、当時CNNはすでに米国で発行された小切手の約10～20％を処理していたと推定されています。[103]ディープラーニングの大規模な音声認識への産業応用は2010年頃に始まりました。
2009 年の音声認識のためのディープラーニングに関する NIPS ワークショップは、音声のディープ生成モデルの限界と、より高性能なハードウェアと大規模なデータセットがあればディープニューラルネットが実用的になる可能性を動機として開催されました。ディープビリーフネット (DBN) の生成モデルを使用して DNN を事前トレーニングすると、ニューラルネットの主な困難を克服できると考えられていました。しかし、大規模なコンテキスト依存の出力層を持つ DNN を使用する場合、事前トレーニングを大量のトレーニングデータに置き換えて単純なバックプロパゲーションを行うと、当時の最先端のガウス混合モデル (GMM)/隠れマルコフモデル (HMM) や、より高度な生成モデルベースのシステムよりも大幅に低いエラー率が得られることがわかりました。[104] 2 種類のシステムによって生成される認識エラーの性質は特徴的に異なり、[105]すべての主要な音声認識システムで導入されている既存の非常に効率的なランタイム音声デコードシステムにディープラーニングを統合する方法に関する技術的な洞察が得られました。[23] [106] [107] 2009年から2010年頃に行われたGMM（およびその他の生成音声モデル）とDNNモデルを比較した分析は、音声認識のためのディープラーニングへの初期の産業界の投資を刺激しました。[105] この分析では、識別DNNと生成モデルのパフォーマンスが同等（エラー率1.5％未満）でした。[104] [105] [108] 2010年に、研究者は、決定木によって構築されたコンテキスト依存のHMM状態に基づくDNNの大規模な出力層を採用することで、 TIMITから大語彙の音声認識にディープラーニングを拡張しました。[109] [110] [111] [106]
ディープラーニング革命
ディープラーニング革命は、CNN と GPU ベースのコンピューター ビジョンから始まりました。
バックプロパゲーションで訓練されたCNNは数十年前から存在しており、NNのGPU実装は何年も前から行われていましたが[112]、CNNも含め[113]、コンピュータビジョンの進歩にはGPU上でのCNNのより高速な実装が必要でした。その後、ディープラーニングが普及するにつれて、ディープラーニング専用のハードウェアとアルゴリズムの最適化が開発されました[114] 。
ディープラーニング革命の重要な進歩はハードウェア、特にGPUの進歩でした。初期の研究は2004年にまで遡ります。[112] [113] 2009年に、Raina、Madhavan、Andrew Ngは、30個のNvidia GeForce GTX 280 GPUでトレーニングされた1億のディープビリーフネットワークを報告しました。これはGPUベースのディープラーニングの初期のデモンストレーションです。彼らは、トレーニングが最大70倍高速になったと報告しました。[115]
2011年、ダン・チレサン、ウエリ・マイヤー、ジョナサン・マシ、ルカ・マリア・ガンバルデッラ、ユルゲン・シュミットフーバーによるDanNet [116] [ 117]というCNNが、視覚パターン認識コンテストで初めて超人的なパフォーマンスを達成し、従来の方法の3倍の性能を発揮しました。 [9]その後、さらに多くのコンテストで優勝しました。[118] [119]彼らはまた、GPU上で最大プーリングCNNがパフォーマンスを大幅に向上させることを示しました。[3]
2012年、アンドリュー・ンとジェフ・ディーンは、 YouTube動画から取得したラベルのない画像を見るだけで、猫などの高レベルの概念を認識することを学習するFNNを作成した。[120]
2012年10月、アレックス・クリジェフスキー、イリヤ・スツケヴァー、ジェフリー・ヒントンによるAlexNet [4]は、大規模なImageNetコンペティションで、浅い機械学習手法に大幅な差をつけて優勝しました。その後の漸進的な改良としては、カレン・シモニャンとアンドリュー・ジッサーマンによるVGG-16ネットワーク[121]やGoogleのInceptionv3 [122]などがあります。
画像分類における成功は、その後、 CNNとLSTMの組み合わせとして、画像の説明（キャプション）を生成するというより困難なタスクへと拡大されました。 [123] [124] [125]
2014年、最先端技術は20～30層の「非常に深いニューラルネットワーク」を訓練することでした。[126]層を積みすぎると訓練精度が急激に低下し、[127]「劣化」問題として知られています。[128] 2015年には、非常に深いネットワークを訓練するための2つの技術が開発されました。Highway Networkは2015年5月に公開され、残差ニューラルネットワーク（ResNet）[129]は2015年12月に公開されました。ResNetはオープンゲートのHighway Netのように動作します。
同じ頃、ディープラーニングは芸術分野に影響を与え始めました。初期の例としては、Google DeepDream（2015年）やニューラルスタイル転送（2015年）[130]があり、どちらもVGG-19などの事前学習済みの画像分類ニューラルネットワークに基づいていました。
イアン・グッドフェローらによる生成的敵対的ネットワーク（GAN）[131] （ユルゲン・シュミットフーバーの人工好奇心の原理[74] [76]に基づく ）は、2014年から2018年にかけて生成モデリングの最先端技術となった。優れた画像品質は、テロ・カラスらによるプログレッシブGAN[133]に基づくNvidiaのStyleGAN（2018）[132]によって達成されている。ここでは、GANジェネレーターはピラミッド型に小規模から大規模へと成長していく。GANによる画像生成は大成功を収め、ディープフェイクに関する議論を巻き起こした。[134] 拡散モデル（2015）[135]はそれ以来、 DALL·E 2（2022）や安定拡散（2022） などのシステムにより、生成モデリングにおいてGANを凌駕してきました。
2015年、Googleの音声認識機能はLSTMベースのモデルによって49%向上し、スマートフォンのGoogle音声検索で利用できるようになりました。[136] [137]
ディープラーニングは、特にコンピュータビジョンや自動音声認識（ASR）など、さまざまな分野の最先端システムの一部です。TIMIT（ASR）やMNIST（画像分類）などの一般的に使用される評価セット、およびさまざまな大語彙の音声認識タスクの結果は着実に改善されています。[104] [138]畳み込みニューラルネットワークは、ASRではLSTMに取って代わられました。[137] [139] [140] [141]しかし、コンピュータビジョンではより成功しています。
ヨシュア・ベンジオ、ジェフリー・ヒントン、ヤン・ルカンは、「ディープニューラルネットワークをコンピューティングの重要な要素にした概念的および工学的なブレークスルー」により2018年のチューリング賞を受賞した。 [142]
ニューラルネットワーク
人工ニューラル ネットワーク( ANN ) またはコネクショニストシステムは、動物の脳を構成する生物学的ニューラル ネットワークにヒントを得たコンピューティング システムです。このようなシステムは、通常、タスク固有のプログラミングを行わずに、例を検討することでタスクの実行を学習します (徐々に能力が向上します)。たとえば、画像認識では、手動で「猫」または「猫なし」とラベル付けされたサンプル画像を分析し、分析結果を使用して他の画像内の猫を識別することで、猫を含む画像を識別することを学習する場合があります。これらは、ルール ベース プログラミングを使用する従来のコンピューター アルゴリズムでは表現が難しいアプリケーションで最もよく使用されています。
ANN は、人工ニューロンと呼ばれる接続されたユニットの集合に基づいています (生物学的脳の生物学的ニューロンに類似)。ニューロン間の各接続 (シナプス) は、別のニューロンに信号を送信できます。受信側 (シナプス後) ニューロンは信号を処理し、それに接続された下流のニューロンに信号を送信できます。ニューロンは状態を持つ場合があり、これは一般に0 から 1 の間の実数で表されます。ニューロンとシナプスには、学習の進行に伴って変化する重みがあり、下流に送信する信号の強度を増減できます。
通常、ニューロンは層状に構成されます。異なる層は、入力に対して異なる種類の変換を実行します。信号は、最初の層 (入力) から最後の層 (出力) まで、層を複数回通過した後で伝わります。
ニューラル ネットワーク アプローチの当初の目標は、人間の脳と同じように問題を解決することでした。時間が経つにつれて、特定の精神的能力を一致させることに注目が集まり、バックプロパゲーション、つまり情報を逆方向に渡してその情報を反映するようにネットワークを調整するといった生物学からの逸脱につながりました。
ニューラル ネットワークは、コンピューター ビジョン、音声認識、機械翻訳、ソーシャル ネットワークフィルタリング、ボード ゲームやビデオ ゲームのプレイ、医療診断など、 さまざまなタスクに使用されてきました。
2017年現在、ニューラルネットワークは通常、数千から数百万のユニットと数百万の接続を持っています。この数は人間の脳のニューロンの数よりも数桁少ないですが、これらのネットワークは人間を超えるレベルで多くのタスクを実行できます（例：顔認識、囲碁[144]）。
ディープニューラルネットワーク
ディープニューラルネットワーク（DNN）は、入力層と出力層の間に複数の層を持つ人工ニューラルネットワークです。[7] [9]ニューラルネットワークにはさまざまな種類がありますが、常に同じコンポーネント（ニューロン、シナプス、重み、バイアス、関数）で構成されています。[145]これらのコンポーネントは全体として、人間の脳の機能を模倣する方法で機能し、他のMLアルゴリズムと同様にトレーニングできます。[要出典]
たとえば、犬の品種を認識するように訓練された DNN は、与えられた画像を調べ、画像内の犬が特定の品種である確率を計算します。ユーザーは結果を確認し、ネットワークが表示する確率 (特定のしきい値を超えるなど) を選択して、提案されたラベルを返すことができます。このような数学的操作はそれぞれレイヤーと見なされ、[146]複雑な DNN には多くのレイヤーがあるため、「ディープ」ネットワークと呼ばれます。
DNNは複雑な非線形関係をモデル化できます。DNNアーキテクチャは、オブジェクトがプリミティブの階層化された構成として表現される構成モデルを生成します。[147]追加のレイヤーにより、下位レイヤーからの特徴の合成が可能になり、同様に機能する浅いネットワークよりも少ないユニットで複雑なデータをモデル化できる可能性があります。[7]たとえば、スパース多変量多項式は、浅いネットワークよりもDNNで近似するのが指数関数的に簡単であることが証明されました。[148]
ディープアーキテクチャには、いくつかの基本的なアプローチの多くのバリエーションが含まれています。各アーキテクチャは特定のドメインで成功を収めています。同じデータセットで評価されていない限り、複数のアーキテクチャのパフォーマンスを比較することは必ずしも可能ではありません。[146]
DNN は一般的にフィードフォワード ネットワークであり、データはループバックせずに入力層から出力層に流れます。まず、DNN は仮想ニューロンのマップを作成し、それらの間の接続にランダムな数値、つまり「重み」を割り当てます。重みと入力が乗算され、0 から 1 の間の出力が返されます。ネットワークが特定のパターンを正確に認識できなかった場合、アルゴリズムによって重みが調整されます。[149]このようにして、アルゴリズムは特定のパラメータの影響度を高め、データを完全に処理するための正しい数学的操作を決定します。
データがどの方向にも流れることができるリカレントニューラルネットワークは、言語モデルなどのアプリケーションに使用されます。[150] [151] [152] [153] [154]長期短期記憶は、この用途に特に効果的です。[155] [156]
畳み込みニューラルネットワーク（CNN）はコンピュータビジョンで使用されています。[157] CNNは自動音声認識（ASR）の音響モデリングにも応用されています。 [158]
課題
ANN と同様に、単純にトレーニングされた DNN では多くの問題が発生する可能性があります。よくある 2 つの問題は、過剰適合と計算時間です。
DNN は、抽象化のレイヤーが追加されているため、トレーニング データ内のまれな依存関係をモデル化できるため、過剰適合になりやすい。過剰適合に対処するために、トレーニング中に Ivakhnenko のユニット プルーニング[41]や重み減衰( - 正則化)、スパース性( - 正則化)などの正則化手法を適用できる。[159]あるいは、ドロップアウト正則化は、トレーニング中に隠れ層からユニットをランダムに省略する。これは、まれな依存関係を排除するのに役立ちます。[160]最近の興味深い開発のもう 1 つは、モデル化されるタスクの本質的な複雑さを推定することにより、十分な複雑さのモデルを研究することです。このアプローチは、交通予測などの多変量時系列予測タスクにうまく適用されています。[161]最後に、トリミングや回転などの方法でデータを拡張して、より小さなトレーニング セットのサイズを大きくし、過剰適合の可能性を減らすことができます。[162]
DNN では、サイズ (層の数と層あたりのユニット数)、学習率、初期重みなど、多くのトレーニング パラメータを考慮する必要があります。パラメータ空間を掃引して最適なパラメータを探すことは、時間と計算リソースのコストがかかることから、実現可能ではない場合があります。バッチ処理(個々の例ではなく、複数のトレーニング例の勾配を一度に計算する) [163]などのさまざまなトリックにより、計算が高速化されます。多数のコアを持つアーキテクチャ (GPU や Intel Xeon Phi など) の大規模な処理能力により、このような処理アーキテクチャが行列計算やベクトル計算に適しているため、トレーニングが大幅に高速化されました。[164] [165]
あるいは、エンジニアは、より単純で収束的なトレーニングアルゴリズムを備えた他のタイプのニューラルネットワークを探すかもしれません。CMAC（小脳モデル関節コントローラ）はそのようなニューラルネットワークの1つです。学習率やランダム化された初期重みを必要としません。トレーニングプロセスは、新しいデータバッチで1ステップで収束することが保証されており、トレーニングアルゴリズムの計算の複雑さは、関連するニューロンの数に対して線形です。[166] [167]
ハードウェア
2010年代以降、機械学習アルゴリズムとコンピュータハードウェアの両方の進歩により、多くの層の非線形隠れユニットと非常に大きな出力層を含むディープニューラルネットワークをトレーニングするためのより効率的な方法が生まれました。[168] 2019年までに、多くの場合AI固有の機能強化を備えたグラフィックスプロセッシングユニット（GPU）は、大規模な商用クラウドAIをトレーニングするための主要な方法としてCPUに取って代わりました。[169] OpenAIは、AlexNet（2012年）からAlphaZero（2017年）までの最大のディープラーニングプロジェクトで使用されるハードウェア計算を推定し、必要な計算量が30万倍に増加し、倍増時間のトレンドラインは3.4か月であることを発見しました。[170] [171]
ディープラーニングプロセッサと呼ばれる特殊な電子回路は、ディープラーニングアルゴリズムを高速化するために設計されました。ディープラーニングプロセッサには、 Huaweiの携帯電話のニューラルプロセッシングユニット（NPU） [172]や、Google Cloud Platformのテンソルプロセッシングユニット（TPU）などのクラウドコンピューティングサーバーが含まれます。[173] Cerebras Systemsは、業界最大のプロセッサである第2世代のWafer Scale Engine（WSE-2）をベースに、大規模なディープラーニングモデルを処理するための専用システムCS-2も構築しました。[174] [175]
原子レベルの薄さの半導体は、論理演算とデータストレージの両方に同じ基本的なデバイス構造が使用されるエネルギー効率の高いディープラーニングハードウェアに有望であると考えられています。2020年に、Maregaらは、浮遊ゲート電界 効果トランジスタ（FGFET）に基づくロジックインメモリデバイスと回路を開発するための大面積アクティブチャネル材料を使用した実験を発表しました。[176]
2021年、J.フェルドマンらは、並列畳み込み処理のための統合フォトニック ハードウェアアクセラレータを提案した。[177]著者らは、電子的な同等技術に対する統合フォトニクスの2つの重要な利点を特定している。(1)周波数コムと組み合わせた波長分割多重化による超並列データ転送、および(2)非常に高いデータ変調速度である。[177]彼らのシステムは、1秒間に数兆回の乗算累積演算を実行でき、データ量の多いAIアプリケーションにおける統合フォトニクスの可能性を示している。[177]
アプリケーション
自動音声認識
大規模な自動音声認識は、ディープラーニングの最初の、そして最も説得力のある成功例です。LSTM RNNは、数千の離散時間ステップで区切られた音声イベントを含む数秒間隔を含む「非常にディープラーニング」タスク[9]を学習できます。1時間ステップは約10ミリ秒に相当します。忘却ゲートを備えたLSTM [156]は、特定のタスクでは従来の音声認識装置と競合します。[93]
音声認識における最初の成功は、TIMITに基づく小規模な認識タスクに基づいていました。データセットには、アメリカ英語の8つの主要な方言からの630人の話者が含まれており、各話者は10の文を読みます。[178]サイズが小さいため、多くの構成を試すことができます。さらに重要なのは、TIMITタスクは音素シーケンス認識に関するもので、単語シーケンス認識とは異なり、弱い音素バイグラム言語モデルを使用できることです。これにより、音声認識の音響モデリングの側面の強さをより簡単に分析できます。これらの初期の結果を含む、パーセント音素エラー率（PER）として測定された以下のエラー率は、1991年以来まとめられています。
1990年代後半に話者認識のためのDNNが登場し、2009～2011年頃には音声認識、2003～2007年頃にはLSTMが登場し、8つの主要分野で進歩が加速した。[23] [108] [106]
- スケールアップ/アウトと加速された DNN トレーニングとデコード
- シーケンス識別トレーニング
- 基礎となるメカニズムをしっかりと理解した深層モデルによる特徴処理
- DNNと関連する深層モデルの適応
- DNN と関連する深層モデルによるマルチタスクと転移学習
- CNNと、音声に関するドメイン知識を最大限に活用するための設計方法
- RNNとその豊富な LSTM バリアント
- テンソルベースのモデルや統合された深層生成/識別モデルなどの他の種類の深層モデル。
すべての主要な商用音声認識システム（例：Microsoft Cortana、Xbox、Skype Translator、Amazon Alexa、Google Now、Apple Siri、BaiduおよびiFlyTekの音声検索、 Nuanceのさまざまな音声製品など）はディープラーニングに基づいています。[23] [183] [184]
画像認識
画像分類の一般的な評価セットは、MNISTデータベースデータセットです。MNISTは手書きの数字で構成されており、60,000のトレーニング例と10,000のテスト例が含まれています。TIMITと同様に、サイズが小さいため、ユーザーは複数の構成をテストできます。このセットの結果の包括的なリストが利用可能です。[185]
ディープラーニングに基づく画像認識は「超人的」となり、人間の参加者よりも正確な結果を生み出している。これは2011年に交通標識の認識で初めて実現し、2014年には人間の顔の認識で実現した。[186] [187]
ディープラーニングで訓練された車両は現在、360°カメラの映像を解釈します。[188]もう1つの例は、遺伝性症候群の大規模なデータベースに接続された人間の奇形症例を分析するために使用される顔面異形学新奇分析（FDNA）です。
視覚芸術処理
画像認識の進歩と密接に関連しているのは、さまざまな視覚芸術のタスクへのディープラーニング技術の応用の増加です。DNNは、例えば、次のような能力があることが証明されています。
- 特定の絵画の様式の時代を特定すること[189] [190]
- ニューラルスタイルトランスファー – 特定のアートワークのスタイルをキャプチャし、任意の写真やビデオに視覚的に心地よい方法で適用する[189] [190]
- ランダムな視覚入力フィールドに基づいて印象的な画像を生成する。[189] [190]
自然言語処理
ニューラルネットワークは2000年代初頭から言語モデルの実装に使用されてきました。[150] LSTMは機械翻訳と言語モデルの改善に役立ちました。[151] [152] [153]
この分野の他の重要な技術としては、ネガティブサンプリング[191]と単語埋め込みがある。word2vecなどの単語埋め込みは、ディープラーニングアーキテクチャの表現層と考えることができる。これは、原子単語をデータセット内の他の単語に対する単語の位置表現に変換する。位置はベクトル空間内の点として表される。単語埋め込みをRNN入力層として使用すると、ネットワークは効果的な構成ベクトル文法を使用して文や句を解析できる。構成ベクトル文法は、RNNによって実装された確率的文脈自由文法（PCFG）と考えることができる。 [192]単語埋め込み上に構築された再帰オートエンコーダは、文の類似性を評価し、言い換えを検出できる。[192]ディープニューラルアーキテクチャは、構成構文解析、[193]感情分析、[194]情報検索、[195] [196]音声言語理解、[197]機械翻訳、[151] [198]文脈エンティティリンク、[198]文体認識、[199]固有表現認識（トークン分類）、[200]テキスト分類などにおいて最良の結果をもたらします。[201]
最近の開発により、単語の埋め込みが文の埋め込みに一般化されました。
Google翻訳（GT）は、大規模なエンドツーエンドの長短期記憶（LSTM）ネットワークを使用しています。[202] [203] [204] [205] Googleニューラル機械翻訳（GNMT）は、システムが「何百万もの例から学習する」例ベースの機械翻訳方式を使用しています。 [203]「部分的ではなく、一度に文全体」を翻訳します。Google翻訳は100以上の言語をサポートしています。[203]ネットワークは、「フレーズからフレーズへの翻訳を単に記憶するのではなく、文の意味をエンコードします」。[203] [206] GTは、ほとんどの言語ペアの中間として英語を使用します。[206]
創薬と毒物学
候補薬の大部分は規制当局の承認を得られていません。これらの失敗は、不十分な有効性（オンターゲット効果）、望ましくない相互作用（オフターゲット効果）、または予期しない毒性効果によって引き起こされます。[207] [208]研究では、栄養素、家庭用品、医薬品における環境化学物質の生体分子ターゲット、[209] [210] オフターゲット、および毒性効果を予測するためにディープラーニングの使用を検討してきました。[211] [212] [213]
AtomNetは構造に基づく合理的な医薬品設計のための深層学習システムである。[214] AtomNetはエボラウイルス[215]や多発性硬化症[216]などの疾患標的に対する新規候補生体分子を予測するために使用された。[215 ]
2017年にグラフニューラルネットワークが初めて使用され、大規模な毒物学データセット内の分子のさまざまな特性を予測しました。[217] 2019年には、生成ニューラルネットワークを使用して、マウスに至るまで実験的に検証された分子が生成されました。[218] [219]
顧客関係管理
深層強化学習は、RFM変数で定義された可能なダイレクトマーケティング活動の価値を近似するために使用されてきた。推定された価値関数は、顧客生涯価値として自然に解釈できることが示された。[220]
推奨システム
推薦システムでは、コンテンツベースの音楽や雑誌の推薦のための潜在因子モデルに意味のある特徴を抽出するためにディープラーニングが使用されています。 [221] [222]マルチビューディープラーニングは、複数のドメインからユーザーの好みを学習するために適用されています。[223]このモデルは、ハイブリッドなコラボレーションとコンテンツベースのアプローチを使用し、複数のタスクでの推薦を強化します。
バイオインフォマティクス
オートエンコーダANNはバイオインフォマティクスにおいて、遺伝子オントロジーの注釈や遺伝子機能の関係を予測するために使用されました。[224]
医療情報学では、ウェアラブルデバイスからのデータに基づいて睡眠の質を予測したり[225]、電子健康記録データから健康上の合併症を予測したりするためにディープラーニングが使用されました。[226]
ディープニューラルネットワークは、タンパク質を構成するアミノ酸の配列に基づいてタンパク質の構造を予測する上で比類のない性能を示しています。2020年には、ディープラーニングベースのシステムであるAlphaFoldが、これまでのすべての計算方法よりもはるかに高い精度を達成しました。[227] [228]
ディープニューラルネットワーク推定
ディープニューラルネットワークは確率過程のエントロピーを推定するのに使用でき、ニューラルジョイントエントロピー推定器（NJEE）と呼ばれます。[229]このような推定は、入力ランダム変数が独立したランダム変数に与える影響についての洞察を提供します。実際には、DNNは、入力ベクトルまたは行列Xを、入力Xが与えられたランダム変数Yの可能なクラスにわたる出力確率分布にマッピングする分類器としてトレーニングされます。たとえば、画像分類タスクでは、NJEEはピクセルの色値のベクトルを、可能な画像クラスの確率にマッピングします。実際には、Yの確率分布は、Yのアルファベットサイズに等しいノード数を持つソフトマックス層によって取得されます。NJEEは、普遍近似定理の条件が成り立つように、連続的に微分可能な活性化関数を使用します。この方法は、強い一貫性のある推定器を提供し、アルファベットサイズが大きい場合に他の方法よりも優れていることが示されています。 [229]
医療画像解析
ディープラーニングは、がん細胞の分類、病変の検出、臓器のセグメンテーション、画像の強化などの医療用途において競争力のある結果を生み出すことが示されています。[230] [ 231]現代のディープラーニングツールは、さまざまな病気の検出における高い精度と、専門家が診断効率を向上させるために使用する有用性を実証しています。[232] [233]
モバイル広告
モバイル広告に適したモバイルオーディエンスを見つけることは常に困難です。これは、ターゲットセグメントを作成して広告サーバーで広告配信に使用する前に、多くのデータポイントを検討して分析する必要があるためです。[234]ディープラーニングは、大規模で多次元の広告データセットを解釈するために使用されてきました。多くのデータポイントは、インターネット広告のリクエスト/配信/クリックサイクル中に収集されます。この情報は、広告選択を改善するための機械学習の基礎となる可能性があります。
画像修復
ディープラーニングは、ノイズ除去、超解像、インペインティング、フィルムのカラー化などの逆問題にうまく適用されてきました。[235]これらのアプリケーションには、画像データセットでトレーニングする「効果的な画像修復のための収縮フィールド」[236]や、修復が必要な画像でトレーニングするDeep Image Priorなどの学習方法が含まれます。
金融詐欺検出
ディープラーニングは金融詐欺検出、脱税検出[237]、マネーロンダリング対策[238]などに応用され、成功を収めている。
材料科学
2023年11月、Google DeepMindとローレンス・バークレー国立研究所の研究者は、GNoMEと呼ばれるAIシステムを開発したと発表した。このシステムは、比較的短期間で200万を超える新材料を発見することで、材料科学に貢献してきた。GNoMEは、潜在的な材料構造を効率的に探索するためにディープラーニング技術を採用しており、安定した無機結晶構造の特定が大幅に増加している。システムの予測は自律ロボット実験によって検証され、71％という注目すべき成功率を示した。新しく発見された材料のデータは、Materials Projectデータベースを通じて公開されており、研究者はさまざまな用途で望ましい特性を持つ材料を特定する機会を得ることができる。この開発は、科学的発見の将来と材料科学研究へのAIの統合に影響を与え、材料の革新を促進し、製品開発のコストを削減する可能性がある。AIとディープラーニングの使用は、手動の実験室実験を最小限に抑えるか排除し、科学者がユニークな化合物の設計と分析にもっと集中できるようにする可能性を示唆している。[239] [240] [241]
軍隊
アメリカ国防総省は、観察を通じてロボットに新しいタスクを訓練するためにディープラーニングを適用した。[242]
偏微分方程式
物理学に基づくニューラルネットワークは、順問題と逆問題の両方で偏微分方程式をデータ駆動型で解くために使用されてきた。 [243]一例として、ナビエ・ストークス方程式によって支配される流体の流れの再構築が挙げられる。物理学に基づくニューラルネットワークを使用すると、従来のCFD法で必要とされる高価なメッシュ生成は不要になる。[244] [245]
深層逆確率微分方程式法
深層後方確率微分方程式法は、深層学習と後方確率微分方程式(BSDE)を組み合わせた数値法です。この方法は、金融数学における高次元の問題を解くのに特に役立ちます。深層 BSDE は、深層ニューラル ネットワークの強力な関数近似機能を活用することで、高次元設定における従来の数値法が直面する計算上の課題に対処します。具体的には、有限差分法やモンテ カルロ シミュレーションなどの従来の方法では、次元の数が増えると計算コストが指数関数的に増加するという次元の呪いに悩まされることがよくあります。しかし、深層 BSDE 法では、深層ニューラル ネットワークを使用して高次元偏微分方程式 (PDE) の解を近似し、計算負荷を効果的に軽減します。[246]
さらに、物理学に基づくニューラル ネットワーク(PINN) をディープ BSDE フレームワークに統合すると、基礎となる物理法則がニューラル ネットワーク アーキテクチャに直接埋め込まれ、その機能が強化されます。これにより、ソリューションがデータに適合するだけでなく、支配的な確率微分方程式にも準拠することが保証されます。PINN は、物理モデルによって課される制約を尊重しながらディープ ラーニングのパワーを活用し、金融数学の問題に対してより正確で信頼性の高いソリューションを実現します。
画像再構成
画像再構成とは、画像関連の測定値から基礎画像を再構成することです。いくつかの研究では、スペクトルイメージング[247]や超音波イメージング[248]などのさまざまなアプリケーションにおいて、解析手法と比較してディープラーニング手法の優れたパフォーマンスが示されています。
天気予報
従来の気象予測システムは、非常に複雑な偏微分方程式を解く。GraphCastはディープラーニングベースのモデルで、長期にわたる気象データに基づいてトレーニングされ、気象パターンが時間とともにどのように変化するかを予測する。最先端のシステムと同等の精度で、1分以内に世界全体で最大10日間の気象状況を非常に詳細に予測することができる。[249] [250]
エピジェネティック時計
エピジェネティック時計は、年齢を測定するために使用できる生化学検査です。Galkinらは、6,000を超える血液サンプルを使用して、ディープニューラルネットワークを使用して前例のない精度のエピジェネティック老化時計をトレーニングしました。 [251]この時計は1000のCpG部位からの情報を使用し、 IBD、前頭側頭型認知症、卵巣がん、肥満など、特定の病気を持つ人が健康な対照群よりも高齢になることを予測します。この老化時計は、 Insilico Medicineのスピンオフ企業であるDeep Longevityによって2021年に一般向けにリリースされる予定でした。
人間の認知と脳の発達との関係
ディープラーニングは、1990年代初頭に認知神経科学者によって提唱された脳の発達（具体的には大脳新皮質の発達）に関する一連の理論と密接に関連している。 [252] [253] [254] [255]これらの発達理論は計算モデルで具体化され、ディープラーニングシステムの前身となった。これらの発達モデルは、脳内で提案されているさまざまな学習ダイナミクス（神経成長因子の波など）が、ディープラーニングモデルで利用されるニューラルネットワークにいくぶん類似した自己組織化をサポートするという特性を共有している。大脳新皮質と同様に、ニューラルネットワークは階層化されたフィルターの階層を採用しており、各層は前の層（または動作環境）からの情報を考慮し、その出力（および場合によっては元の入力）を他の層に渡します。このプロセスにより、動作環境に合わせて調整された、自己組織化トランスデューサーのスタックが生成されます。 1995年の説明では、「乳児の脳は、いわゆる栄養因子の波の影響を受けて自ら組織化しているようだ。脳のさまざまな領域が順番につながり、ある層の組織が他の層よりも先に成熟し、脳全体が成熟するまでそれが続く」と述べられている。[256]
神経生物学的観点から深層学習モデルの妥当性を調べるために、さまざまなアプローチが使用されてきた。一方では、バックプロパゲーションアルゴリズムのいくつかのバリエーションが、その処理のリアリティを高めるために提案されてきた。[257] [258]他の研究者は、階層的生成モデルやディープビリーフネットワークに基づくものなど、教師なし形式の深層学習の方が生物学的現実に近い可能性があると主張している。[259] [260]この点で、生成ニューラルネットワークモデルは、大脳皮質におけるサンプリングベースの処理に関する神経生物学的証拠と関連している。[261]
人間の脳組織と深層ネットワークのニューロン符号化との体系的な比較はまだ確立されていないが、いくつかの類似点が報告されている。例えば、深層学習ユニットによって実行される計算は、実際のニューロン[262]や神経集団[ 263]の計算と似ている可能性がある。同様に、深層学習モデルによって開発された表現は、霊長類の視覚系[264]で測定されたものと、単一ユニット[265]レベルと集団[266]レベルの両方で類似している。
商業活動
FacebookのAIラボは、アップロードされた写真に写っている人物の名前を自動的にタグ付けするなどのタスクを実行します。[267]
GoogleのDeepMind Technologiesは、ピクセルのみをデータ入力としてAtariビデオゲームの遊び方を学習できるシステムを開発した。2015年に同社は、囲碁のプロプレイヤーに勝てるほど十分に囲碁を学習したAlphaGoシステムを披露した。 [268] [269] [270] Google翻訳はニューラルネットワークを使用して100以上の言語間で翻訳を行っている。
2017年には、ディープラーニングを工場に統合することに重点を置いたCovariant.aiが立ち上げられました。[271]
2008年、[272]テキサス大学オースティン校(UT)の研究者は、評価強化によるエージェントの手動トレーニング (TAMER) と呼ばれる機械学習フレームワークを開発しました。これは、ロボットやコンピュータ プログラムが人間のインストラクターと対話することでタスクの実行方法を学習するための新しい方法を提案したものです。[242]最初は TAMER として開発されましたが、2018 年に米国陸軍研究所(ARL) と UT の研究者の共同作業中に、Deep TAMER と呼ばれる新しいアルゴリズムが導入されました。Deep TAMER は、ディープラーニングを使用して、ロボットが観察を通じて新しいタスクを学習する能力を提供しました。[242] Deep TAMER を使用して、ロボットは人間のトレーナーと一緒にタスクを学習し、ビデオ ストリームを視聴したり、人間がタスクを直接実行するのを観察したりしました。その後、ロボットはトレーナーからのコーチングの助けを借りてタスクを練習し、「よくできました」や「よくできました」などのフィードバックを提供しました。[273]
批評とコメント
ディープラーニングは、場合によってはコンピューターサイエンスの分野外からも批判とコメントを集めています。
理論
主な批判は、いくつかの手法を取り巻く理論の欠如に関するものである。[274]最も一般的なディープラーニングアーキテクチャにおける学習は、よく理解されている勾配降下法を使用して実装されている。しかし、対照的発散などの他のアルゴリズムを取り巻く理論はそれほど明確ではない。[要出典] （例えば、収束するのか？収束する場合、どのくらいの速さなのか？何を近似しているのか？）ディープラーニング手法はブラックボックスと見なされることが多く、ほとんどの確認は理論的ではなく経験的に行われる。[275]
ディープラーニングは包括的なソリューションではなく、強力なAI [曖昧さ回避が必要]を実現するためのステップとして考えるべきだと指摘する人もいます。ディープラーニング手法の威力にもかかわらず、この目標を完全に実現するために必要な機能の多くがまだ欠けています。研究心理学者のゲイリー・マーカスは次のように述べています。
現実的に、ディープラーニングは、知能機械を構築するという大きな課題の一部に過ぎません。このような技術には因果関係を表現する方法が欠けており、論理的推論を実行する明確な方法もありません。また、オブジェクトが何であるか、何のためにあるのか、通常どのように使用されるかなどの抽象的な知識を統合するには、まだ遠い道のりです。ワトソンのような最も強力なAIシステムは、ディープラーニングのような技術を、ベイズ推論の統計的手法から演繹的推論に至るまでの非常に複雑な技術群の中の1つの要素としてのみ使用しています。[276]
芸術的感受性は認知階層の比較的低いレベルに固有のものであるかもしれないという考えに関連して、本質的にランダムなデータ内で訓練された画像を識別しようとする深層（20～30層）ニューラルネットワークの内部状態をグラフィックで表現した一連の出版物[277]は、視覚的な魅力を示しています。元の研究通知には1,000件を超えるコメントが寄せられ、一時期ガーディアン紙[278]のウェブサイトで最も頻繁にアクセスされた記事の主題となりました。
エラー
一部のディープラーニングアーキテクチャは、認識できない画像を通常の画像のよく知られたカテゴリに属するものとして自信を持って分類する（2014）[280]、正しく分類された画像のわずかな変動を誤って分類する（2013）など、問題のある動作を示します。[281] Goertzelは、これらの動作は内部表現の制限によるものであり、これらの制限により、異種のマルチコンポーネント人工汎用知能（AGI）アーキテクチャへの統合が妨げられると仮説を立てました。 [279]これらの問題は、観察されたエンティティとイベントの画像文法[282]分解と相同な状態を内部的に形成するディープラーニングアーキテクチャによって対処できる可能性があります。[279]トレーニングデータから 文法（視覚的または言語的）を学習することは、文法生成規則の観点から概念を操作する常識的推論にシステムを制限することと同等であり、人間の言語獲得[283]と人工知能（AI）の両方の基本的な目標です。[284]
サイバー脅威
ディープラーニングが研究室から世界へと移行するにつれ、研究と経験から人工ニューラルネットワークはハッキングや欺瞞に対して脆弱であることが明らかになった。[285]これらのシステムが機能するために使用するパターンを特定することで、攻撃者はANNへの入力を変更し、ANNが人間の観察者が認識できない一致を見つけるようにすることができる。たとえば、攻撃者は画像に微妙な変更を加え、人間には検索対象とまったく似ていない画像であっても、ANNが一致を見つけるようにすることができる。このような操作は「敵対的攻撃」と呼ばれる。[286]
2016年に研究者たちは試行錯誤しながらANNを使って画像を改ざんし、別のANNの焦点を特定して、そのANNを騙す画像を生成した。修正された画像は人間の目には違いがなかった。別のグループは、改ざんされた画像をプリントアウトして撮影すると、画像分類システムをうまく騙せることを示した。[287]防御策の1つは逆画像検索で、偽造の可能性がある画像をTinEyeなどのサイトに送信すると、そのサイトでその偽造画像が見つかる。改良方法としては、画像の一部だけを使って検索し、その部分が取られた可能性のある画像を特定する方法がある。[288]
別のグループは、特定の幻覚剤が顔認識システムを騙して一般人を有名人だと思い込ませ、ある人が別の人になりすます可能性があることを示した。2017年には研究者が一時停止標識にステッカーを貼り、ANNがステッカーを誤分類する原因となった。[287]
しかし、ANNは欺瞞の試みを検出するようにさらに訓練することができ、攻撃者と防御者をマルウェア防御産業ですでに特徴づけられているような軍拡競争に導く可能性がある。ANNは、遺伝的アルゴリズムによって継続的に変更されたマルウェアで防御を繰り返し攻撃し、標的にダメージを与える能力を維持しながらマルウェア対策ソフトウェアを騙すことで、ANNベースのマルウェア対策ソフトウェアを打ち負かすように訓練されている。[287]
2016年に別のグループが、特定の音によってGoogle Nowの音声コマンドシステムが特定のウェブアドレスを開くことができることを実証し、これが「さらなる攻撃（例えば、ドライブバイマルウェアをホストするウェブページを開くなど）の足がかりとなる可能性がある」という仮説を立てた。[287]
「データポイズニング」では、機械学習システムが習熟するのを妨げるために、偽のデータが継続的に機械学習システムのトレーニングセットに密かに混入される。[287]
データ収集倫理
教師あり学習を使用して訓練されるディープラーニングシステムは、人間が作成および/または注釈を付けたデータに依存することが多い。[289]この目的で、低賃金のクリックワーク（ Amazon Mechanical Turkなど）が定期的に展開されるだけでなく、人間によるマイクロワークの暗黙的な形態も、そのように認識されないことが多いと主張されている。[290]哲学者のライナー・ミュールホフは、訓練データを生成するための人間のマイクロワークの「機械によるキャプチャ」を5つのタイプに区別している。（1）ゲーミフィケーション（ゲームの流れに注釈や計算タスクを埋め込む）、（2）「トラッピングとトラッキング」（画像認識のためのCAPTCHAやGoogle検索結果ページでのクリックトラッキングなど）、（3）社会的動機の活用（Facebookで顔にタグを付けてラベル付きの顔画像を取得するなど）、（4）情報マイニング（アクティビティトラッカーなどの定量化された自己デバイスの活用など）、（5）クリックワーク。[290]
参照
- 人工知能の応用
- ディープラーニングソフトウェアの比較
- 圧縮センシング
- 微分可能プログラミング
- エコーステートネットワーク
- 人工知能プロジェクトの一覧
- 液体状態機械
- 機械学習研究用データセット一覧
- リザーバーコンピューティング
- スケール空間とディープラーニング
- スパースコーディング
- 確率的オウム
- トポロジカルディープラーニング
参考文献
- ^ シュルツ、ハンネス;スヴェン・ベンケ（2012年11月1日）。 「ディープラーニング」。KI-Künstliche Intelligenz。26 (4): 357–363。土井：10.1007/s13218-012-0198-z。ISSN 1610-1987。S2CID 220523562。
- ^ ab LeCun, Yann; Bengio, Yoshua; Hinton, Geoffrey (2015). 「ディープラーニング」（PDF） . Nature . 521（7553）：436–444. Bibcode：2015Natur.521..436L. doi：10.1038/nature14539. PMID 26017442. S2CID 3074096.
- ^ ab Ciresan, D.; Meier, U.; Schmidhuber, J. (2012). 「画像分類のためのマルチカラムディープニューラルネットワーク」2012 IEEE コンピュータビジョンおよびパターン認識会議pp. 3642–3649. arXiv : 1202.2745 . doi :10.1109/cvpr.2012.6248110. ISBN 978-1-4673-1228-8. S2CID 2161592。
- ^ ab Krizhevsky, Alex; Sutskever, Ilya; Hinton, Geoffrey (2012). 「ImageNet Classification with Deep Convolutional Neural Networks」(PDF)。NIPS 2012: Neural Information Processing Systems、ネバダ州レイクタホ。2017-01-10のオリジナルからアーカイブ(PDF) 。2017-05-24に取得。
- ^ 「GoogleのAlphaGo AI、世界最高の囲碁プレイヤーとの3連戦に勝利」TechCrunch、2017年5月25日。2018年6月17日時点のオリジナルよりアーカイブ。 2018年6月17日閲覧。
- ^ 「研究はニューラルネットワークを脳と比較する際に注意を促している」MITニュース | マサチューセッツ工科大学。2022年11月2日。 2023年12月6日閲覧。
- ^ abcd Bengio, Yoshua (2009). 「AIのためのディープアーキテクチャの学習」(PDF) .機械学習の基礎と動向. 2 (1): 1–127. CiteSeerX 10.1.1.701.9550 . doi :10.1561/2200000006. S2CID 207178999. 2016年3月4日時点の オリジナル(PDF)からアーカイブ。 2015年9月3日閲覧。
- ^ abcde Bengio, Y.; Courville, A.; Vincent, P. (2013). 「表現学習: レビューと新たな展望」. IEEE Transactions on Pattern Analysis and Machine Intelligence . 35 (8): 1798–1828. arXiv : 1206.5538 . doi :10.1109/tpami.2013.50. PMID 23787338. S2CID 393948.
- ^ abcdefgh Schmidhuber, J. (2015). 「ニューラルネットワークにおけるディープラーニング：概要」.ニューラルネットワーク. 61 : 85–117. arXiv : 1404.7828 . doi :10.1016/j.neunet.2014.09.003. PMID 25462637. S2CID 11715509.
- ^ 杉山茂樹（2019年4月12日）。人間の行動と意識におけるもう一つの種類：新たな研究と機会：新たな研究と機会。IGIグローバル。ISBN 978-1-5225-8218-2。
- ^ Bengio, Yoshua; Lamblin, Pascal; Popovici, Dan; Larochelle, Hugo (2007). 貪欲法によるディープネットワークのレイヤーごとのトレーニング(PDF) . ニューラル情報処理システムの進歩。pp. 153–160。2019年10月20日時点のオリジナルよりアーカイブ(PDF) 。 2019年10月6日閲覧。
- ^ ab Hinton, GE (2009). 「ディープビリーフネットワーク」Scholarpedia . 4 (5): 5947. Bibcode :2009SchpJ...4.5947H. doi : 10.4249/scholarpedia.5947 .
- ^ Rina Dechter (1986). 制約充足問題における探索中の学習。カリフォルニア大学、コンピュータサイエンス学部、認知システム研究所。Wayback Machineで 2016-04-19 にオンラインアーカイブ
- ^ Aizenberg, IN; Aizenberg, NN; Vandewalle, J. (2000). 多値およびユニバーサルバイナリニューロン。サイエンス＆ビジネスメディア。doi : 10.1007 / 978-1-4757-3115-6。ISBN 978-0-7923-7824-2. 2023年12月27日閲覧。
- ^ 共進化するリカレントニューロンが深い記憶を持つPOMDPを学習する。Proc. GECCO、ワシントンDC、pp. 1795–1802、ACM Press、ニューヨーク、NY、米国、2005年。
- ^ Fradkov, Alexander L. (2020-01-01). 「機械学習の初期の歴史」. IFAC-PapersOnLine . 第21回IFAC世界会議. 53 (2): 1385–1390. doi : 10.1016/j.ifacol.2020.12.1888 . ISSN 2405-8963. S2CID 235081987.
- ^ abc Cybenko (1989). 「シグモイド関数の重ね合わせによる近似」(PDF) .制御、信号、システムの数学. 2 (4): 303–314. Bibcode :1989MCSS....2..303C. doi :10.1007/bf02551274. S2CID 3958369. 2015年10月10日時点のオリジナル(PDF)からアーカイブ。
- ^ abc Hornik, Kurt (1991). 「多層フィードフォワードネットワークの近似機能」ニューラルネットワーク4 ( 2): 251–257. doi :10.1016/0893-6080(91)90009-t. S2CID 7343126.
- ^ ab Haykin, Simon S. (1999). ニューラルネットワーク: 包括的な基礎. Prentice Hall. ISBN 978-0-13-273350-2。
- ^ ab ハッソン、モハマド H. (1995)。人工ニューラル ネットワークの基礎。 MITプレス。 p. 48.ISBN 978-0-262-08239-6。
- ^ ab Lu, Z., Pu, H., Wang, F., Hu, Z., & Wang, L. (2017). ニューラルネットワークの表現力：幅から見た視点 Archived 2019-02-13 at the Wayback Machine . Neural Information Processing Systems, 6231-6239.
- ^ Orhan, AE; Ma, WJ (2017). 「非確率的フィードバックで訓練された汎用ニューラルネットワークにおける効率的な確率的推論」. Nature Communications . 8 (1): 138. Bibcode :2017NatCo...8..138O. doi : 10.1038 /s41467-017-00181-8 . PMC 5527101. PMID 28743932.
- ^ abcde Deng, L.; Yu, D. (2014). 「ディープラーニング: 方法とアプリケーション」(PDF) .信号処理の基礎と動向。7 (3–4): 1–199. doi :10.1561/2000000039。 2016年3月14日にオリジナルからアーカイブ(PDF) 。2014年10月18日に取得。
- ^ abcd マーフィー、ケビン・P.（2012年8月24日）。機械学習：確率論的視点。MITプレス。ISBN 978-0-262-01802-9。
- ^ ab 福島, K. (1969). 「アナログ閾値要素の多層ネットワークによる視覚特徴抽出」. IEEE Transactions on Systems Science and Cybernetics . 5 (4): 322–333. doi :10.1109/TSSC.1969.300225.
- ^ 園田翔; 村田昇 (2017). 「無制限の活性化関数を持つニューラルネットワークは普遍的な近似器である」.応用および計算調和解析. 43 (2): 233–268. arXiv : 1505.03654 . doi :10.1016/j.acha.2015.12.005. S2CID 12149203.
- ^ ビショップ、クリストファー M. (2006). パターン認識と機械学習(PDF) . シュプリンガー. ISBN 978-0-387-31073-2. 2017年1月11日にオリジナルからアーカイブ（PDF）されました。2017年8月6日に閲覧。
- ^ ab "アウグスターナ図書館". www.hs-augsburg.de .
- ^ Brush, Stephen G. (1967). 「レンツ-イジング模型の歴史」.現代物理学レビュー. 39 (4): 883–893. Bibcode :1967RvMP...39..883B. doi :10.1103/RevModPhys.39.883.
- ^ ab 天理俊一 (1972). 「閾値要素の自己組織化ネットによるパターンとパターンシーケンスの学習」. IEEE Transactions . C (21): 1197–1206.
- ^ abcdefg シュミットフーバー、ユルゲン(2022). 「現代AIとディープラーニングの歴史の注釈付き」。arXiv : 2212.11279 [cs.NE]。
- ^ Hopfield, JJ (1982). 「集団的計算能力の出現を伴うニューラルネットワークと物理システム」Proceedings of the National Academy of Sciences . 79 (8): 2554–2558. Bibcode :1982PNAS...79.2554H. doi : 10.1073/pnas.79.8.2554 . PMC 346238 . PMID 6953413.
- ^ 中野 薫 (1971). 「連想記憶モデルにおける学習過程」.パターン認識と機械学習. pp. 172–186. doi :10.1007/978-1-4615-7566-5_15. ISBN 978-1-4615-7568-9。
- ^ 中野薫 (1972). 「アソシアトロン - 連想記憶のモデル」. IEEE Transactions on Systems, Man, and Cybernetics . SMC-2 (3): 380–388. doi :10.1109/TSMC.1972.4309133.
- ^ チューリング、アラン (1948)。「インテリジェント・マシナリー」。未発表 (後にインス DC 編『Collected Works of AM Turing—Mechanical Intelligence』、エルゼビア・サイエンス・パブリッシャーズ、1992 年に出版)。
- ^ Rosenblatt, F. (1958). 「パーセプトロン: 脳内の情報の保存と組織化のための確率モデル」.心理学評論. 65 (6): 386–408. doi :10.1037/h0042519. ISSN 1939-1471. PMID 13602029.
- ^ ab ローゼンブラット、フランク(1962)。神経力学の原理。スパルタン、ニューヨーク。
- ^ Joseph, RD (1960).パーセプトロン理論への貢献、コーネル航空研究所報告書 No. VG-11 96--G-7、バッファロー。
- ^ Ivakhnenko, AG; Lapa, VG (1967). サイバネティクスと予測技術。American Elsevier Publishing Co. ISBN 978-0-444-00020-0。
- ^ Ivakhnenko, AG (1970年3月). 「工学サイバネティクスの問題におけるヒューリスティック自己組織化」. Automatica . 6 (2): 207–219. doi :10.1016/0005-1098(70)90092-0.
- ^ ab Ivakhnenko, Alexey (1971). 「複雑系の多項式理論」(PDF) . IEEE Transactions on Systems, Man, and Cybernetics . SMC-1 (4): 364–378. doi :10.1109/TSMC.1971.4308320. 2017-08-29 にオリジナルからアーカイブ(PDF) . 2019-11-05に取得。
- ^ Robbins, H. ; Monro, S. (1951). 「確率的近似法」.数理統計年報. 22 (3): 400. doi : 10.1214/aoms/1177729586 .
- ^ 天理俊一(1967). 「適応型パターン分類器の理論」. IEEE Transactions . EC (16): 279–307.
- ^ Ramachandran, Prajit; Barret, Zoph; Quoc, V. Le (2017年10月16日). 「活性化関数の探索」. arXiv : 1710.05941 [cs.NE].
- ^ 福島 功 (1979). 「位置の変化に影響されないパターン認識機構の神経回路モデル ― ネオコグニトロン 」.電子情報通信学会論文誌. J62-A (10): 658–665. doi :10.1007/bf00344251. PMID 7370364. S2CID 206775608.
- ^ 福島, K. (1980). 「ネオコグニトロン: 位置の変化に影響されないパターン認識メカニズムのための自己組織化ニューラルネットワークモデル」. Biol. Cybern . 36 (4): 193–202. doi :10.1007/bf00344251. PMID 7370364. S2CID 206775608.
- ^ ライプニッツ、ゴットフリート・ヴィルヘルム・フライヘル・フォン（1920年）。ライプニッツの初期数学原稿：カール・イマヌエル・ゲルハルトが出版したラテン語テキストからの翻訳、批評的・歴史的注釈付き（ライプニッツは1676年の回想録で連鎖律を発表した）。オープン・コート出版会社。ISBN 9780598818461。
- ^ ケリー、ヘンリー J. (1960)。 「最適飛行経路の勾配理論」。ARSジャーナル。30 (10): 947–954。doi :10.2514/8.5282。
- ^ Linnainmaa, Seppo (1970).アルゴリズムの累積丸め誤差を局所丸め誤差のテイラー展開として表現する(修士) (フィンランド語). ヘルシンキ大学. p. 6–7.
- ^ Linnainmaa, Seppo (1976). 「累積丸め誤差のテイラー展開」BIT Numerical Mathematics . 16 (2): 146–160. doi :10.1007/bf01931367. S2CID 122357351.
- ^ Ostrovski, GM, Volin,YM, Boris, WW (1971). 導関数の計算について Wiss. Z. Tech. Hochschule for Chemistry, 13:382–384.
- ^ ab Schmidhuber, Juergen (2014年10月25日). 「Who Invented Backpropagation?」 IDSIA、スイス。 2024年7月30日時点のオリジナルよりアーカイブ。2024年9月14日閲覧。
- ^ Werbos, Paul (1982). 「非線形感度解析の進歩の応用」(PDF) .システムモデリングと最適化. Springer. pp. 762–770. 2016年4月14日時点のオリジナルよりアーカイブ(PDF) . 2017年7月2日閲覧。
- ^ Werbos, Paul J. (1994).バックプロパゲーションのルーツ: 順序付き導関数からニューラルネットワークと政治予測まで。ニューヨーク: John Wiley & Sons. ISBN 0-471-59897-6。
- ^ Rumelhart, David E.; Hinton, Geoffrey E.; Williams, Ronald J. (1986年10月). 「誤差逆伝播による表現の学習」. Nature . 323 (6088): 533–536. Bibcode :1986Natur.323..533R. doi :10.1038/323533a0. ISSN 1476-4687.
- ^ Rumelhart, David E., Geoffrey E. Hinton、RJ Williams。「エラー伝播による内部表現の学習」 Wayback Machineに 2022-10-13 アーカイブ済み。David E. Rumelhart、James L. McClelland、および PDP 研究グループ。(編集者)、並列分散処理: 認知の微細構造の探究、第 1 巻: 基礎。MIT Press、1986 年。
- ^ Waibel, Alex (1987 年 12 月). 時間遅延ニューラル ネットワークを使用した音素認識(PDF) . 電気情報通信学会 (IEICE) 学術講演会. 東京、日本。
- ^ Alexander Waibel他、「時間遅延ニューラル ネットワークを使用した音素認識」 IEEE Transactions on Acoustics, Speech, and Signal Processing、第 37 巻、第 3 号、pp. 328. – 339、1989 年 3 月。
- ^ Zhang, Wei (1988). 「シフト不変パターン認識ニューラルネットワークとその光学アーキテクチャ」応用物理学会年次大会講演論文集。
- ^ LeCun他、「手書き郵便番号認識へのバックプロパゲーションの適用」、Neural Computation、1、pp. 541–551、1989 年。
- ^ Zhang, Wei (1990). 「局所的な空間不変相互接続とその光学アーキテクチャを備えた並列分散処理モデル」.応用光学. 29 (32): 4790–7. Bibcode :1990ApOpt..29.4790Z. doi :10.1364/AO.29.004790. PMID 20577468.
- ^ Zhang, Wei (1991). 「学習ネットワークに基づくヒト角膜内皮の画像処理」.応用光学. 30 (29): 4211–7. Bibcode :1991ApOpt..30.4211Z. doi :10.1364/AO.30.004211. PMID 20706526.
- ^ Zhang, Wei (1994). 「シフト不変人工ニューラルネットワークを用いたデジタルマンモグラムにおけるクラスター化微小石灰化のコンピュータ検出」. Medical Physics . 21 (4): 517–24. Bibcode :1994MedPh..21..517Z. doi :10.1118/1.597177. PMID 8058017.
- ^ ヤン、ルカン;レオン・ボットー。ヨシュア・ベンジオ。パトリック・ハフナー (1998)。 「文書認識に適用された勾配ベースの学習」(PDF)。IEEE の議事録。86 (11): 2278–2324。CiteSeerX 10.1.1.32.9552。土井：10.1109/5.726791。S2CID 14542261 。2016 年10 月 7 日に取得。
- ^ Jordan, Michael I. (1986). 「コネクショニストシーケンシャルマシンにおけるアトラクターダイナミクスと並列性」認知科学協会年次会議議事録。8。
- ^ Elman, Jeffrey L. (1990年3月). 「時間の中に構造を見つける」.認知科学. 14 (2): 179–211. doi :10.1207/s15516709cog1402_1. ISSN 0364-0213.
- ^ abc Schmidhuber, Jürgen (1991 年 4 月). 「Neural Sequence Chunkers」(PDF) . TR FKI-148, TU Munich .
- ^ ab Schmidhuber, Jürgen (1992). 「履歴圧縮の原理を使用した複雑で拡張されたシーケンスの学習 ( TR FKI-148、1991 に基づく)」(PDF)。ニューラルコンピューティング。4 (2): 234–242。doi : 10.1162 /neco.1992.4.2.234。S2CID 18271205。
- ^ Schmidhuber, Jürgen (1993). 資格取得論文: システムモデリングと最適化(PDF) .[永久リンク切れ ] 150 ページ以降では、展開された RNN の 1,200 層に相当する部分にわたるクレジットの割り当てを示しています。
- ^ abc S. Hochreiter.、「Untersuhungen zu dynamischen neuronalen Netzen」。 2015 年 3 月 6 日にWayback Machineにアーカイブされました。卒業論文。インスティチュート f.工科大学インフォマティックミュンヘン。アドバイザー: J. シュミットフーバー、1991 年。
- ^ Hochreiter, S.; et al. (2001 年 1 月 15 日)。「リカレント ネットの勾配フロー: 長期依存関係の学習の難しさ」Kolen, John F.、Kremer, Stefan C. (編)。動的リカレント ネットワークのフィールド ガイド。John Wiley & Sons。ISBN 978-0-7803-5369-5。
- ^ ゼップ・ホッホライター;ユルゲン・シュミットフーバー(1995 年 8 月 21 日)、長短期記憶、ウィキデータ Q98967430
- ^ Gers, Felix; Schmidhuber, Jürgen; Cummins, Fred (1999)。「忘却の学習: LSTM による継続的予測」。第9 回国際人工ニューラル ネットワーク会議: ICANN '99。第 1999 巻。pp. 850–855。doi : 10.1049/cp:19991218。ISBN 0-85296-721-7。
- ^ ab Schmidhuber, Jürgen (1991). 「モデル構築ニューラル コントローラに好奇心と退屈を実装する可能性」Proc. SAB'1991 . MIT Press/Bradford Books. pp. 222–227.
- ^ Schmidhuber, Jürgen (2010). 「創造性、楽しさ、内発的動機付けの形式理論 (1990-2010)」. IEEE Transactions on Autonomous Mental Development . 2 (3): 230–247. doi :10.1109/TAMD.2010.2056368. S2CID 234198.
- ^ ab Schmidhuber, Jürgen (2020). 「Generative Adversarial Networks are Special Cases of Artificial Curiosity (1990) and also Closely Related to Predictability Minimization (1991)」.ニューラルネットワーク. 127 : 58–66. arXiv : 1906.04493 . doi :10.1016/j.neunet.2020.04.008. PMID 32334341. S2CID 216056336.
- ^ Ackley, David H.; Hinton, Geoffrey E.; Sejnowski, Terrence J. (1985-01-01). 「ボルツマンマシンの学習アルゴリズム」.認知科学. 9 (1): 147–169. doi :10.1016/S0364-0213(85)80012-4. ISSN 0364-0213.
- ^ Smolensky, Paul (1986)。「第 6 章: 動的システムにおける情報処理: 調和理論の基礎」(PDF) 。Rumelhart , David E.、McLelland, James L. (編)。並列分散処理: 認知の微細構造の探究、第 1 巻: 基礎。MIT プレス。pp. 194–281。ISBN 0-262-68053-X。
- ^ Peter, Dayan ; Hinton, Geoffrey E. ; Neal, Radford M. ; Zemel, Richard S. (1995). 「ヘルムホルツマシン」. Neural Computation . 7 (5): 889–904. doi :10.1162/neco.1995.7.5.889. hdl : 21.11116/0000-0002-D6D3-E . PMID 7584891. S2CID 1890561.
- ^ Hinton, Geoffrey E. ; Dayan, Peter ; Frey, Brendan J. ; Neal, Radford (1995-05-26). 「教師なしニューラルネットワークのウェイクスリープアルゴリズム」. Science . 268 (5214): 1158–1161. Bibcode :1995Sci...268.1158H. doi :10.1126/science.7761831. PMID 7761831. S2CID 871473.
- ^ Sejnowski, Terrence J. (2018).ディープラーニング革命マサチューセッツ州ケンブリッジ: MIT プレスISBN 978-0-262-03803-4。
- ^ Qian, Ning; Sejnowski, Terrence J. (1988-08-20). 「ニューラルネットワークモデルを使用した球状タンパク質の二次構造の予測」. Journal of Molecular Biology . 202 (4): 865–884. doi :10.1016/0022-2836(88)90564-5. ISSN 0022-2836. PMID 3172241.
- ^ Morgan, Nelson; Bourlard, Hervé; Renals, Steve; Cohen, Michael; Franco, Horacio (1993 年 8 月 1 日). 「連続音声認識のためのハイブリッド ニューラル ネットワーク/隠れマルコフ モデル システム」. International Journal of Pattern Recognition and Artificial Intelligence . 07 (4): 899–916. doi :10.1142/s0218001493000455. ISSN 0218-0014.
- ^ Robinson, T. (1992). 「リアルタイム再発エラー伝播ネットワーク単語認識システム」ICASSP . Icassp'92: 617–620. ISBN 9780780305328. 2021年5月9日時点のオリジナルよりアーカイブ。2017年6月12日閲覧。
- ^ Waibel, A.; Hanazawa, T.; Hinton, G.; Shikano, K.; Lang, KJ (1989年3月). 「時間遅延ニューラルネットワークを使用した音素認識」(PDF) . IEEE Transactions on Acoustics, Speech, and Signal Processing . 37 (3): 328–339. doi :10.1109/29.21701. hdl :10338.dmlcz/135496. ISSN 0096-3518. S2CID 9563026. 2021-04-27にオリジナルから アーカイブ(PDF) . 2019-09-24に取得。
- ^ Baker, J.; Deng, Li; Glass, Jim; Khudanpur, S.; Lee, C.-H.; Morgan, N.; O'Shaughnessy, D. (2009). 「音声認識と理解における研究開発と方向性、パート 1」. IEEE Signal Processing Magazine . 26 (3): 75–80. Bibcode :2009ISPM...26...75B. doi :10.1109/msp.2009.932166. hdl :1721.1/51891. S2CID 357467.
- ^ Bengio, Y. (1991). 「人工ニューラルネットワークと音声/シーケンス認識への応用」 マギル大学博士論文。 2021年5月9日時点のオリジナルよりアーカイブ。 2017年6月12日閲覧。
- ^ Deng, L.; Hassanein, K.; Elmasry, M. (1994). 「音声認識への応用を伴うニューラル予測モデルの相関構造の分析」ニューラルネットワーク. 7 (2): 331–339. doi :10.1016/0893-6080(94)90027-2.
- ^ Doddington, G.; Przybocki, M.; Martin, A.; Reynolds, D. (2000). 「NIST 話者認識評価 ± 概要、方法論、システム、結果、展望」.音声コミュニケーション. 31 (2): 225–254. doi :10.1016/S0167-6393(99)00080-1.
- ^ ab Heck, L.; Konig, Y.; Sonmez, M.; Weintraub, M. (2000). 「識別的特徴設計による話者認識における電話受話器の歪みに対する堅牢性」音声通信31 (2): 181–192. doi :10.1016/s0167-6393(99)00077-1.
- ^ LP Heck および R. Teunen。「Nuance Verifier による安全で便利なトランザクション」。Nuance ユーザー カンファレンス、1998 年 4 月。
- ^ 「LVCSRのための生の時間信号を使用したディープニューラルネットワークによる音響モデリング（PDFダウンロード可能）」。ResearchGate。2021年5月9日時点のオリジナルよりアーカイブ。2017年6月14日閲覧。
- ^ ab Graves, Alex; Eck, Douglas; Beringer, Nicole; Schmidhuber, Jürgen (2003). 「LSTM ニューラルネットによる生物学的に妥当な音声認識」(PDF)。第 1 回国際ワークショップ「生物学的にヒントを得た先端情報技術へのアプローチ」、Bio-ADIT 2004、ローザンヌ、スイス。pp. 175–184。2021年 5 月 9 日のオリジナルからアーカイブ(PDF) 。2016年 4 月 9 日閲覧。
- ^ Graves, Alex ; Fernández, Santiago; Gomez, Faustino; Schmidhuber, Jürgen (2006). 「コネクショニスト時間分類: リカレントニューラルネットワークによるセグメント化されていないシーケンスデータのラベル付け」。機械学習に関する国際会議 ICML 2006 の議事録: 369–376。CiteSeerX 10.1.1.75.6306。
- ^ Santiago Fernandez、Alex Graves、Jürgen Schmidhuber (2007)。リカレントニューラルネットワークの識別キーワードスポッティングへの応用。2018年11月18日にWayback Machineにアーカイブ。ICANN (2)の議事録、220～229頁。
- ^ Graves, Alex; Schmidhuber, Jürgen; Offline Handwriting Recognition with Multidimensional Recurrent Neural Networks、Bengio, Yoshua; Schuurmans, Dale; Lafferty, John; Williams, Chris KI; Culotta, Aron (eds.)、Advances in Neural Information Processing Systems 22 (NIPS'22)、2009 年 12 月 7 日～10 日、バンクーバー、BC、Neural Information Processing Systems (NIPS) Foundation、2009 年、pp. 545～552
- ^ Hinton, Geoffrey E. (2007年10月1日). 「表現の複数のレイヤーの学習」. Trends in Cognitive Sciences . 11 (10): 428–434. doi :10.1016/j.tics.2007.09.004. ISSN 1364-6613. PMID 17921042. S2CID 15066318. 2013年10月11日時点のオリジナルよりアーカイブ。2017年6月12日閲覧。
- ^ Hinton, GE ; Osindero, S.; Teh, YW (2006). 「ディープビリーフネットのための高速学習アルゴリズム」(PDF) . Neural Computation . 18 (7): 1527–1554. doi :10.1162/neco.2006.18.7.1527. PMID 16764513. S2CID 2309950. 2015-12-23 にオリジナルから アーカイブ(PDF) . 2011-07-20に取得。
- ^ GE Hinton、「表現の複数のレイヤーの学習」。Wayback Machine に 2018-05-22 にアーカイブ。Trends in Cognitive Sciences、11、pp. 428–434、2007 年。
- ^ Hinton, Geoffrey E. (2007 年 10 月). 「複数の表現層の学習」.認知科学の動向. 11 (10): 428–434. doi :10.1016/j.tics.2007.09.004. PMID 17921042.
- ^ Hinton , Geoffrey E .; Osindero, Simon; Teh, Yee-Whye (2006 年 7 月)。「ディープ ビリーフ ネットの高速学習アルゴリズム」。ニューラル コンピュテーション。18 (7): 1527–1554。doi : 10.1162/neco.2006.18.7.1527。ISSN 0899-7667。PMID 16764513 。
- ^ Hinton, Geoffrey E. (2009-05-31). 「ディープビリーフネットワーク」Scholarpedia . 4 (5): 5947. Bibcode :2009SchpJ...4.5947H. doi : 10.4249/scholarpedia.5947 . ISSN 1941-6016.
- ^ Yann LeCun (2016). ディープラーニングに関するスライドオンラインアーカイブ 2016-04-23 at the Wayback Machine
- ^ abc Hinton, G.; Deng, L.; Yu, D.; Dahl, G.; Mohamed, A.; Jaitly, N.; Senior, A.; Vanhoucke, V.; Nguyen, P.; Sainath, T .; Kingsbury, B. (2012). 「音声認識における音響モデリングのためのディープニューラルネットワーク: 4 つの研究グループの共通見解」. IEEE Signal Processing Magazine . 29 (6): 82–97. Bibcode :2012ISPM...29...82H. doi :10.1109/msp.2012.2205597. S2CID 206485943.
- ^ abc Deng, L.; Hinton, G.; Kingsbury, B. (2013 年 5 月). 「音声認識および関連アプリケーションのための新しいタイプのディープ ニューラル ネットワーク学習: 概要 (ICASSP)」(PDF)。Microsoft。2017年 9 月 26 日のオリジナルからアーカイブ(PDF) 。2023 年12 月 27 日に取得。
- ^ abc Yu, D.; Deng, L. (2014). 自動音声認識: ディープラーニングアプローチ (出版社: Springer). Springer. ISBN 978-1-4471-5779-3。
- ^ 「Deng が名誉ある IEEE Technical Achievement Award を受賞 - Microsoft Research」。Microsoft Research。2015年 12 月 3 日。2018 年 3 月 16 日時点のオリジナルよりアーカイブ。2018年3 月 16 日閲覧。
- ^ ab Li, Deng (2014年9月). 「基調講演:『ディープラーニングの成果と課題 - 音声分析と認識から言語とマルチモーダル処理まで』」. Interspeech . 2017年9月26日時点のオリジナルよりアーカイブ。 2017年6月12日閲覧。
- ^ Yu, D.; Deng, L. (2010). 「Roles of Pre-Training and Fine-Tuning in Context-Dependent DBN-HMMs for Real-World Speech Recognition」NIPS Workshop on Deep Learning and Unsupervised Feature Learning . 2017-10-12 にオリジナルからアーカイブ。2017-06-14に取得。
- ^ Seide, F.; Li, G.; Yu, D. (2011). 「文脈依存型ディープニューラルネットワークを使用した会話音声転写」。Interspeech 2011 . pp. 437–440. doi :10.21437/Interspeech.2011-169. S2CID 398770. 2017-10-12 にオリジナルからアーカイブ。2017-06-14に取得。
- ^ Deng, Li; Li, Jinyu; Huang, Jui-Ting; Yao, Kaisheng; Yu, Dong; Seide, Frank; Seltzer, Mike; Zweig, Geoff; He, Xiaodong (2013 年 5 月 1 日)。「Microsoft における音声研究のためのディープラーニングの最近の進歩」。Microsoft Research。2017年 10 月 12 日時点のオリジナルよりアーカイブ。2017年6 月 14 日閲覧。
- ^ ab Oh, K.-S.; Jung, K. (2004). 「ニューラルネットワークのGPU実装」.パターン認識. 37 (6): 1311–1314. Bibcode :2004PatRe..37.1311O. doi :10.1016/j.patcog.2004.01.013.
- ^ ab Chellapilla, Kumar; Puri, Sidd; Simard, Patrice (2006)、文書処理のための高性能畳み込みニューラルネットワーク、2020-05-18にオリジナルからアーカイブ、2021-02-14に取得
- ^ Sze, Vivienne ; Chen, Yu-Hsin; Yang, Tien-Ju; Emer, Joel (2017). 「ディープニューラルネットワークの効率的な処理：チュートリアルと調査」. arXiv : 1703.09039 [cs.CV].
- ^ Raina, Rajat; Madhavan, Anand; Ng, Andrew Y. (2009-06-14). 「グラフィックス プロセッサを使用した大規模なディープ アンスーパーバイズド ラーニング」。第26 回国際機械学習会議の議事録。ICML '09。ニューヨーク、ニューヨーク州、米国: Association for Computing Machinery。pp. 873–880。doi : 10.1145 /1553374.1553486。ISBN 978-1-60558-516-1。
- ^ シレシャン、ダン・クラウディウ;マイヤー、ウエリ;ガンバルデッラ、ルカ・マリア。シュミットフーバー、ユルゲン（2010年9月21日）。 「手書き数字認識のための、深く、大きく、シンプルなニューラル ネットワーク」。ニューラル計算。22 (12): 3207–3220。arXiv : 1003.0358。土井：10.1162/neco_a_00052。ISSN 0899-7667。PMID 20858131。S2CID 1918673 。
- ^ Ciresan, DC; Meier, U.; Masci, J.; Gambardella, LM; Schmidhuber, J. (2011). 「画像分類のための柔軟で高性能な畳み込みニューラルネットワーク」(PDF)。国際人工知能合同会議。doi : 10.5591 /978-1-57735-516-8/ijcai11-210。2014年9月29日時点のオリジナルよりアーカイブ(PDF) 。 2017年6月13日閲覧。
- ^ Ciresan, Dan; Giusti, Alessandro; Gambardella, Luca M.; Schmidhuber, Jürgen (2012). Pereira, F.; Burges, CJC; Bottou, L.; Weinberger, KQ (eds.). Advances in Neural Information Processing Systems 25 (PDF) . Curran Associates, Inc. pp. 2843–2851. 2017-08-09 にオリジナルからアーカイブ(PDF)されました。2017-06-13に取得。
- ^ Ciresan, D.; Giusti, A.; Gambardella, LM; Schmidhuber, J. (2013). 「ディープ ニューラル ネットワークによる乳がん組織学画像での有糸分裂検出」。医療画像コンピューティングとコンピューター支援介入 – MICCAI 2013。コンピューター サイエンスの講義ノート。第 7908 巻。pp. 411–418。doi : 10.1007 / 978-3-642-40763-5_51。ISBN 978-3-642-38708-1. PMID 24579167。
- ^ Ng, Andrew; Dean, Jeff (2012). 「大規模な教師なし学習を使用した高レベル機能の構築」. arXiv : 1112.6209 [cs.LG].
- ^ Simonyan, Karen; Andrew, Zisserman (2014). 「大規模画像認識のための非常に深い畳み込みネットワーク」arXiv : 1409.1556 [cs.CV].
- ^ Szegedy, Christian (2015). 「畳み込みをさらに深く理解する」(PDF) . Cvpr2015 . arXiv : 1409.4842 .
- ^ Vinyals, Oriol; Toshev, Alexander; Bengio, Samy; Erhan, Dumitru (2014). 「Show and Tell: ニューラル画像キャプションジェネレーター」. arXiv : 1411.4555 [cs.CV].。
- ^ Fang, Hao; Gupta, Saurabh; Iandola, Forrest; Srivastava, Rupesh; Deng, Li; Dollár, Piotr; Gao, Jianfeng; He, Xiaodong; Mitchell, Margaret; Platt, John C; Lawrence Zitnick, C; Zweig, Geoffrey (2014). 「キャプションからビジュアルコンセプトへ、そしてその逆へ」. arXiv : 1411.4952 [cs.CV].。
- ^ Kiros, Ryan; Salakhutdinov, Ruslan; Zemel, Richard S (2014). 「マルチモーダルニューラル言語モデルによる視覚的意味的埋め込みの統合」. arXiv : 1411.2539 [cs.LG].。
- ^ Simonyan, Karen; Zisserman, Andrew (2015-04-10)、大規模画像認識のための非常に深い畳み込みネットワーク、arXiv : 1409.1556
- ^ He, Kaiming; Zhang, Xiangyu; Ren, Shaoqing; Sun, Jian (2016). 「整流器の深掘り: ImageNet分類における人間レベルのパフォーマンスを超える」. arXiv : 1502.01852 [cs.CV].
- ^ 彼、カイミン。張項宇。仁、少慶。サン、ジアン（2015 年 12 月 10 日）。画像認識のための深層残差学習。arXiv : 1512.03385。
- ^ He, Kaiming; Zhang, Xiangyu; Ren, Shaoqing; Sun, Jian (2016). 画像認識のためのディープ残差学習。2016 IEEEコンピュータビジョンおよびパターン認識会議 (CVPR)。ラスベガス、ネバダ州、米国: IEEE。pp. 770–778。arXiv : 1512.03385。doi : 10.1109 / CVPR.2016.90。ISBN 978-1-4673-8851-1。
- ^ Gatys, Leon A.; Ecker, Alexander S.; Bethge, Matthias (2015年8月26日). 「芸術的スタイルのニューラルアルゴリズム」. arXiv : 1508.06576 [cs.CV].
- ^ Goodfellow, Ian; Pouget-Abadie, Jean; Mirza, Mehdi; Xu, Bing; Warde-Farley, David; Ozair, Sherjil; Courville, Aaron; Bengio, Yoshua (2014). Generative Adversarial Networks (PDF) . Proceedings of the International Conference on Neural Information Processing Systems (NIPS 2014). pp. 2672–2680. 2019年11月22日時点のオリジナルよりアーカイブ(PDF) 。 2019年8月20日閲覧。
- ^ 「GAN 2.0: NVIDIA のハイパーリアルな顔ジェネレーター」。SyncedReview.com。2018年 12 月 14 日。2019年10 月 3 日閲覧。
- ^ Karras, T.; Aila, T.; Laine, S.; Lehtinen, J. (2018年2月26日). 「品質、安定性、およびバリエーションの向上のためのGANの漸進的成長」arXiv : 1710.10196 [cs.NE].
- ^ 「準備して、慌てるな: 合成メディアとディープフェイク」witness.org。2020年12月2日時点のオリジナルよりアーカイブ。2020年11月25日閲覧。
- ^ Sohl-Dickstein, Jascha; Weiss, Eric; Maheswaranathan, Niru; Ganguli, Surya (2015-06-01). 「非平衡熱力学を用いた教師なし深層学習」(PDF)。第32回国際機械学習会議の議事録。37。PMLR : 2256–2265。arXiv : 1503.03585。
- ^ Google Research ブログ。Google Voice の文字起こしを支えるニューラル ネットワーク。2015 年 8 月 11 日。Françoise Beaufays 著 http://googleresearch.blogspot.co.at/2015/08/the-neural-networks-behind-google-voice.html
- ^ ab Sak, Haşim; Senior, Andrew; Rao, Kanishka; Beaufays, Françoise; Schalkwyk, Johan (2015年9月). 「Google音声検索：より高速でより正確」。2016年3月9日時点のオリジナルよりアーカイブ。2016年4月9日閲覧。
- ^ Singh, Premjeet; Saha, Goutam; Sahidullah, Md (2021). 「音声感情認識のための定数Q変換を使用 した非線形周波数ワーピング」。2021年国際コンピュータ通信情報科学会議 (ICCCI)。pp . 1–4。arXiv : 2102.04029。doi : 10.1109 / ICCCI50826.2021.9402569。ISBN 978-1-7281-5875-4. S2CID 231846518。
- ^ Sak, Hasim; Senior, Andrew; Beaufays, Francoise (2014). 「大規模音響モデリングのための Long Short-Term Memory リカレントニューラルネットワークアーキテクチャ」(PDF)。2018年4月24日時点のオリジナル(PDF)からアーカイブ。
- ^ Li, Xiangang; Wu, Xihong (2014). 「大規模語彙音声認識のための長期短期記憶ベースのディープリカレントニューラルネットワークの構築」arXiv : 1410.4281 [cs.CL].
- ^ Zen, Heiga; Sak, Hasim (2015). 「低遅延音声合成のためのリカレント出力層を備えた一方向長短期記憶リカレントニューラルネットワーク」(PDF) . Google.com . ICASSP. pp. 4470–4474. 2021-05-09 にオリジナルからアーカイブ(PDF)されました。2017-06-13に取得。
- ^ 「2018 ACM AM チューリング賞受賞者」。awards.acm.org 。2024年8月7日閲覧。
- ^ Ferrie, C., & Kaiser, S. (2019).赤ちゃんのためのニューラルネットワーク. Sourcebooks. ISBN 978-1492671206。
{{cite book}}: CS1 maint: 複数の名前: 著者リスト (リンク) - ^ シルバー、デヴィッド;ファン、アジャ。マディソン、クリス・J。グエズ、アーサー。シフレ、ローラン。ドリーシェ、ジョージ・ヴァン・デン。シュリットヴィーザー、ジュリアン。アントノグルー、イオアニス。パニールシェルヴァム、ヴェーダ（2016 年 1 月）。 「ディープ ニューラル ネットワークとツリー検索で囲碁をマスターする」。自然。529 (7587): 484–489。Bibcode :2016Natur.529..484S。土井：10.1038/nature16961. ISSN 1476-4687。PMID 26819042。S2CID 515925 。
- ^ ディープラーニングとニューラルネットワークのガイド、2020年11月2日にオリジナルからアーカイブ、2020年11月16日に取得
- ^ ab Kumar, Nishant; Raubal, Martin (2021). 「渋滞の検出、予測、緩和におけるディープラーニングの応用：調査」.交通研究パートC：新興技術. 133：103432. doi：10.1016/j.trc.2021.103432 . hdl：10230/42143 . S2CID 240420107.
- ^ Szegedy, Christian; Toshev, Alexander; Erhan, Dumitru (2013). 「物体検出のためのディープニューラルネットワーク」。Advances in Neural Information Processing Systems : 2553–2561。2017年6月29日時点のオリジナルよりアーカイブ。 2017年6月13日閲覧。
- ^ Rolnick, David; Tegmark, Max (2018). 「自然な機能を表現するより深いネットワークの力」.国際学習表現会議. ICLR 2018. 2021-01-07時点のオリジナルよりアーカイブ。2021-01-05に取得。
- ^ Hof, Robert D. 「人工知能はついに独自の地位を確立しつつあるか？」MITテクノロジーレビュー。2019年3月31日時点のオリジナルよりアーカイブ。2018年7月10日閲覧。
- ^ ab Gers, Felix A.; Schmidhuber, Jürgen (2001). 「LSTM Recurrent Networks Learn Simple Context Free and Context Sensitive Languages」. IEEE Transactions on Neural Networks . 12 (6): 1333–1340. doi :10.1109/72.963769. PMID 18249962. S2CID 10192330. 2020-01-26にオリジナルからアーカイブ。2020-02-25に取得。
- ^ abc Sutskever, L.; Vinyals, O.; Le, Q. (2014). 「ニューラルネットワークによるシーケンスツーシーケンス学習」(PDF) . Proc. NIPS . arXiv : 1409.3215 . Bibcode :2014arXiv1409.3215S. 2021-05-09 にオリジナルからアーカイブ(PDF)されました。2017-06-13に取得。
- ^ ab Jozefowicz, Rafal; Vinyals, Oriol; Schuster, Mike; Shazeer, Noam; Wu, Yonghui (2016). 「言語モデルの限界を探る」. arXiv : 1602.02410 [cs.CL].
- ^ ab Gillick, Dan; Brunk, Cliff; Vinyals, Oriol; Subramanya, Amarnag (2015). 「バイトからの多言語処理」. arXiv : 1512.00103 [cs.CL].
- ^ Mikolov, T.; et al. (2010). 「リカレントニューラルネットワークベースの言語モデル」(PDF) . Interspeech : 1045–1048. doi :10.21437/Interspeech.2010-343. S2CID 17048224. 2017-05-16にオリジナルから アーカイブ(PDF) 。2017-06-13に取得。
- ^ ホッホライター、ゼップ;シュミットフーバー、ユルゲン（1997年11月1日）。 「長短期記憶」。ニューラル計算。9 (8): 1735 ～ 1780 年。土井：10.1162/neco.1997.9.8.1735。ISSN 0899-7667。PMID 9377276。S2CID 1915014 。
- ^ ab 「LSTMリカレントネットワークによる正確なタイミングの学習（PDFダウンロード可能）」。ResearchGate。2021年5月9日時点のオリジナルよりアーカイブ。2017年6月13日閲覧。
- ^ LeCun, Y.; et al. (1998). 「文書認識への勾配ベース学習の適用」Proceedings of the IEEE . 86 (11): 2278–2324. doi :10.1109/5.726791. S2CID 14542261.
- ^ Sainath, Tara N. ; Mohamed, Abdel-Rahman; Kingsbury, Brian; Ramabhadran, Bhuvana (2013). 「LVCSR のためのディープ畳み込みニューラルネットワーク」。2013 IEEE 国際音響、音声、信号処理会議。pp. 8614–8618。doi : 10.1109 /icassp.2013.6639347。ISBN 978-1-4799-0356-6. S2CID 13816461。
- ^ Bengio, Yoshua; Boulanger-Lewandowski, Nicolas; Pascanu, Razvan (2013). 「リカレントネットワークの最適化における進歩」2013 IEEE 国際音響、音声、信号処理会議pp. 8624–8628. arXiv : 1212.0901 . CiteSeerX 10.1.1.752.9151 . doi :10.1109/icassp.2013.6639349. ISBN 978-1-4799-0356-6. S2CID 12485056。
- ^ Dahl, G.; et al. (2013). 「整流線形ユニットとドロップアウトを使用した LVCSR の DNN の改善」(PDF)。ICASSP 。2017年 8 月 12 日のオリジナルからアーカイブ(PDF) 。2017 年 6 月 13 日閲覧。
- ^ Kumar, Nishant; Martin, Henry; Raubal, Martin (2024). 「複雑性分析によるディープラーニングベースの都市全体の交通予測パイプラインの強化」。交通のためのデータサイエンス。6 ：記事24。doi ： 10.1007 / s42421-024-00109-x。
- ^ 「データ拡張 - deeplearning.ai | Coursera」。Coursera。 2017年12月1日時点のオリジナルよりアーカイブ。 2017年11月30日閲覧。
- ^ Hinton, GE (2010). 「制限付きボルツマンマシンのトレーニングに関する実践ガイド」. Tech. Rep. UTML TR 2010-003 . 2021-05-09時点のオリジナルよりアーカイブ。2017-06-13に取得。
- ^ You, Yang; Buluç, Aydın; Demmel, James (2017 年 11 月)。「GPU と Knights Landing Clusters でのディープラーニングのスケーリング」。SC '17 の国際高性能コンピューティング、ネットワーキング、ストレージ、分析会議の議事録。SC '17、ACM。pp. 1–12。doi : 10.1145 / 3126908.3126912。ISBN 9781450351140. S2CID 8869270. 2020年7月29日時点のオリジナルよりアーカイブ。2018年3月5日閲覧。
- ^ Viebke, André; Memeti, Suejb; Pllana, Sabri; Abraham, Ajith (2019). 「CHAOS: Intel Xeon Phi 上で畳み込みニューラルネットワークをトレーニングするための並列化スキーム」. The Journal of Supercomputing . 75 : 197–227. arXiv : 1702.07908 . Bibcode :2017arXiv170207908V. doi :10.1007/s11227-017-1994-x. S2CID 14135321.
- ^ Ting Qin 他「RLS に基づく CMAC の学習アルゴリズム」Neural Processing Letters 19.1 (2004): 49-61。
- ^ Ting Qin, et al. "Continuous CMAC-QRLS and its systolic array". Archived 2018-11-18 at the Wayback Machine . Neural Processing Letters 22.1 (2005): 1-16.
- ^ Research, AI (2015年10月23日). 「音声認識における音響モデリングのためのディープニューラルネットワーク」. airesearch.com . 2016年2月1日時点のオリジナルよりアーカイブ。2015年10月23日閲覧。
- ^ 「GPUは今のところAIアクセラレータ市場を引き続き支配している」InformationWeek 2019年12月。2020年6月10日時点のオリジナルよりアーカイブ。2020年6月11日閲覧。
- ^ Ray, Tiernan (2019). 「AIは計算の本質全体を変えている」ZDNet。2020年5月25日時点のオリジナルよりアーカイブ。2020年6月11日閲覧。
- ^ 「AIとコンピューティング」。OpenAI。2018年5月16日。2020年6月17日時点のオリジナルよりアーカイブ。 2020年6月11日閲覧。
- ^ 「HUAWEI、IFA 2017でモバイルAIの未来を明らかに | HUAWEI最新ニュース | HUAWEI Global」. consumer.huawei.com .
- ^ P, JouppiNorman; YoungCliff; PatilNishant; PattersonDavid; AgrawalGaurav; BajwaRaminder; BatesSarah; BhatiaSuresh; BodenNan; BorchersAl; BoyleRick (2017-06-24). 「Tensor Processing Unit のデータセンター内パフォーマンス分析」. ACM SIGARCH Computer Architecture News . 45 (2): 1–12. arXiv : 1704.04760 . doi : 10.1145/3140659.3080246 .
- ^ Woodie, Alex (2021-11-01). 「Cerebras がディープラーニング ワークロードのアクセラレータに参入」Datanami . 2022-08-03閲覧。
- ^ 「Cerebras、2.6兆個のトランジスタを搭載した新しいAIスーパーコンピューティングプロセッサを発表」VentureBeat . 2021-04-20 . 2022-08-03閲覧。
- ^ マレガ、ギリェルメ・ミリアート;趙、延飛。アフサール、アフメット。王振宇。トリパティ、ムケシュ。ラデノビッチ、アレクサンドラ。キス、アンラス（2020）。 「原子レベルの薄い半導体に基づくロジック・イン・メモリ」。自然。587 (2): 72-77。Bibcode :2020Natur.587...72M。土井：10.1038/s41586-020-2861-0。PMC 7116757。PMID 33149289。
- ^ abc Feldmann, J.; Youngblood, N.; Karpov, M.; et al. (2021). 「統合フォトニックテンソルを使用した並列畳み込み処理」. Nature . 589 (2): 52–58. arXiv : 2002.00281 . doi :10.1038/s41586-020-03070-1. PMID 33408373. S2CID 211010976.
- ^ Garofolo, JS; Lamel, LF; Fisher, WM; Fiscus, JG; Pallett, DS; Dahlgren, NL; Zue, V. (1993). TIMIT 音響音声連続音声コーパス. 言語データコンソーシアム. doi :10.35111/17gk-bn40. ISBN 1-58563-019-5. 2023年12月27日閲覧。
- ^ Robinson, Tony (1991 年9月 30 日)。「再発性エラー伝播ネットワーク電話認識システムに対するいくつかの改良」。ケンブリッジ大学工学部技術レポート。CUED/F-INFENG/TR82。doi :10.13140/RG.2.2.15418.90567。
- ^ Abdel-Hamid, O.; et al. (2014). 「音声認識のための畳み込みニューラルネットワーク」。IEEE /ACM Transactions on Audio, Speech, and Language Processing . 22 (10): 1533–1545. doi :10.1109/taslp.2014.2339736. S2CID 206602362. 2020-09-22にオリジナルからアーカイブ。2018-04-20に取得。
- ^ Deng, L.; Platt, J. (2014). 「音声認識のためのアンサンブルディープラーニング」Proc. Interspeech : 1915–1919. doi :10.21437/Interspeech.2014-433. S2CID 15641618.
- ^ Tóth, Laszló (2015). 「階層的畳み込みディープマックスアウトネットワークによる電話認識」(PDF) . EURASIP Journal on Audio, Speech, and Music Processing . 2015 . doi : 10.1186/s13636-015-0068-3 . S2CID 217950236. 2020-09-24 にオリジナルからアーカイブ(PDF)されました。2019-04-01に取得。
- ^ McMillan, Robert (2014年12月17日). 「SkypeがAIを活用して驚くべき新言語翻訳機を開発した方法 | WIRED」. Wired . 2017年6月8日時点のオリジナルよりアーカイブ。 2017年6月14日閲覧。
- ^ ハヌン、アウニ;ケース、カール。キャスパー、ジャレッド。カタンザーロ、ブライアン。ディアモス、グレッグ。エルセン、エーリッヒ。プレンジャー、ライアン。サシーシュ、サンジーブ。セングプタ、シュボー。コーツ、アダム。ン、アンドリュー Y (2014)。 「ディープスピーチ: エンドツーエンドの音声認識のスケールアップ」。arXiv : 1412.5567 [cs.CL]。
- ^ 「MNIST 手書き数字データベース、Yann LeCun、Corinna Cortes、Chris Burges」。yann.lecun.com。2014年 1 月 13 日時点のオリジナルよりアーカイブ。2014年 1 月 28 日閲覧。
- ^ Cireşan, Dan; Meier, Ueli; Masci, Jonathan; Schmidhuber, Jürgen (2012 年 8 月)。 「交通標識分類のためのマルチカラムディープニューラルネットワーク」。ニューラルネットワーク。IJCNN 2011 からの選抜論文。32 : 333–338。CiteSeerX 10.1.1.226.8219。doi : 10.1016 /j.neunet.2012.02.023。PMID 22386783 。
- ^ チャオチャオ・ルー;シャオウ・タン（2014）。 「人間レベルを超えた顔認識」。arXiv : 1404.3840 [cs.CV]。
- ^ Nvidia が「ディープラーニング」で訓練された車載コンピューターをデモ (2015 年 1 月 6 日)、David Talbot、MIT テクノロジー レビュー
- ^ abc GW Smith; Frederic Fol Leymarie (2017年4月10日). 「The Machine as Artist: An Introduction」. Arts . 6 (4): 5. doi : 10.3390/arts6020005 .
- ^ abc Blaise Agüera y Arcas (2017年9月29日). 「機械知能時代のアート」. Arts . 6 (4): 18. doi : 10.3390/arts6040018 .
- ^ Goldberg, Yoav; Levy, Omar (2014). 「word2vec の説明: Mikolov らの負のサンプリング単語埋め込み法の導出」. arXiv : 1402.3722 [cs.CL].
- ^ ab Socher, Richard; Manning, Christopher. 「NLP のためのディープラーニング」(PDF)。2014 年 7 月 6 日時点のオリジナルよりアーカイブ(PDF) 。2014 年10 月 26 日閲覧。
- ^ Socher, Richard; Bauer, John; Manning, Christopher; Ng, Andrew (2013). 「Parsing With Compositional Vector Grammars」(PDF) . Proceedings of the ACL 2013 Conference . 2014-11-27 にオリジナルからアーカイブ(PDF)されました。2014-09-03に取得。
- ^ Socher, R.; Perelygin, A.; Wu, J.; Chuang, J.; Manning, CD; Ng, A.; Potts, C. (2013 年 10 月). 「感情ツリーバンク上の意味的構成性のための再帰的ディープ モデル」(PDF)。2013年自然言語処理における経験的手法に関する会議の議事録。計算言語学協会。2016年 12 月 28 日時点のオリジナルからアーカイブ(PDF) 。2023年12 月 21 日に取得。
- ^ Shen, Yelong; He, Xiaodong; Gao, Jianfeng; Deng, Li; Mesnil, Gregoire (2014 年 11 月 1 日)。「情報検索のための畳み込みプーリング構造を備えた潜在的意味モデル」。Microsoft Research。2017年 10 月 27 日時点のオリジナルよりアーカイブ。2017年6 月 14 日閲覧。
- ^ Huang, Po-Sen; He, Xiaodong; Gao, Jianfeng; Deng, Li; Acero, Alex; Heck, Larry (2013 年 10 月 1 日)。「クリックスルー データを使用した Web 検索用のディープ構造化セマンティック モデルの学習」。Microsoft Research。2017年 10 月 27 日時点のオリジナルよりアーカイブ。2017 年6 月 14 日閲覧。
- ^ Mesnil, G.; Dauphin, Y.; Yao, K.; Bengio, Y.; Deng, L.; Hakkani-Tur, D .; He, X.; Heck, L.; Tur, G.; Yu, D.; Zweig, G. (2015). 「音声言語理解におけるスロット充填のためのリカレントニューラルネットワークの使用」。IEEE Transactions on Audio, Speech, and Language Processing . 23 (3): 530–539. doi :10.1109/taslp.2014.2383614. S2CID 1317136.
- ^ ab Gao, Jianfeng; He, Xiaodong; Yih, Scott Wen-tau; Deng, Li (2014 年 6 月 1 日). 「翻訳モデリングのための連続フレーズ表現の学習」。Microsoft Research。2017年 10 月 27 日時点のオリジナルよりアーカイブ。2017年6 月 14 日閲覧。
- ^ Brocardo, Marcelo Luiz; Traore, Issa; Woungang, Isaac; Obaidat, Mohammad S. (2017). 「ディープビリーフネットワークシステムを使用した著者検証」. International Journal of Communication Systems . 30 (12): e3259. doi :10.1002/dac.3259. S2CID 40745740.
- ^ Kariampuzha, William; Alyea, Gioconda; Qu, Sue; Sanjak, Jaleal; Mathé, Ewy; Sid, Eric; Chatelaine, Haley; Yadaw, Arjun; Xu, Yanji; Zhu, Qian (2023). 「大規模な希少疾患疫学のための精密情報抽出」. Journal of Translational Medicine . 21 (1): 157. doi : 10.1186/s12967-023-04011-y . PMC 9972634. PMID 36855134 .
- ^ 「自然言語処理のためのディープラーニング: 理論と実践 (CIKM2014 チュートリアル) - Microsoft Research」。Microsoft Research。2017年 3 月 13 日時点のオリジナルよりアーカイブ。2017年6 月 14 日閲覧。
- ^ Turovsky, Barak (2016年11月15日). 「翻訳で発見: Google翻訳でより正確で流暢な文章」. The Keyword Google Blog . 2017年4月7日時点のオリジナルよりアーカイブ。 2017年3月23日閲覧。
- ^ abcd Schuster, Mike; Johnson, Melvin; Thorat, Nikhil (2016年11月22日). 「Googleの多言語ニューラル機械翻訳システムによるゼロショット翻訳」。Google Research Blog。2017年7月10日時点のオリジナルよりアーカイブ。 2017年3月23日閲覧。
- ^ Wu, Yonghui; Schuster, Mike; Chen, Zhifeng; Le, Quoc V; Norouzi, Mohammad; Macherey, Wolfgang; Krikun, Maxim; Cao, Yuan; Gao, Qin; Macherey, Klaus; Klingner, Jeff; Shah, Apurva; Johnson, Melvin; Liu, Xiaobing; Kaiser, Łukasz; Gouws, Stephan; Kato, Yoshikiyo; Kudo, Taku; Kazawa, Hideto; Stevens, Keith; Kurian, George; Patil, Nishant; Wang, Wei; Young, Cliff; Smith, Jason; Riesa, Jason; Rudnick, Alex; Vinyals, Oriol; Corrado, Greg; et al. (2016). 「Google のニューラル機械翻訳システム: 人間と機械の翻訳のギャップを埋める」。arXiv : 1609.08144 [cs.CL].
- ^ Metz, Cade (2016年9月27日). 「AIの導入により、Google翻訳はかつてないほど強力に」Wired . 2020年11月8日時点のオリジナルよりアーカイブ。 2017年10月12日閲覧。
- ^ ab Boitet, Christian; Blanchon, Hervé; Seligman, Mark; Bellynck, Valérie (2010). 「Web 上および Web 用 MT」(PDF)。2017 年 3 月 29 日時点のオリジナル(PDF)からアーカイブ。2016 年12 月 1 日閲覧。
- ^ Arrowsmith, J; Miller, P (2013). 「治験監視: フェーズ II およびフェーズ III の脱落率 2011-2012」. Nature Reviews Drug Discovery . 12 (8): 569. doi : 10.1038/nrd4090 . PMID 23903212. S2CID 20246434.
- ^ Verbist, B; Klambauer, G; Vervoort, L; Talloen, W; The Qstar, Consortium; Shkedy, Z; Thas, O; Bender, A; Göhlmann, HW; Hochreiter, S (2015). 「トランスクリプトミクスを用いた医薬品発見プロジェクトにおけるリード最適化のガイド: QSTAR プロジェクトから学んだ教訓」Drug Discovery Today . 20 (5): 505–513. doi : 10.1016/j.drudis.2014.12.014 . hdl : 1942/18723 . PMID 25582842.
- ^ 「Merck Molecular Activity Challenge」. kaggle.com . 2020年7月16日時点のオリジナルよりアーカイブ。2020年7月16日閲覧。
- ^ 「QSAR予測のためのマルチタスクニューラルネットワーク | Data Science Association」www.datascienceassn.org。2017年4月30日時点のオリジナルよりアーカイブ。2017年6月14日閲覧。
- ^ 「21世紀の毒物学データチャレンジ」
- ^ 「NCATSがTox21データチャレンジの受賞者を発表」。2015年9月8日時点のオリジナルよりアーカイブ。2015年3月5日閲覧。
- ^ 「NCATSがTox21データチャレンジの受賞者を発表」。2015年2月28日時点のオリジナルよりアーカイブ。2015年3月5日閲覧。
- ^ Wallach, Izhar; Dzamba, Michael; Heifets, Abraham (2015 年 10 月 9 日)。「AtomNet: 構造ベースの創薬における生物活性予測のための深層畳み込みニューラル ネットワーク」。arXiv : 1510.02855 [ cs.LG]。
- ^ ab 「トロントのスタートアップが効果的な医薬品をより早く発見」。The Globe and Mail。2015年10月20日時点のオリジナルよりアーカイブ。2015年11月9日閲覧。
- ^ 「スタートアップ企業がスーパーコンピューターを活用して治療法を模索」KQED Future of You 2015年5月27日。2015年12月24日時点のオリジナルよりアーカイブ。2015年11月9日閲覧。
- ^ Gilmer, Justin; Schoenholz, Samuel S.; Riley, Patrick F.; Vinyals, Oriol; Dahl, George E. (2017-06-12). 「量子化学のためのニューラルメッセージパッシング」. arXiv : 1704.01212 [cs.LG].
- ^ Zhavoronkov, Alex (2019). 「ディープラーニングにより、強力なDDR1キナーゼ阻害剤を迅速に特定することが可能に」Nature Biotechnology . 37 (9): 1038–1040. doi :10.1038/s41587-019-0224-x. PMID 31477924. S2CID 201716327.
- ^ グレゴリー・バーバー。「AIによって設計された分子が「薬のような」性質を示す」。Wired。2020年4月30日時点のオリジナルよりアーカイブ。 2019年9月5日閲覧。
- ^ Tkachenko, Yegor (2015 年 4 月 8 日)。「離散的および連続的なアクション空間での深層強化学習による CLV 近似による自律 CRM 制御」。arXiv : 1504.01840 [ cs.LG]。
- ^ van den Oord, Aaron; Dieleman, Sander; Schrauwen, Benjamin (2013). Burges, CJC; Bottou, L.; Welling, M.; Ghahramani, Z.; Weinberger, KQ (eds.). Advances in Neural Information Processing Systems 26 (PDF) . Curran Associates, Inc. pp. 2643–2651. 2017-05-16 にオリジナルからアーカイブ(PDF)されました。2017-06-14に取得。
- ^ Feng, XY; Zhang, H.; Ren, YJ; Shang, PH; Zhu, Y.; Liang, YC; Guan, RC; Xu, D. (2019). 「バイオメディカル出版場所を選択するためのディープラーニングベースのレコメンダーシステム「Pubmender」：開発および検証研究」。Journal of Medical Internet Research。21 ( 5 ): e12957。doi : 10.2196/ 12957。PMC 6555124。PMID 31127715。
- ^ Elkahky, Ali Mamdouh; Song, Yang; He, Xiaodong (2015 年 5 月 1 日)。「推奨システムにおけるクロスドメイン ユーザー モデリングのためのマルチビュー ディープラーニング アプローチ」。Microsoft Research。2018年 1 月 25 日時点のオリジナルよりアーカイブ。2017年6 月 14 日閲覧。
- ^ Chicco, Davide; Sadowski, Peter; Baldi, Pierre (2014 年 1 月 1 日)。「遺伝子オントロジー注釈予測のためのディープ オートエンコーダ ニューラル ネットワーク」。第 5 回 ACM バイオインフォマティクス、計算生物学、健康情報学会議の議事録。ACM。pp. 533–540。doi : 10.1145 /2649387.2649442。hdl :11311 / 964622。ISBN 9781450328944. S2CID 207217210. 2021年5月9日時点のオリジナルよりアーカイブ。2015年11月23日閲覧。
- ^ Sathyanarayana, Aarti (2016 年 1 月 1 日). 「ディープラーニングを使用したウェアラブルデータからの睡眠の質の予測」. JMIR mHealth および uHealth . 4 (4): e125. doi : 10.2196/mhealth.6562 . PMC 5116102. PMID 27815231. S2CID 3821594.
- ^ Choi, Edward; Schuetz, Andy; Stewart, Walter F.; Sun, Jimeng (2016年8月13日). 「心不全発症の早期検出のためのリカレントニューラルネットワークモデルの使用」. Journal of the American Medical Informatics Association . 24 (2): 361–370. doi :10.1093/jamia/ocw112. ISSN 1067-5027. PMC 5391725. PMID 27521897 .
- ^ 「DeepMindのタンパク質折り畳みAIが生物学の50年来の大きな課題を解決」MITテクノロジーレビュー。2024年5月10日閲覧。
- ^ Shead, Sam (2020-11-30). 「DeepMindがタンパク質フォールディングAIで50年来の『大きな課題』を解決」CNBC 。2024年5月10日閲覧。
- ^ ab Shalev, Y.; Painsky, A.; Ben-Gal, I. (2022). 「ニューラルジョイントエントロピー推定」(PDF) . IEEE Transactions on Neural Networks and Learning Systems . PP (4): 5488–5500. arXiv : 2012.11197 . doi :10.1109/TNNLS.2022.3204919. PMID 36155469. S2CID 229339809.
- ^ リッチェンス、ギアルト;コーイ、ティスス。ベジノルディ、ババク・エテシャミ。セティオ、アルノー・アリンドラ・アディヨソ。チオンピ、フランチェスコ。ガフーリアン、モーセン。ファン・デル・ラーク、ジェロン・AWM。ファン・ギネケン、ブラム。サンチェス、クララ I. (2017 年 12 月)。 「医用画像解析におけるディープラーニングに関する調査」。医用画像解析。42：60～88。arXiv : 1702.05747。ビブコード：2017arXiv170205747L。土井：10.1016/j.media.2017.07.005。PMID 28778026。S2CID 2088679 。
- ^ Forslid, Gustav; Wieslander, Hakan; Bengtsson, Ewert; Wahlby, Carolina; Hirsch, Jan-Michael; Stark, Christina Runow; Sadanandan, Sajith Kecheril (2017). 「悪性腫瘍による細胞変化を検出するための深層畳み込みニューラルネットワーク」。2017 IEEE 国際コンピュータビジョンワークショップ会議 (ICCVW)。pp. 82–89。doi : 10.1109 / ICCVW.2017.18。ISBN 9781538610343. S2CID 4728736. 2021年5月9日にオリジナルからアーカイブ。2019年11月12日閲覧。
- ^ Dong, Xin; Zhou, Yizhao; Wang, Lantian; Peng, Jingfeng; Lou, Yanbo; Fan, Yiqun (2020). 「ディープラーニングフレームワークに基づくハイブリッド型完全畳み込みニューラルネットワークを使用した肝臓がん検出」. IEEE Access . 8 : 129889–129898. Bibcode :2020IEEEA...8l9889D. doi : 10.1109/ACCESS.2020.3006362 . ISSN 2169-3536. S2CID 220733699.
- ^ Lyakhov, Pavel Alekseevich; Lyakhova, Ulyana Alekseevna; Nagornov, Nikolay Nikolaevich (2022-04-03). 「マルチモーダルニューラルネットワークに基づく異種データの融合と分析による色素性皮膚病変の認識システム」. Cancers . 14 ( 7): 1819. doi : 10.3390/cancers14071819 . ISSN 2072-6694. PMC 8997449. PMID 35406591.
- ^ De, Shaunak; Maity, Abhishek; Goel, Vritti; Shitole, Sanjay; Bhattacharya, Avik (2017). 「ディープラーニングを使用したライフスタイル雑誌のインスタグラム投稿の人気度の予測」。2017第 2 回国際通信システム、コンピューティング、IT アプリケーション会議 (CSCITA)。pp. 174–177。doi : 10.1109 / CSCITA.2017.8066548。ISBN 978-1-5090-4381-1. S2CID 35350962。
- ^ 「ディープラーニングによる古い画像のカラー化と復元」。FloydHubブログ。2018 年 11 月 13 日。2019 年 10 月 11 日時点のオリジナルよりアーカイブ。2019年10 月 11 日閲覧。
- ^ Schmidt, Uwe; Roth, Stefan. Shrinkage Fields for Effective Image Restoration (PDF) . Computer Vision and Pattern Recognition (CVPR)、2014 IEEE Conference on. 2018-01-02 のオリジナルからアーカイブ(PDF) 。2018-01-01に取得。
- ^ Kleanthous, Christos; Chatzis, Sotirios (2020). 「付加価値税監査ケース選択のためのゲート付き混合変分オートエンコーダ」.知識ベースシステム. 188 : 105048. doi :10.1016/j.knosys.2019.105048. S2CID 204092079.
- ^ Czech, Tomasz (2018年6月28日). 「ディープラーニング：マネーロンダリング検出の次のフロンティア」. Global Banking and Finance Review . 2018年11月16日時点のオリジナルよりアーカイブ。 2018年7月15日閲覧。
- ^ Nuñez, Michael (2023-11-29). 「Google DeepMindの材料AIはすでに220万個の新しい結晶を発見している」VentureBeat 。 2023年12月19日閲覧。
- ^ Merchant, Amil; Batzner, Simon; Schoenholz, Samuel S.; Aykol, Muratahan; Cheon, Gowoon; Cubuk, Ekin Dogus (2023年12月). 「材料発見のためのディープラーニングのスケーリング」. Nature . 624 (7990): 80–85. Bibcode :2023Natur.624...80M. doi : 10.1038/s41586-023-06735-9 . ISSN 1476-4687. PMC 10700131. PMID 38030720 .
- ^ Peplow, Mark (2023-11-29). 「Google AIとロボットが協力して新素材を開発」Nature . doi :10.1038/d41586-023-03745-5. PMID 38030771. S2CID 265503872.
- ^ abc 「陸軍研究者がロボットを訓練するための新しいアルゴリズムを開発」EurekAlert! 2018年8月28日時点のオリジナルよりアーカイブ。 2018年8月29日閲覧。
- ^ Raissi, M.; Perdikaris, P.; Karniadakis, GE (2019-02-01). 「物理学に基づくニューラルネットワーク: 非線形偏微分方程式を含む順方向問題と逆方向問題を解くためのディープラーニングフレームワーク」. Journal of Computational Physics . 378 :686–707. Bibcode :2019JCoPh.378..686R. doi : 10.1016/j.jcp.2018.10.045 . ISSN 0021-9991. OSTI 1595805. S2CID 57379996.
- ^ Mao, Zhiping; Jagtap, Ameya D.; Karniadakis, George Em (2020-03-01). 「高速フローのための物理学に基づくニューラルネットワーク」.応用力学および工学におけるコンピューター手法. 360 : 112789. Bibcode :2020CMAME.360k2789M. doi : 10.1016/j.cma.2019.112789 . ISSN 0045-7825. S2CID 212755458.
- ^ Raissi, Maziar; Yazdani, Alireza; Karniadakis, George Em (2020-02-28). 「隠れた流体力学：流れの可視化から速度場と圧力場を学ぶ」. Science . 367 (6481): 1026–1030. Bibcode :2020Sci...367.1026R. doi :10.1126/science.aaw4741. PMC 7219083. PMID 32001523 .
- ^ Han , J.; Jentzen, A.; E, W. (2018 ) . 「ディープラーニングを用いた高次元偏微分方程式の解法」。米国科学 アカデミー紀要。115 (34): 8505–8510。arXiv : 1707.02568。Bibcode : 2018PNAS..115.8505H。doi : 10.1073 / pnas.1718942115。PMC 6112690。PMID 30082389。
- ^ Oktem, Figen S.; Kar, Oğuzhan Fatih; Bezek, Can Deniz; Kamalabadi, Farzad (2021). 「回折レンズと学習再構成による高解像度マルチスペクトルイメージング」。IEEE Transactions on Computational Imaging . 7 : 489–504. arXiv : 2008.11625 . doi :10.1109/TCI.2021.3075349. ISSN 2333-9403. S2CID 235340737.
- ^ Bernhardt, Melanie; Vishnevskiy, Valery; Rau, Richard; Goksel, Orcun (2020年12月). 「マルチドメインシミュレーションによる変分ネットワークのトレーニング：音速画像再構成」. IEEE Transactions on Ultrasonics, Ferroelectrics, and Frequency Control . 67 (12): 2584–2594. arXiv : 2006.14395 . doi :10.1109/TUFFC.2020.3010186. ISSN 1525-8955. PMID 32746211. S2CID 220055785.
- ^ ラム、レミ;サンチェス・ゴンザレス、アルバロ。ウィルソン、マシュー。ウィルンズバーガー、ピーター。フォルトゥナート、メイレ。アレ、フェラン。ラヴリ、スーマン。エワルズ、ティモ。ザック・イートン・ローゼン。胡、威華。メローズ、アレクサンダー。ホイヤー、ステファン。ホランド、ジョージ。ビニャール、オリオール。ストット、ジャックリン (2023-12-22)。 「上手に学ぶ世界の中期天気予報」。科学。382 (6677): 1416 ～ 1421 年。arXiv : 2212.12794。Bibcode :2023Sci...382.1416L。土井：10.1126/science.adi2336。ISSN 0036-8075。PMID 37962497。
- ^ Sivakumar, Ramakrishnan (2023-11-27). 「GraphCast: 天気予報のブレークスルー」. Medium . 2024-05-19閲覧。
- ^ Galkin, F.; Mamoshina, P.; Kochetov, K.; Sidorenko, D.; Zhavoronkov, A. (2020). 「DeepMAge: ディープラーニングで開発されたメチル化老化時計」.老化と疾患. doi : 10.14336/AD .
- ^ Utgoff, PE; Stracuzzi, DJ (2002). 「多層学習」.ニューラルコンピューティング. 14 (10): 2497–2529. doi :10.1162/08997660260293319. PMID 12396572. S2CID 1119517.
- ^ エルマン、ジェフリー・L. (1998)。『生得性の再考：発達に関するコネクショニストの視点』MIT 出版。ISBN 978-0-262-55030-7。
- ^ Shrager, J.; Johnson, MH (1996). 「動的可塑性は単純な皮質配列における機能の出現に影響を与える」.ニューラルネットワーク. 9 (7): 1119–1129. doi :10.1016/0893-6080(96)00033-0. PMID 12662587.
- ^ Quartz, SR; Sejnowski, TJ (1997). 「認知発達の神経基盤：構成主義のマニフェスト」.行動と脳科学. 20 (4): 537–556. CiteSeerX 10.1.1.41.7854 . doi :10.1017/s0140525x97001581. PMID 10097006. S2CID 5818342.
- ^ S. Blakeslee、「脳の初期成長において、タイムテーブルが重要かもしれない」、ニューヨークタイムズ、科学面、pp. B5-B6、1995年。
- ^ Mazzoni, P.; Andersen, RA; Jordan, MI (1991 年 5 月 15 日). 「ニューラル ネットワークのより生物学的に妥当な学習ルール」. Proceedings of the National Academy of Sciences . 88 (10): 4433–4437. Bibcode :1991PNAS...88.4433M. doi : 10.1073/pnas.88.10.4433 . ISSN 0027-8424. PMC 51674. PMID 1903542 .
- ^ O'Reilly, Randall C. (1996 年 7 月 1 日)。「局所 活性化差を用いた生物学的に妥当なエラー駆動型学習: 一般化再循環アルゴリズム」。ニューラルコンピューティング。8 (5): 895–938。doi : 10.1162 /neco.1996.8.5.895。ISSN 0899-7667。S2CID 2376781 。
- ^ Testolin, Alberto; Zorzi, Marco (2016). 「確率モデルと生成ニューラルネットワーク: 正常および障害のある神経認知機能をモデル化する統一フレームワークに向けて」. Frontiers in Computational Neuroscience . 10:73 . doi : 10.3389/fncom.2016.00073 . ISSN 1662-5188. PMC 4943066. PMID 27468262. S2CID 9868901 .
- ^ Testolin, Alberto; Stoianov, Ivilin; Zorzi, Marco (2017 年 9 月)。「文字の知覚は、教師なしのディープラーニングと自然な画像の特徴のリサイクルから生まれる」。Nature Human Behaviour。1 ( 9 ) : 657–664。doi : 10.1038 /s41562-017-0186-2。ISSN 2397-3374。PMID 31024135。S2CID 24504018 。
- ^ Buesing, Lars; Bill, Johannes; Nessler, Bernhard; Maass, Wolfgang (2011 年 11 月 3 日). 「Neural Dynamics as Sampling: A Model for Stochastic Computation in Recurrent Networks of Spiking Neurons」. PLOS Computational Biology . 7 (11): e1002211. Bibcode :2011PLSCB...7E2211B. doi : 10.1371/journal.pcbi.1002211 . ISSN 1553-7358. PMC 3207943. PMID 22096452. S2CID 7504633 .
- ^ Cash, S.; Yuste, R. (1999年2月). 「CA1錐体ニューロンによる興奮性入力の線形和」. Neuron . 22 (2): 383–394. doi : 10.1016/s0896-6273(00)81098-3 . ISSN 0896-6273. PMID 10069343. S2CID 14663106.
- ^ Olshausen, B; Field, D (2004 年 8 月 1 日). 「感覚入力のスパースコーディング」. Current Opinion in Neurobiology . 14 (4): 481–487. doi :10.1016/j.conb.2004.07.007. ISSN 0959-4388. PMID 15321069. S2CID 16560320.
- ^ Yamins, Daniel LK; DiCarlo, James J (2016 年 3 月). 「目標駆動型ディープラーニング モデルを使用した感覚皮質の理解」. Nature Neuroscience . 19 (3): 356–365. doi :10.1038/nn.4244. ISSN 1546-1726. PMID 26906502. S2CID 16970545.
- ^ ゾルジ、マルコ; テストリン、アルベルト (2018 年 2 月 19 日)。「数感覚の起源に関する創発的視点」。Phil . Trans. R. Soc. B. 373 ( 1740): 20170043. doi :10.1098/rstb.2017.0043. ISSN 0962-8436. PMC 5784047. PMID 29292348. S2CID 39281431.
- ^ Güçlü, Umut; van Gerven, Marcel AJ (2015 年 7 月 8 日). 「ディープ ニューラル ネットワークは、腹側ストリーム全体の神経表現の複雑性の勾配を明らかにします」. Journal of Neuroscience . 35 (27): 10005–10014. arXiv : 1411.6422 . doi :10.1523/jneurosci.5023-14.2015. PMC 6605414. PMID 26157000 .
- ^ Metz, C. (2013年12月12日). 「Facebookの『ディープラーニング』の第一人者がAIの未来を明らかにする」Wired。2014年3月28日時点のオリジナルよりアーカイブ。 2017年8月26日閲覧。
- ^ Gibney, Elizabeth (2016). 「Google AIアルゴリズムが古代囲碁を制覇」. Nature . 529 (7587): 445–446. Bibcode :2016Natur.529..445G. doi : 10.1038/529445a . PMID 26819021. S2CID 4460235.
- ^ シルバー、デヴィッド; Huang, アジャ;マディソン、クリス・J。グエズ、アーサー。シフレ、ローラン。ドリーシェ、ジョージ・ヴァン・デン。シュリットヴィーザー、ジュリアン。アントノグルー、イオアニス。パニールシェルヴァム、ヴェーダ。マーク・ランクトット。ディーレマン、サンダー。グルー、ドミニク。ナム、ジョン。カルクブレンナー、ナル。Sutskever, イリヤ;リリックラップ、ティモシー。リーチ、マデリン。カヴククオール、コライ州。グライペル、トール。ハサビス、デミス（2016年1月28日）。 「ディープ ニューラル ネットワークとツリー検索で囲碁をマスターする」。自然。529 (7587): 484–489。Bibcode :2016Natur.529..484S。doi :10.1038/nature16961. ISSN 0028-0836. PMID 26819042. S2CID 515925.
- ^ 「Google DeepMind アルゴリズムがディープラーニングなどを活用して囲碁を制覇 | MIT Technology Review」。MIT Technology Review。2016年 2 月 1 日時点のオリジナルよりアーカイブ。2016年1 月 30 日閲覧。
- ^ Metz, Cade (2017年11月6日). 「AI研究者がイーロン・マスク研究所を離れ、ロボット工学のスタートアップを始める」ニューヨーク・タイムズ。2019年7月7日時点のオリジナルよりアーカイブ。 2019年7月5日閲覧。
- ^ Bradley Knox, W.; Stone, Peter (2008). 「TAMER: 評価強化によるエージェントの手動トレーニング」2008 第 7 回 IEEE 国際開発学習会議pp. 292–297. doi :10.1109/devlrn.2008.4640845. ISBN 978-1-4244-2661-4. S2CID 5613334。
- ^ 「アルゴリズムと話す：AIはより速く学習するようになる」governmentciomedia.com 2018年5月16日。2018年8月28日時点のオリジナルよりアーカイブ。 2018年8月29日閲覧。
- ^ Marcus, Gary (2018年1月14日). 「ディープラーニングに対する懐疑論の擁護」ゲイリー・マーカス。2018年10月12日時点のオリジナルよりアーカイブ。 2018年10月11日閲覧。
- ^ Knight, Will (2017年3月14日). 「DARPAはAIのブラックボックスを解明しようとするプロジェクトに資金提供している」. MIT Technology Review . 2019年11月4日時点のオリジナルよりアーカイブ。 2017年11月2日閲覧。
- ^ Marcus, Gary (2012年11月25日). 「ディープラーニングは人工知能の革命か?」. The New Yorker . 2009年11月27日時点のオリジナルよりアーカイブ。2017年6月14日閲覧。
- ^ Alexander Mordvintsev、Christopher Olah、Mike Tyka (2015 年 6 月 17 日)。「Inceptionism: Going Deeper into Neural Networks」。Google Research ブログ。2015 年 7 月 3 日時点のオリジナルよりアーカイブ。2015年6 月 20 日閲覧。
- ^ Alex Hern (2015年6月18日). 「そう、アンドロイドは電気羊の夢を見る」. The Guardian . 2015年6月19日時点のオリジナルよりアーカイブ。 2015年6月20日閲覧。
- ^ abc Goertzel, Ben (2015). 「今日のディープラーニングアルゴリズムの病理の根底には深い理由があるのか？」(PDF)。2015年5月13日時点のオリジナルよりアーカイブ(PDF) 。 2015年5月10日閲覧。
- ^ Nguyen, Anh; Yosinski, Jason; Clune, Jeff (2014). 「ディープニューラルネットワークは簡単に騙される: 認識できない画像に対する高い信頼性の予測」arXiv : 1412.1897 [cs.CV].
- ^ セゲディ、クリスチャン;ザレンバ、ヴォイチェフ。スツケヴァー、イリヤ。ブルーナ、ジョアン。エルハン、ドゥミトル。グッドフェロー、イアン。ファーガス、ロブ (2013)。 「ニューラルネットワークの興味深い特性」。arXiv : 1312.6199 [cs.CV]。
- ^ Zhu, SC; Mumford, D. (2006). 「画像の確率的文法」. Found. Trends Comput. Graph. Vis . 2 (4): 259–362. CiteSeerX 10.1.1.681.2190 . doi :10.1561/0600000018.
- ^ ミラー、GA、N. チョムスキー、「パターン概念」。パターン検出に関する会議論文、ミシガン大学。1957 年。
- ^ Eisner, Jason. 「再帰構造の深層学習: 文法誘導」。2017年12月30日時点のオリジナルよりアーカイブ。2015年5月10日閲覧。
- ^ 「ハッカーはすでに人工知能を武器化し始めている」Gizmodo 2017年9月11日。2019年10月11日時点のオリジナルよりアーカイブ。 2019年10月11日閲覧。
- ^ 「ハッカーがAIに愚かな間違いをさせる方法」The Daily Dot 2018年6月18日。2019年10月11日時点のオリジナルよりアーカイブ。 2019年10月11日閲覧。
- ^ abcde 「AIは騙されやすい――なぜ変化が必要なのか」Singularity Hub 2017年10月10日。2017年10月11日時点のオリジナルよりアーカイブ。 2017年10月11日閲覧。
- ^ Gibney, Elizabeth (2017). 「フェイク動画を見つける科学者」. Nature . doi :10.1038/nature.2017.22784. 2017年10月10日時点のオリジナルよりアーカイブ。2017年10月11日閲覧。
- ^ トゥバロ、パオラ（2020）。「人工知能は誰の知能か？」グローバルダイアログ：38-39。
- ^ ab Mühlhoff, Rainer (2019年11月6日). 「人間支援型人工知能：あるいは、人間の脳内で大規模計算を実行する方法？機械学習のメディア社会学に向けて」. New Media & Society . 22 (10): 1868–1884. doi : 10.1177/1461444819885334 . ISSN 1461-4448. S2CID 209363848.
さらに読む
- ビショップ、クリストファー M.; ビショップ、ヒュー (2024)。ディープラーニング：基礎と概念。シュプリンガー。ISBN 978-3-031-45467-7。
- プリンス、サイモン JD (2023)。ディープラーニングを理解する。MIT プレス。ISBN 9780262048644。
- グッドフェロー、イアン、ベンジオ、ヨシュア、クールヴィル、アーロン (2016)。ディープラーニング。MIT プレス。ISBN 978-0-26203561-3. 2016年4月16日時点のオリジナルよりアーカイブ。2021年5月9日閲覧。入門書。
{{cite book}}: CS1 メンテナンス: 追記 (リンク)