Loading article…
人工ニューラルネットワーク（ANN）は、機械学習を使用して作成されたモデルであり、さまざまなタスクを実行します。その作成は神経回路に触発されました。[1] [a] ANNの計算実装の一部は数学の以前の発見に関連していますが、ANNの最初の実装は、パーセプトロンを開発した心理学者フランク・ローゼンブラットによるものでした。[1] 1970年代と1980年代にはANNに関する研究はほとんど行われず、AAAIはその期間を「AIの冬」と呼んでいました。[2]
その後、ハードウェアの進歩とバックプロパゲーションアルゴリズム、リカレントニューラルネットワーク、畳み込みニューラルネットワークの開発により、ANNへの関心が再燃しました。2010年代には、AlexNetと呼ばれるディープニューラルネットワーク（多くの層を持つニューラルネットワーク）が開発されました。[3]これは他の画像認識モデルを大幅に上回る性能を発揮し、現在進行中のAIスプリングを開始し、ANNへの関心をさらに高めたと考えられています。[4]トランスフォーマーアーキテクチャは、言語の文法依存関係をANNに教える方法として2017年に初めて説明され、[5] GPT-4などの大規模言語モデルで使用される主要なアーキテクチャです。拡散モデルは2015年に初めて説明され、 2020年代にDALL-Eなどの画像生成モデルで使用され始めました。 [要出典]
パーセプトロンとその他の初期のニューラルネットワーク
最も単純なフィードフォワードネットワークは、活性化関数のない単一の重み層で構成されます。これは単なる線形マップであり、それをトレーニングするには線形回帰を使用します。最小二乗法による線形回帰は、ルジャンドル(1805) とガウス(1795) によって惑星の動きの予測に使用されました。 [6] [7] [8] [9]
ウォーレン・マカロックとウォルター・ピッツ[10] (1943)は、ニューラルネットワークの非学習計算モデルを検討した。[11]このモデルは、研究が2つのアプローチに分かれる道を開いた。1つのアプローチは生物学的プロセスに焦点を当て、もう1つはニューラルネットワークの人工知能への応用に焦点を当てた。この研究は、神経ネットワークと有限オートマトンとの関連に関する研究につながった。[12]
1940年代初頭、DOヘブ[13]は神経可塑性のメカニズムに基づく学習仮説を考案し、ヘブ学習として知られるようになりました。ヘブ学習は教師なし学習です。これは長期増強のモデルへと発展しました。研究者は1948年にチューリングのB型マシンでこれらのアイデアを計算モデルに適用し始めました。ファーリーとクラーク[14] （1954）は、当時「計算機」と呼ばれていた計算マシンを初めて使用してヘブネットワークをシミュレートしました。他のニューラルネットワーク計算マシンは、ロチェスター、ホランド、ハビット、デューダ（1956）によって作成されました。 [15]
フランク・ローゼンブラット[1]（1958）は、パターン認識アルゴリズムであるパーセプトロンを作成した。多層パーセプトロン（MLP）は、入力層、学習しないランダムな重みを持つ隠れ層、および出力層の3層で構成されていた。ローゼンブラットは、当時のニューラルネットワークでは処理できなかった排他的論理和回路など、基本的なパーセプトロンにはない回路を数学的記法で記述した。1959年、ノーベル賞受賞者の ヒューベルとヴィーゼルが、一次視覚野に単純細胞と複雑細胞という2種類の細胞があることを発見したことに基づいて生物学的モデルを提案した。[16]彼は後に1962年に本を出版し、その中でもさまざまなバリエーションやコンピューター実験を紹介しており、その中には最後の2層が重みを学習した4層パーセプトロン（したがって適切な多層パーセプトロン）のバージョンもあった。[17] ：セクション16 1962年の本は、今日のディープラーニングシステムの基本的な要素をすべて開発し、探求したと考える人もいる。[18]
ミンスキーとパパートの パーセプトロン（1969）以降、研究は停滞したと言う人もいます[19]。
グループ法によるデータ処理は、任意の深さのニューラルネットワークを訓練する方法であり、1967年にアレクセイ・イヴァクネンコとラパによって発表されました。彼らはこれを多項式回帰の一種、 [20]またはローゼンブラットのパーセプトロンの一般化とみなしました。[21] 1971年の論文では、この方法で訓練された8層のディープネットワークについて説明しました。[22]
確率的勾配降下法[23]によって訓練された最初の深層学習多層パーセプトロンは、 1967年に天利俊一によって発表されました。[24]天利の学生である斎藤が行ったコンピュータ実験では、2つの変更可能な層を持つ5層のMLPが、 非線形に分離可能なパターンクラスを分類するための内部表現を学習しました。 [25]その後のハードウェアとハイパーパラメータの調整の進歩により、エンドツーエンドの確率的勾配降下法が現在主流の訓練手法となっています。
バックプロパゲーション
バックプロパゲーションは、ゴットフリート・ヴィルヘルム・ライプニッツが1673年に導出した連鎖律[26]を微分可能なノードのネットワークに効率的に適用したものである。「バックプロパゲーション誤差」という用語は、実際には1962年にローゼンブラットによって導入されたが[17]、彼はこれをどのように実装するかを知らなかった。一方、ヘンリー・J・ケリーは1960年に制御理論の文脈でバックプロパゲーションの連続的な先駆者であった。[27]バックプロパゲーションの現代的な形態は、1970年代初頭に何度も開発された。最も早く公表された例は、セッポ・リンナインマーの修士論文（1970年）である。[28] [29]ポール・ウェルボスは1971年にこれを独自に開発したが[30] 、 1982年まで公表に苦労した。 [31] 1986年に、デビッド・E・ルメルハートらがバックプロパゲーションを普及させた。[32]
再帰型ネットワークアーキテクチャ
RNNの起源の1つは統計力学です。イジングモデルは、 1920年代にヴィルヘルム・レンツ[33]とエルンスト・イジング[34]によって、平衡状態の磁石の単純な統計力学モデルとして開発されました[35] 。グラウバーは1963年に、時間の要素を加えて、平衡に向かうプロセス（グラウバーダイナミクス）として、時間とともに進化するイジングモデルを研究しました。 [36] 甘利俊一は1972年に、ヘブの学習則によってイジングモデルの重みを修正し、学習の要素を加えた連想記憶モデルを提案しました。[37]これはホップフィールドネットワーク（1982）として普及しました。 [38]
RNN のもう一つの起源は神経科学です。「反復」という言葉は解剖学でループ状の構造を表すのに使われます。1901 年、カハールは小脳皮質に「反復する半円」を観察しました。[39] 1933 年、ロレンテ・デ・ノはゴルジ法で「反復する相互接続」を発見し、興奮性ループが前庭眼反射の特定の側面を説明すると提唱しました。[40] [41] ヘブは短期記憶の説明として「反響回路」を検討しました。[42]マカロックとピッツの論文 (1943 年) はサイクルを含むニューラル ネットワークを検討し、そのようなネットワークの現在の活動は過去の無限に遠い活動によって影響を受ける可能性があると指摘しました。[43]
初期の影響力のある研究としては、ジョーダンネットワーク（1986年）とエルマンネットワーク（1990年）の2つがあり、これらは認知心理学の研究にRNNを適用した。1993年には、ニューラル履歴圧縮システムが、時間的に展開されたRNNで1000以上の後続レイヤーを必要とする「非常に深い学習」タスクを解決した。 [ 44]
LSTM
Sepp Hochreiterの卒業論文 (1991) [45]では、ニューラル ヒストリー コンプレッサーが提案され、消失勾配問題が特定され、分析されました。[45] [46] 1993 年、ニューラル ヒストリー コンプレッサー システムは、時間的に展開される RNN で1000 を超える後続レイヤーを必要とする「非常に深い学習」タスクを解決しました。 [47] [44] Hochreiter は、消失勾配問題を解決するために再帰残差接続を提案しました。これは、1995 年に発表された長短期記憶(LSTM) につながりました。 [48] LSTM は、数千の離散時間ステップ前に発生したイベントの記憶を必要とする長いクレジット割り当てパスを持つ「非常に深い学習」タスク[49]を学習できます。この LSTM はまだ最新のアーキテクチャではなく、1999 年に導入された「忘却ゲート」が必要でした。 [50]
長短期記憶（LSTM）ネットワークは、1995年にHochreiterとSchmidhuberによって発明され、複数のアプリケーション領域で精度記録を樹立しました。[48] [51]これはRNNアーキテクチャのデフォルトの選択肢となりました。
2006年頃、LSTMは音声認識に革命を起こし始め、特定の音声アプリケーションにおいて従来のモデルを上回る性能を発揮しました。[52] [53] LSTMは大語彙音声認識[54] [55]とテキスト音声合成[56]も改善し、 Google音声検索やAndroidデバイスのディクテーションに使用されました。[57]
LSTMは機械翻訳の改善、[58] 、言語モデリング[59]、多言語言語処理[60]において記録を破りました。LSTMと畳み込みニューラルネットワーク(CNN)を組み合わせることで、自動画像キャプション作成が改善されました。[61]
畳み込みニューラルネットワーク (CNN)
CNNアーキテクチャの起源は、1980年に福島邦彦氏によって導入された「ネオコグニトロン」[62]です。 [63] [64]これは、 1950年代と1960年代のヒューベル氏とヴィーゼル氏 による研究に触発されたもので、猫の視覚皮質には視野の小さな領域に個別に反応するニューロンが含まれていることが示されました。ネオコグニトロンは、CNNに畳み込み層とダウンサンプリング層という2つの基本的なタイプの層を導入しました。畳み込み層には、受容野が前の層のパッチをカバーするユニットが含まれています。このようなユニットの重みベクトル（適応パラメータのセット）は、しばしばフィルタと呼ばれます。ユニットはフィルタを共有できます。ダウンサンプリング層には、受容野が前の畳み込み層のパッチをカバーするユニットが含まれています。このようなユニットは通常、そのパッチ内のユニットの活性化の平均を計算します。このダウンサンプリングは、オブジェクトがシフトされた場合でも、視覚シーン内のオブジェクトを正しく分類するのに役立ちます。
1969年に福島邦彦はReLU（Rectified Linear Unit）活性化関数も発表した。[65] [66] ReLUはCNNや ディープニューラルネットワーク全般で最も人気のある活性化関数となった。[67]
時間遅延ニューラルネットワーク（TDNN）は、1987年にアレックス・ワイベルによって導入され、シフト不変性を実現した最初のCNNの1つでした。[68]これは、バックプロパゲーショントレーニングと組み合わせて重み共有を利用することで実現しました。 [69]したがって、ネオコグニトロンと同様にピラミッド構造を使用しながら、重みのローカル最適化ではなくグローバル最適化を実行しました。[68]
1988年、Wei Zhangらはアルファベット認識のためにCNN（画像特徴層と最後の完全接続層の間に畳み込み相互接続を持つ単純化されたネオコグニトロン）にバックプロパゲーションを適用した。彼らはまた、光コンピューティングシステムによるCNNの実装を提案した。 [70] [71]
福島邦彦は1980年にネオコグニトロンを発表した。 [72] 最大プーリングは1982年のネオコグニトロンに関する出版物に登場している。[73] 1989年、ヤン・ルカンらは、郵便物に手書きされた郵便番号を認識する目的でCNNをトレーニングした。アルゴリズムは機能したが、トレーニングには3日かかった。[74] [75]このモデルでは最大プーリングが使用された。学習は完全に自動で、手動の係数設計よりも優れたパフォーマンスを発揮し、より幅広い画像認識問題や画像タイプに適していた。その後、ウェイ・チャンらは、最後の完全結合層を削除してモデルを修正し、1991年に医療画像オブジェクトのセグメンテーションに適用し[76]、1994年にはマンモグラムでの乳がん検出に適用した。 [77]
ネオコグニトロンの変種であるクレセプトロンでは、福島の空間平均化の代わりに、J.ウェンらは、ダウンサンプリングユニットがそのパッチ内のユニットの活性化の最大値を計算する最大プーリングも使用しました。[78] [79] [80] [81]
1998年にヤン・ルカンらが開発した7レベルCNNであるLeNet-5 [82]は数字を分類するもので、いくつかの銀行で32×32ピクセルの画像にデジタル化された小切手（イギリス英語：cheques ）上の手書きの数字を認識するために適用されました。高解像度の画像を処理するには、より大きくより多くの層のCNNが必要になるため、この技術はコンピューティングリソースの可用性によって制約されます。
2010年には、マックスプーリングによるバックプロパゲーショントレーニングがGPUによって高速化され、他のプーリングバリアントよりも優れたパフォーマンスを発揮することが示されました。[83] Behnke（2003）は、画像再構成や顔の位置特定などの問題で、勾配の符号（Rprop）[84]のみに依存していました。Rpropは、1992年にMartin RiedmillerとHeinrich Braunによって作成された一次 最適化 アルゴリズムです。[85]
ディープラーニング
ディープラーニング革命は、CNN と GPU ベースのコンピューター ビジョンから始まりました。
バックプロパゲーションで訓練されたCNNは数十年前から存在しており、NNのGPU実装は何年も前から行われていましたが[86]、CNNも含め[87]、コンピュータビジョンの進歩にはGPU上でのCNNのより高速な実装が必要でした。その後、ディープラーニングが普及するにつれて、ディープラーニング専用のハードウェアとアルゴリズムの最適化が開発されました[88] 。
ディープラーニング革命の重要な進歩はハードウェア、特にGPUの進歩でした。初期の研究は2004年にまで遡ります。[86] [87] 2009年に、Raina、Madhavan、Andrew Ngは、30個のNvidia GeForce GTX 280 GPUでトレーニングされた1億のディープビリーフネットワークを報告しました。これはGPUベースのディープラーニングの初期のデモンストレーションです。彼らは、トレーニングが最大70倍高速になったと報告しました。[89]
2011年、ダン・チレサン、ウエリ・マイヤー、ジョナサン・マシ、ルカ・マリア・ガンバルデッラ、ユルゲン・シュミットフーバーによるDanNet [90] [ 91]というCNNが、視覚パターン認識コンテストで初めて超人的なパフォーマンスを達成し、従来の方法の3倍の性能を発揮しました。 [49]その後、さらに多くのコンテストで優勝しました。[92] [93]彼らはまた、GPU上で最大プーリングCNNがパフォーマンスを大幅に向上させることを示しました。[94]
多くの発見は経験的であり、エンジニアリングに焦点を当てていました。たとえば、2011年にXavier Glorot、Antoine Bordes、Yoshua Bengioは、 ReLU [65]が2011年以前に広く使用されていた活性化関数よりも優れていること を発見しました。
2012年10月、アレックス・クリジェフスキー、イリヤ・スツケヴァー、ジェフリー・ヒントンによるAlexNet [95]は、大規模なImageNetコンペティションで、浅い機械学習手法に大幅な差をつけて優勝しました。その後の漸進的な改良としては、カレン・シモニャンとアンドリュー・ジッサーマンによるVGG-16ネットワーク[96]やGoogleのInceptionv3 [97]などがあります。
画像分類における成功は、その後、 CNNとLSTMの組み合わせとして、画像の説明（キャプション）を生成するというより困難なタスクへと拡大されました。 [98] [99] [100]
2014年、最先端の技術は20～30層の「非常に深いニューラルネットワーク」を訓練することでした。[101]層を積み上げすぎると訓練精度が急激に低下し、[102]「劣化」問題として知られています。[103] 2015年には、非常に深いネットワークを訓練するための2つの技術が同時に開発されました。ハイウェイネットワーク[104]と残差ニューラルネットワーク（ResNet）です。[105] ResNet研究チームは、より深いネットワークを訓練するためのさまざまなトリックを経験的にテストすることで、より深いネットワークを訓練しようと試み、最終的に深層残差ネットワークアーキテクチャを発見しました。[106]
生成的敵対ネットワーク
1991年、ユルゲン・シュミットフーバーは「人工好奇心」、つまりゼロサムゲームにおけるニューラルネットワークを発表しました。[107]最初のネットワークは、出力パターンの確率分布をモデル化する生成モデルです。2番目のネットワークは、勾配降下法によって学習し、これらのパターンに対する環境の反応を予測します。GANは、最初のネットワークの出力が特定のセットにあるかどうかに応じて、環境の反応が1または0になるケースと見なすことができます。[108]これは「予測可能性の最小化」に拡張され、入力パターンの分離表現が作成されました。[109] [110]
他にも同様のアイデアを持っていた人はいたが、同じようには発展しなかった。敵対的ネットワークに関するアイデアは、2010年にOlli Niemitaloのブログ記事で発表された。[111]このアイデアは実装されることはなく、ジェネレータに確率性が含まれていなかったため、生成モデルではなかった。現在では条件付きGANまたはcGANとして知られている。 [112] GANに似たアイデアは、2013年にLi、Gauci、Grossによって動物の行動をモデル化するために使用された。[113 ]
GANのもう一つのインスピレーションはノイズ対照推定[114]であり、これはGANと同じ損失関数を使用し、グッドフェローは2010年から2014年にかけて博士課程で研究しました。
Ian Goodfellowらによる生成的敵対的ネットワーク（GAN）[115]は、2014年から2018年にかけて生成モデリングの最先端技術となった。NvidiaのStyleGAN（2018）[116]は、Tero KarrasらによるプログレッシブGAN [117 ]をベースにしており、優れた画像品質を実現している。GANジェネレーターは、ピラミッド状に小規模から大規模に成長していく。GANによる画像生成は大成功を収め、ディープフェイクに関する議論を巻き起こした。[ 118 ]拡散モデル（2015）[119]は、 DALL·E 2（2022）やStable Diffusion（2022） などのシステムにより、それ以来、生成モデリングにおいてGANを凌駕している。
注意メカニズムとトランスフォーマー
人間の選択的注意は、神経科学と認知心理学で研究されてきた。[120]聴覚の選択的注意は、カクテルパーティー効果（コリン・チェリー、1953）で研究された。[121] (ドナルド・ブロードベント、1958)は注意のフィルターモデルを提唱した。[122]視覚の選択的注意は、1960年代にジョージ・スパーリングの部分報告パラダイムによって研究された。また、サッカード制御は認知プロセスによって調整され、目は顕著性の高い領域に優先的に動くことが注目された。目の中心窩は小さいため、目は視野全体を一度に鮮明に解像することができない。サッカード制御を使用すると、目はシーンの重要な特徴をすばやくスキャンできる。[123]
これらの研究は、ネオコグニトロンの変種などのアルゴリズムに影響を与えた。[124] [125]逆に、ニューラルネットワークの発展は、生物学的視覚注意の回路モデルに影響を与えた。[126] [127]
注意機構の重要な側面は乗算演算の使用であり、これは高次ニューラルネットワーク、[128] 乗算ユニット、[129] シグマパイユニット、[130] 高速重みコントローラ、[131]ハイパーネットワークという名前で研究されてきた。[132]
繰り返しの注意
ディープラーニングの時代には、エンコードとデコードにおける同様の問題を解決するために注意メカニズムが開発されました。[133]
エンコーダー-デコーダーシーケンス変換のアイデアは、2010年代初頭に開発されました。seq2seqを生み出した創始者として最もよく引用される論文は、2014年の2つの論文です。[134] [135] seq2seqアーキテクチャは、機械翻訳などのシーケンス変換に、2つのRNN（通常はLSTM）、「エンコーダー」と「デコーダー」を使用します。これらは機械翻訳の最先端技術となり、アテンションメカニズムとTransformerの開発に役立ちました。
2015年に、seq2seqモデル[136]からヒントを得て、入力画像を固定長ベクトルにエンコードする画像キャプションモデルが提案されました。 (Xu et al 2015)、 [137]は(Bahdanau et al 2014)を引用し、[138]はseq2seqモデルで使用されている注意メカニズムを画像キャプションに適用しました。
トランス
seq2seqモデルの問題点の1つは、エンコーダとデコーダの両方がトークンごとにシーケンスを処理するため並列化できないリカレントニューラルネットワークを使用していることです。分解可能なアテンションは、入力シーケンスを並列処理してから「ソフトアライメントマトリックス」（「アライメント」は、Bahdanau et al 2014 [138]で使用されている用語です）を計算することでこの問題を解決しようとしました。これにより並列処理が可能になりました。
この時期には、エンコーダー-デコーダー（クロスアテンション）の代わりに、自己注意のための注意メカニズムを使用するというアイデアも提案されており、例えば微分可能ニューラルコンピュータやニューラルチューリングマシンなどがその例です。[139]これは、LSTMが入力シーケンスをエンコードする際にメモリネットワークで拡張されるイントラアテンション[140]と呼ばれていました。
これらの開発の流れは、 Attention Is All You Need (2017)で公開された Transformer アーキテクチャに統合されました。その後、注意メカニズムは Transformer アーキテクチャのフレームワーク内で拡張されました。
注意力を備えたSeq2seqモデルは、再帰ネットワークと同じ問題を抱えており、並列化が難しく、GPUで高速化できませんでした。2016年に、分解可能な注意力は、並列化が容易なフィードフォワードネットワークに注意力メカニズムを適用しました。[141]その著者の一人であるJakob Uszkoreitは、再帰のない注意力で言語翻訳に十分であると考え、タイトルは「注意力だけが必要」です。[142]
2017年に、オリジナルの（100Mサイズ）エンコーダーデコーダートランスフォーマーモデルが「Attention is all you need」論文で提案されました。当時の研究の焦点は、機械翻訳用のseq2seqを改善することでした。これは、すべてのトークンを並列に処理するために再帰を削除しながらも、ドット積アテンションメカニズムを維持してテキスト処理のパフォーマンスを維持することでした。[143]その並列化可能性は、大規模なニューラルネットワークで広く使用されるための重要な要素でした。[144]
教師なし学習と自己教師学習
自己組織化マップ
自己組織化マップ（SOM）は、1982年にテウヴォ・コホネンによって記述されました。[145] [146] SOMは神経生理学に着想を得た[147] 人工ニューラルネットワークであり、データの位相構造を維持しながら高次元データの低次元表現を学習します。競合学習を使用してトレーニングされます。
SOM は、身体のさまざまな部分について、感覚機能の処理に特化した人間の脳の領域と比率の神経学的「マップ」に基づいて、人体の歪んだ表現である皮質ホムンクルスを彷彿とさせる内部表現を作成します。
ボルツマンマシン
1985年から1995年にかけて、統計力学に触発されて、テリー・セジュスキー、ピーター・ダヤン、ジェフリー・ヒントンらによって、ボルツマンマシン[148] 、制限付きボルツマンマシン[149] 、[ヘルムホルツマシン] 、[150]、ウェイクスリープアルゴリズム[151]など、いくつかのアーキテクチャと手法が開発されました。これらは、深層生成モデルの教師なし学習用に設計されました。しかし、バックプロパゲーションに比べて計算コストが高かったです。1985年に発表されたボルツマン機械学習アルゴリズムは、1986年にバックプロパゲーションアルゴリズムに追い抜かれるまで一時的に人気がありました。(p. 112 [152] )。
ジェフリー・ヒントンら (2006) は、各層をモデル化するために制限付きボルツマンマシン[153]を用いて、バイナリまたは実数値の潜在変数の連続層を使用して高レベルの内部表現を学習することを提案した。この RBM は、入力セットの確率分布を学習できる生成確率フィードフォワードニューラルネットワークです。十分な数の層が学習されると、ディープアーキテクチャは、最上位レベルの機能アクティベーションからモデルをサンプリングするときにデータを再現することによって、生成モデルとして使用できます (「祖先パス」)。 [154] [155]
ディープラーニング
2012年、アンドリュー・ンとジェフ・ディーンは、 YouTube動画から取得したラベルのない画像を見るだけで、猫などの高レベルの概念を認識することを学習するFNNを作成した。[156]
その他の側面
知識の蒸留
知識蒸留またはモデル蒸留は、大規模なモデルから小規模なモデルに知識を転送するプロセスです。1つのニューラルネットワークの出力を使用して別のニューラルネットワークをトレーニングするというアイデアは、教師-生徒ネットワーク構成として研究されました。 [157] 1992年には、教師-生徒ネットワーク構成の統計力学を研究した論文がいくつかありました。この構成では、両方のネットワークが委員会マシン[158] [159]または両方ともパリティマシンです。[160]
ネットワーク蒸留の別の初期例も、1992年にリカレントニューラルネットワーク（RNN）の分野で発表されました。問題はシーケンス予測でした。これは2つのRNNによって解決されました。そのうちの1つ（「アトマイザー」）はシーケンスを予測し、もう1つ（「チャンカー」）はアトマイザーのエラーを予測しました。同時に、アトマイザーはチャンカーの内部状態を予測しました。アトマイザーがチャンカーの内部状態をうまく予測できるようになると、エラーを修正し始め、すぐにチャンカーは時代遅れになり、最終的に1つのRNNだけが残りました。[161]
関連する手法として、訓練されたネットワークのサイズを縮小するモデル圧縮または刈り込みがある。これは、人間の脳が損傷に耐性があることを示す神経生物学的研究に触発されたもので、1980年代にバイアス重み減衰[162]や最適脳損傷[163]などの手法を通じて研究された。
ハードウェアベースの設計
数百万から数十億のMOSトランジスタを相補型MOS （CMOS）技術の形で単一のチップ上に統合する金属酸化膜半導体（MOS）超大規模集積回路（VLSI）の開発により、1980年代には実用的な人工ニューラルネットワークの開発が可能になりました。[164]
計算デバイスはCMOSで作成され、生体物理学的シミュレーションと、人間の脳の構造と機能にヒントを得たニューロモルフィックコンピューティングの両方に使用されています。非常に大規模な主成分分析と畳み込みのためのナノデバイス[165]は、基本的にデジタルではなくアナログであるため、新しいクラスのニューラルコンピューティングを生み出す可能性があります（最初の実装ではデジタルデバイスが使用される可能性があります）。[166]
注記
- ^ ニューロンは、入ってくる化学入力の合計に基づいて、活動電位（他のニューロンへの化学入力である神経伝達物質の放出）を生成します。
参考文献
- ^ abc Rosenblatt, F. (1958). 「パーセプトロン: 脳内の情報の保存と組織化のための確率モデル」.心理学評論. 65 (6): 386–408. CiteSeerX 10.1.1.588.3775 . doi :10.1037/h0042519. PMID 13602029. S2CID 12781225.
- ^ クレヴィエ、ダニエル(1993) 。AI: 人工知能への激動の探求。ニューヨーク、NY: BasicBooks。ISBN 0-465-02997-3。
- ^ Krizhevsky, Alex; Sutskever, Ilya; Hinton, Geoffrey E. (2017-05-24). 「ImageNet分類とディープ畳み込みニューラルネットワーク」(PDF) . Communications of the ACM . 60 (6): 84–90. doi : 10.1145/3065386 . ISSN 0001-0782. S2CID 195908774.
- ^ Gershgorn, Dave (2017年7月26日). 「AI研究、そしておそらく世界を変えたデータ」Quartz。
- ^ Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N; Kaiser, Łukasz; Polosukhin, Illia (2017). 「必要なのは注意だけ」(PDF) . Advances in Neural Information Processing Systems . 30 . Curran Associates, Inc.
- ^ メリマン、マンスフィールド。最小二乗法に関する著作リスト：歴史的および批評的注釈付き。第4巻。アカデミー、1877年。
- ^ スティグラー、スティーブン・M. (1981). 「ガウスと最小二乗法の発明」. Ann. Stat . 9 (3): 465–474. doi : 10.1214/aos/1176345451 .
- ^ Bretscher, Otto (1995).線形代数とその応用(第3版). Upper Saddle River, NJ: Prentice Hall.
- ^ スティグラー、スティーブン・M（1986年）。統計の歴史：1900年以前の不確実性の測定。ケンブリッジ：ハーバード。ISBN 0-674-40340-1。
- ^ McCulloch, Warren; Walter Pitts (1943). 「神経活動に内在するアイデアの論理的計算」.数理生物物理学紀要. 5 (4): 115–133. doi :10.1007/BF02478259.
- ^ Kleene, SC (1956). 「神経網と有限オートマトンにおけるイベントの表現」. Annals of Mathematics Studies . No. 34. プリンストン大学出版局. pp. 3–41 . 2017年6月17日閲覧。
- ^ Kleene, SC (1956). 「神経網と有限オートマトンにおけるイベントの表現」. Annals of Mathematics Studies . No. 34. プリンストン大学出版局. pp. 3–41 . 2017年6月17日閲覧。
- ^ ヘブ、ドナルド（1949）。行動の組織。ニューヨーク：ワイリー。ISBN 978-1-135-63190-1。
- ^ Farley, BG; WA Clark (1954). 「デジタルコンピュータによる自己組織化システムのシミュレーション」. IRE Transactions on Information Theory . 4 (4): 76–84. doi :10.1109/TIT.1954.1057468.
- ^ Rochester, N.; JH Holland; LH Habit; WL Duda (1956). 「大型デジタルコンピュータを使用した脳の活動に関する細胞集合理論のテスト」. IRE Transactions on Information Theory . 2 (3): 80–93. doi :10.1109/TIT.1956.1056810.
- ^ David H. Hubel と Torsten N. Wiesel (2005)。脳と視覚知覚: 25 年間の共同研究の物語。オックスフォード大学出版局、米国。p. 106。ISBN 978-0-19-517618-6。
- ^ ab ローゼンブラット、フランク(1962)。神経力学の原理。スパルタン、ニューヨーク。
- ^ Tappert, Charles C. (2019). 「ディープラーニングの父は誰か?」2019 国際計算科学および計算知能会議 (CSCI) IEEE. pp. 343–348. doi :10.1109/CSCI49370.2019.00067. ISBN 978-1-7281-5584-5. S2CID 216043128 . 2021年5月31日閲覧。
- ^ ミンスキー、マービン、パパート、シーモア (1969)。パーセプトロン: 計算幾何学入門。MIT プレス。ISBN 978-0-262-63022-1。
- ^ Ivakhnenko, AG; Lapa, VG (1967). サイバネティクスと予測技術。American Elsevier Publishing Co. ISBN 978-0-444-00020-0。
- ^ Ivakhnenko, AG (1970年3月). 「工学サイバネティクスの問題におけるヒューリスティック自己組織化」. Automatica . 6 (2): 207–219. doi :10.1016/0005-1098(70)90092-0.
- ^ Ivakhnenko, Alexey (1971). 「複雑系の多項式理論」(PDF) . IEEE Transactions on Systems, Man, and Cybernetics . SMC-1 (4): 364–378. doi :10.1109/TSMC.1971.4308320. 2017-08-29 にオリジナルからアーカイブ(PDF)されました。2019-11-05に取得。
- ^ Robbins, H. ; Monro, S. (1951). 「確率的近似法」.数理統計年報. 22 (3): 400. doi : 10.1214/aoms/1177729586 .
- ^ 甘利俊一(1967). 「適応型パターン分類器の理論」. IEEE Transactions . EC (16): 279–307.
- ^ Schmidhuber, Jürgen (2022). 「現代AIとディープラーニングの注釈付き歴史」. arXiv : 2212.11279 [cs.NE].
- ^ ライプニッツ、ゴットフリート・ヴィルヘルム・フライヘル・フォン（1920年）。ライプニッツの初期数学原稿：カール・イマヌエル・ゲルハルトが出版したラテン語テキストからの翻訳、批評的および歴史的注釈付き（ライプニッツは1676年の回想録で連鎖律を発表した）。オープン・コート出版会社。ISBN 9780598818461。
- ^ ケリー、ヘンリー J. (1960)。 「最適飛行経路の勾配理論」。ARSジャーナル。30 (10): 947–954。doi :10.2514/8.5282。
- ^ Linnainmaa, Seppo (1970).アルゴリズムの累積丸め誤差を局所丸め誤差のテイラー展開として表現する(修士) (フィンランド語). ヘルシンキ大学. p. 6–7.
- ^ Linnainmaa, Seppo (1976). 「累積丸め誤差のテイラー展開」BIT Numerical Mathematics . 16 (2): 146–160. doi :10.1007/bf01931367. S2CID 122357351.
- ^ アンダーソン、ジェームズ A.、ローゼンフェルド、エドワード、編 (2000)。トーキングネット：ニューラルネットワークの口述歴史。MIT プレス。doi :10.7551/ mitpress / 6626.003.0016。ISBN 978-0-262-26715-1。
- ^ Werbos, Paul (1982). 「非線形感度解析の進歩の応用」(PDF) .システムモデリングと最適化. Springer. pp. 762–770. 2016年4月14日時点のオリジナルよりアーカイブ(PDF) . 2017年7月2日閲覧。
- ^ Rumelhart, David E.; Hinton, Geoffrey E.; Williams, Ronald J. (1986年10月). 「誤差逆伝播による表現の学習」. Nature . 323 (6088): 533–536. Bibcode :1986Natur.323..533R. doi :10.1038/323533a0. ISSN 1476-4687.
- ^ Lenz, W. (1920)、「Beiträge zum Verständnis der Magnetischen Eigenschaften in festen Körpern」、Physikalische Zeitschrift、21 : 613–615。
- ^ Ising、E. (1925)、「Beitrag zur Theorie des Ferromagnetismus」、Z. Phys.、31 (1): 253–258、Bibcode :1925ZPhy...31..253I、doi :10.1007/BF02980577、S2CID 122157319
- ^ Brush, Stephen G. (1967). 「レンツ-イジング模型の歴史」.現代物理学レビュー. 39 (4): 883–893. Bibcode :1967RvMP...39..883B. doi :10.1103/RevModPhys.39.883.
- ^ Glauber, Roy J. (1963年2月). 「Roy J. Glauber「イジングモデルの時間依存統計」」. Journal of Mathematical Physics . 4 (2): 294–307. doi :10.1063/1.1703954 . 2021年3月21日閲覧。
- ^ Amari, S.-I. (1972 年 11 月)。「しきい値要素の自己組織化ネットによるパターンとパターンシーケンスの学習」。IEEE Transactions on Computers。C - 21 (11): 1197–1206。doi : 10.1109 /TC.1972.223477。ISSN 0018-9340 。
- ^ Hopfield, JJ (1982). 「集団的計算能力の出現を伴うニューラルネットワークと物理システム」Proceedings of the National Academy of Sciences . 79 (8): 2554–2558. Bibcode :1982PNAS...79.2554H. doi : 10.1073/pnas.79.8.2554 . PMC 346238 . PMID 6953413.
- ^ Espinosa-Sanchez, Juan Manuel; Gomez-Marin, Alex; de Castro, Fernando (2023-07-05) . 「サイバネティクスの 誕生におけるカハールとロレンテ・デ・ノの神経科学の重要性」。The Neuroscientist。doi : 10.1177 /10738584231179932。hdl : 10261 / 348372。ISSN1073-8584。PMID37403768 。
- ^ de NÓ, R. Lorente (1933-08-01). 「前庭動眼反射弓」.神経学・精神医学アーカイブ. 30 (2): 245. doi :10.1001/archneurpsyc.1933.02240140009001. ISSN 0096-6754.
- ^ Larriva-Sahd, Jorge A. (2014-12-03). 「80年後のRafael Lorente de Nóのいくつかの予測」. Frontiers in Neuroanatomy . 8 : 147. doi : 10.3389/fnana.2014.00147 . ISSN 1662-5129. PMC 4253658. PMID 25520630 .
- ^ 「反響回路」。オックスフォード・リファレンス。 2024年7月27日閲覧。
- ^ McCulloch, Warren S.; Pitts, Walter (1943年12月). 「神経活動に内在するアイデアの論理的計算」.数理生物物理学紀要. 5 (4): 115–133. doi :10.1007/BF02478259. ISSN 0007-4985.
- ^ ab Schmidhuber, Jürgen (1993). 教育論文: システムモデリングと最適化(PDF) .[永久リンク切れ] 150 ページ以降では、展開された RNN の 1,200 層に相当する部分にわたるクレジットの割り当てを示しています。
- ^ ab S. Hochreiter.、「Untersuhungen zu dynamischen neuronalen Netzen」。 2015 年 3 月 6 日にWayback Machineにアーカイブされました。卒業論文。インスティチュート f.工科大学インフォマティックミュンヘン。アドバイザー: J. シュミットフーバー、1991 年。
- ^ Hochreiter, S.; et al. (2001 年 1 月 15 日)。「リカレント ネットの勾配フロー: 長期依存関係の学習の難しさ」Kolen, John F.、Kremer, Stefan C. (編)。動的リカレント ネットワークのフィールド ガイド。John Wiley & Sons。ISBN 978-0-7803-5369-5。
- ^ Schmidhuber, Jürgen (1992). 「履歴圧縮の原理を使用した複雑で拡張されたシーケンスの学習 (TR FKI-148、1991 に基づく)」( PDF)。ニューラルコンピューティング。4 (2): 234–242。doi : 10.1162 /neco.1992.4.2.234。S2CID 18271205 。[永久リンク切れ]
- ^ ab ゼップ・ホッホライター;ユルゲン・シュミットフーバー(1995 年 8 月 21 日)、長短期記憶、ウィキデータ Q98967430
- ^ ab Schmidhuber, J. (2015). 「ニューラルネットワークにおけるディープラーニング：概要」.ニューラルネットワーク. 61 : 85–117. arXiv : 1404.7828 . doi :10.1016/j.neunet.2014.09.003. PMID 25462637. S2CID 11715509.
- ^ Gers, Felix; Schmidhuber, Jürgen; Cummins, Fred (1999). 「忘却の学習: LSTM による継続的予測」第9 回国際人工ニューラル ネットワーク会議: ICANN '99。第 1999 巻。pp. 850–855。doi : 10.1049/cp:19991218。ISBN 0-85296-721-7。
- ^ ゼップ・ホッホライター;シュミットフーバー、ユルゲン (1997-11-01)。 「長短期記憶」。ニューラル計算。9 (8): 1735 ～ 1780 年。土井：10.1162/neco.1997.9.8.1735。PMID 9377276。S2CID 1915014 。
- ^ Graves, Alex; Schmidhuber, Jürgen (2005-07-01). 「双方向 LSTM とその他のニューラル ネットワーク アーキテクチャによるフレーム単位の音素分類」.ニューラル ネットワーク. IJCNN 2005. 18 (5): 602–610. CiteSeerX 10.1.1.331.5800 . doi :10.1016/j.neunet.2005.06.042. PMID 16112549. S2CID 1856462.
- ^ Fernández, Santiago; Graves, Alex; Schmidhuber, Jürgen (2007)。「リカレント ニューラル ネットワークの識別キーワード スポッティングへの応用」。第 17 回国際人工ニューラル ネットワーク会議の議事録。ICANN'07。ベルリン、ハイデルベルク: Springer- Verlag。pp . 220–229。ISBN 978-3-540-74693-5。
- ^ Sak, Haşim; Senior, Andrew; Beaufays, Françoise (2014). 「大規模音響モデリングのための Long Short-Term Memory リカレント ニューラル ネットワーク アーキテクチャ」(PDF)。Google Research。
- ^ Li, Xiangang; Wu, Xihong (2014-10-15). 「大規模語彙音声認識のための長期短期記憶ベースのディープリカレントニューラルネットワークの構築」. arXiv : 1410.4281 [cs.CL].
- ^ Fan, Bo; Wang, Lijuan; Soong, Frank K.; Xie, Lei (2015). 「深層双方向 LSTM によるフォトリアル トーキング ヘッド」。ICASSP 2015 IEEE 国際音響、音声、信号処理会議の議事録。pp. 4884–8。doi : 10.1109 / ICASSP.2015.7178899。ISBN 978-1-4673-6997-8。
- ^ Sak, Haşim; Senior, Andrew; Rao, Kanishka; Beaufays, Françoise; Schalkwyk, Johan (2015 年 9 月)。「Google 音声検索: より高速でより正確」。
- ^ Sutskever, Ilya; Vinyals, Oriol; Le, Quoc V. (2014). 「ニューラルネットワークによるシーケンスツーシーケンス学習」(PDF) .ニューラル情報処理システム会議の電子会議議事録. 27 : 5346. arXiv : 1409.3215 . Bibcode :2014arXiv1409.3215S.
- ^ Jozefowicz, Rafal; Vinyals, Oriol; Schuster, Mike; Shazeer, Noam; Wu, Yonghui (2016-02-07). 「言語モデルの限界を探る」. arXiv : 1602.02410 [cs.CL].
- ^ Gillick, Dan; Brunk, Cliff; Vinyals, Oriol; Subramanya, Amarnag (2015-11-30). 「バイトからの多言語処理」. arXiv : 1512.00103 [cs.CL].
- ^ Vinyals, Oriol; Toshev, Alexander; Bengio, Samy; Erhan, Dumitru (2014-11-17). 「Show and Tell: ニューラル画像キャプションジェネレーター」. arXiv : 1411.4555 [cs.CV].
- ^ 福島, K. (2007). 「ネオコグニトロン」. Scholarpedia . 2 (1): 1717. Bibcode :2007SchpJ...2.1717F. doi : 10.4249/scholarpedia.1717 .
- ^ 福島邦彦 (1980). 「ネオコグニトロン：位置の変化に影響されないパターン認識メカニズムのための自己組織化ニューラルネットワークモデル」(PDF) .生物サイバネティクス. 36 (4): 193–202. doi :10.1007/BF00344251. PMID 7370364. S2CID 206775608 . 2013年11月16日閲覧。
- ^ LeCun, Yann; Bengio, Yoshua; Hinton, Geoffrey (2015). 「ディープラーニング」(PDF) . Nature . 521 (7553): 436–444. Bibcode :2015Natur.521..436L. doi :10.1038/nature14539. PMID 26017442. S2CID 3074096.
- ^ ab 福島, K. (1969). 「アナログ閾値要素の多層ネットワークによる視覚特徴抽出」. IEEE Transactions on Systems Science and Cybernetics . 5 (4): 322–333. doi :10.1109/TSSC.1969.300225.
- ^ Schmidhuber, Juergen (2022). 「現代AIとディープラーニングの注釈付き歴史」arXiv : 2212.11279 [cs.NE].
- ^ Ramachandran, Prajit; Barret, Zoph; Quoc, V. Le (2017年10月16日). 「活性化関数の探索」. arXiv : 1710.05941 [cs.NE].
- ^ ab Waibel, Alex (1987年12月).時間遅延ニューラルネットワークを用いた音素認識. 電気情報通信学会(IEICE)学術講演会. 東京、日本.
- ^ Alexander Waibel他「時間遅延ニューラルネットワークを使用した音素認識」 IEEE Transactions on Acoustics, Speech, and Signal Processing、第 37 巻、第 3 号、pp. 328. – 339、1989 年 3 月。
- ^ Zhang, Wei (1988). 「シフト不変パターン認識ニューラルネットワークとその光学アーキテクチャ」.応用物理学会年次大会講演論文集.
- ^ Zhang, Wei (1990). 「局所的な空間不変相互接続とその光学アーキテクチャを備えた並列分散処理モデル」.応用光学. 29 (32): 4790–7. Bibcode :1990ApOpt..29.4790Z. doi :10.1364/AO.29.004790. PMID 20577468.
- ^ 福島邦彦 (1980). 「ネオコグニトロン：位置のずれに影響されないパターン認識メカニズムのための自己組織化ニューラルネットワークモデル」(PDF) .生物サイバネティクス. 36 (4): 193–202. doi :10.1007/BF00344251. PMID 7370364. S2CID 206775608. 2014年6月3日時点のオリジナルよりアーカイブ(PDF) . 2013年11月16日閲覧。
- ^ 福島 邦彦; 三宅 誠 (1982-01-01). 「ネオコグニトロン: 変形や位置ずれに強いパターン認識の新アルゴリズム」.パターン認識. 15 (6): 455–469. doi :10.1016/0031-3203(82)90024-3. ISSN 0031-3203.
- ^ LeCun他、「手書き郵便番号認識へのバックプロパゲーションの適用」、Neural Computation、1、pp. 541–551、1989 年。
- ^ LeCun, Yann; Boser, Bernhard; Denker, John; Henderson, Donnie; Howard, R.; Hubbard, Wayne; Jackel, Lawrence (1989). 「バックプロパゲーションネットワークによる手書き数字認識」。ニューラル情報処理システムの進歩。2 . Morgan-Kaufmann 。
- ^ Zhang, Wei (1991). 「学習ネットワークに基づくヒト角膜内皮の画像処理」.応用光学. 30 (29): 4211–7. Bibcode :1991ApOpt..30.4211Z. doi :10.1364/AO.30.004211. PMID 20706526.
- ^ Zhang, Wei (1994). 「シフト不変人工ニューラルネットワークを用いたデジタルマンモグラムにおけるクラスター化微小石灰化のコンピュータ検出」. Medical Physics . 21 (4): 517–24. Bibcode :1994MedPh..21..517Z. doi :10.1118/1.597177. PMID 8058017.
- ^ J. Weng、N. Ahuja、TS Huang、「Cresceptron: 適応的に成長する自己組織化ニューラル ネットワーク」、Proc. International Joint Conference on Neural Networks、メリーランド州ボルチモア、第 1 巻、pp. 576–581、1992 年 6 月。
- ^ J. Weng、N. Ahuja、TS Huang、「2D 画像からの 3D オブジェクトの認識とセグメンテーションの学習」、Proc. 4th International Conf. Computer Vision、ベルリン、ドイツ、pp. 121–128、1993 年 5 月。
- ^ J. Weng、N. Ahuja、TS Huang、「Cresceptron を使用した認識とセグメンテーションの学習」、International Journal of Computer Vision、vol. 25、no. 2、pp. 105–139、1997 年 11 月。
- ^ Weng, J; Ahuja, N; Huang, TS (1993). 「2D 画像からの 3D オブジェクトの認識とセグメンテーションの学習」1993 (第 4 回) 国際コンピュータ ビジョン会議pp. 121–128. doi :10.1109/ICCV.1993.378228. ISBN 0-8186-3870-2. S2CID 8619176。
- ^ LeCun, Yann; Léon Bottou; Yoshua Bengio; Patrick Haffner (1998). 「文書認識に適用される勾配ベース学習」(PDF) . Proceedings of the IEEE . 86 (11): 2278–2324. CiteSeerX 10.1.1.32.9552 . doi :10.1109/5.726791. S2CID 14542261 . 2016年10月7日閲覧。
- ^ Dominik Scherer、Andreas C. Müller、Sven Behnke：「物体認識のための畳み込みアーキテクチャにおけるプーリング操作の評価」、第 20 回国際人工ニューラル ネットワーク会議 (ICANN)、pp. 92–101、2010 年。doi : 10.1007 /978-3-642-15825-4_10。
- ^ Sven Behnke (2003). 画像解釈のための階層型ニューラルネットワーク(PDF) . コンピュータサイエンスの講義ノート。第2766巻。Springer。
- ^ Martin Riedmiller と Heinrich Braun: Rprop – 高速適応学習アルゴリズム。国際コンピュータ情報科学シンポジウム VII の議事録、1992 年
- ^ ab Oh, K.-S.; Jung, K. (2004). 「ニューラルネットワークのGPU実装」.パターン認識. 37 (6): 1311–1314. Bibcode :2004PatRe..37.1311O. doi :10.1016/j.patcog.2004.01.013.
- ^ ab Chellapilla, Kumar; Puri, Sidd; Simard, Patrice (2006)、文書処理のための高性能畳み込みニューラルネットワーク、2020-05-18にオリジナルからアーカイブ、2021-02-14に取得
- ^ Sze, Vivienne ; Chen, Yu-Hsin; Yang, Tien-Ju; Emer, Joel (2017). 「ディープニューラルネットワークの効率的な処理：チュートリアルと調査」. arXiv : 1703.09039 [cs.CV].
- ^ Raina, Rajat; Madhavan, Anand; Ng, Andrew Y. (2009-06-14). 「グラフィックス プロセッサを使用した大規模なディープ アンスーパーバイズド ラーニング」。第26 回国際機械学習会議の議事録。ICML '09。ニューヨーク、ニューヨーク州、米国: Association for Computing Machinery。pp. 873–880。doi : 10.1145 /1553374.1553486。ISBN 978-1-60558-516-1。
- ^ Cireşan, Dan Claudiu; Meier, Ueli; Gambardella, Luca Maria; Schmidhuber, Jürgen (2010 年 9 月 21 日). 「手書き数字認識のためのディープでビッグでシンプルなニューラルネット」. Neural Computation . 22 (12): 3207–3220. arXiv : 1003.0358 . doi :10.1162/neco_a_00052. ISSN 0899-7667. PMID 20858131. S2CID 1918673.
- ^ Ciresan, DC; Meier, U.; Masci, J.; Gambardella, LM; Schmidhuber, J. (2011). 「画像分類のための柔軟で高性能な畳み込みニューラルネットワーク」(PDF)。国際人工知能合同会議。doi : 10.5591 /978-1-57735-516-8/ijcai11-210。2014年9月29日時点のオリジナルよりアーカイブ(PDF) 。 2017年6月13日閲覧。
- ^ Ciresan, Dan; Giusti, Alessandro; Gambardella, Luca M.; Schmidhuber, Jürgen (2012). Pereira, F.; Burges, CJC; Bottou, L.; Weinberger, KQ (eds.). Advances in Neural Information Processing Systems 25 (PDF) . Curran Associates, Inc. pp. 2843–2851. 2017-08-09 にオリジナルからアーカイブ(PDF)されました。2017-06-13に取得。
- ^ Ciresan, D.; Giusti, A.; Gambardella, LM; Schmidhuber, J. (2013). 「ディープ ニューラル ネットワークによる乳がん組織学画像での有糸分裂検出」。医療画像コンピューティングとコンピューター支援介入 – MICCAI 2013。コンピューター サイエンスの講義ノート。第 7908 巻。pp. 411–418。doi : 10.1007 / 978-3-642-40763-5_51。ISBN 978-3-642-38708-1. PMID 24579167。
- ^ Ciresan, D.; Meier, U.; Schmidhuber, J. (2012). 「画像分類のためのマルチカラムディープニューラルネットワーク」2012 IEEE コンピュータビジョンおよびパターン認識会議pp. 3642–3649. arXiv : 1202.2745 . doi :10.1109/cvpr.2012.6248110. ISBN 978-1-4673-1228-8. S2CID 2161592。
- ^ Krizhevsky, Alex; Sutskever, Ilya; Hinton, Geoffrey (2012). 「ImageNet Classification with Deep Convolutional Neural Networks」(PDF)。NIPS 2012: Neural Information Processing Systems、ネバダ州レイクタホ。2017-01-10のオリジナルからアーカイブ(PDF) 。2017-05-24に取得。
- ^ Simonyan, Karen; Andrew, Zisserman (2014). 「大規模画像認識のための非常に深い畳み込みネットワーク」arXiv : 1409.1556 [cs.CV].
- ^ Szegedy, Christian (2015). 「畳み込みをさらに深く理解する」(PDF) . Cvpr2015 . arXiv : 1409.4842 .
- ^ Vinyals, Oriol; Toshev, Alexander; Bengio, Samy; Erhan, Dumitru (2014). 「Show and Tell: ニューラル画像キャプションジェネレーター」. arXiv : 1411.4555 [cs.CV].。
- ^ Fang, Hao; Gupta, Saurabh; Iandola, Forrest; Srivastava, Rupesh; Deng, Li; Dollár, Piotr; Gao, Jianfeng; He, Xiaodong; Mitchell, Margaret; Platt, John C; Lawrence Zitnick, C; Zweig, Geoffrey (2014). 「キャプションからビジュアルコンセプトへ、そしてその逆へ」. arXiv : 1411.4952 [cs.CV].。
- ^ Kiros, Ryan; Salakhutdinov, Ruslan; Zemel, Richard S (2014). 「マルチモーダルニューラル言語モデルによる視覚的意味的埋め込みの統合」. arXiv : 1411.2539 [cs.LG].。
- ^ Simonyan, Karen; Zisserman, Andrew (2015-04-10)、大規模画像認識のための非常に深い畳み込みネットワーク、arXiv : 1409.1556
- ^ He, Kaiming; Zhang, Xiangyu; Ren, Shaoqing; Sun, Jian (2016). 「整流器の深掘り: ImageNet分類における人間レベルのパフォーマンスを超える」. arXiv : 1502.01852 [cs.CV].
- ^ 彼、カイミン。張項宇。仁、少慶。サン、ジアン（2015 年 12 月 10 日）。画像認識のための深層残差学習。arXiv : 1512.03385。
- ^ スリヴァスタヴァ、ルペシュ・クマール;グレフ、クラウス。シュミットフーバー、ユルゲン（2015年5月2日）。 「ハイウェイネットワーク」。arXiv : 1505.00387 [cs.LG]。
- ^ He, Kaiming; Zhang, Xiangyu; Ren, Shaoqing; Sun, Jian (2016). 画像認識のためのディープ残差学習。2016 IEEEコンピュータビジョンおよびパターン認識会議 (CVPR)。ラスベガス、ネバダ州、米国: IEEE。pp. 770–778。arXiv : 1512.03385。doi : 10.1109 / CVPR.2016.90。ISBN 978-1-4673-8851-1。
- ^ Linn, Allison (2015-12-10). 「Microsoft の研究者が ImageNet コンピューター ビジョン チャレンジで優勝」. The AI Blog . 2024-06-29閲覧。
- ^ Schmidhuber, Jürgen (1991). 「モデル構築ニューラル コントローラに好奇心と退屈を実装する可能性」Proc. SAB'1991 . MIT Press/Bradford Books. pp. 222–227.
- ^ Schmidhuber, Jürgen (2020). 「Generative Adversarial Networks are Special Cases of Artificial Curiosity (1990) and also Closely Related to Predictability Minimization (1991)」.ニューラルネットワーク. 127 :58–66. arXiv : 1906.04493 . doi :10.1016/j.neunet.2020.04.008. PMID 32334341. S2CID 216056336.
- ^ Schmidhuber, Jürgen (1992 年 11 月). 「予測可能性の最小化による階乗コードの学習」.ニューラルコンピューティング. 4 (6): 863–879. doi :10.1162/neco.1992.4.6.863. S2CID 42023620.
- ^ Schmidhuber, Jürgen; Eldracher, Martin; Foltin, Bernhard (1996). 「半線形予測可能性の最小化により、よく知られた特徴検出器が生成される」。Neural Computation . 8 (4): 773–786. doi :10.1162/neco.1996.8.4.773. S2CID 16154391.
- ^ Niemitalo, Olli (2010年2月24日). 「可変コンテキスト内で欠損データを生成する人工ニューラルネットワークのトレーニング方法」.インターネットアーカイブ (Wayback Machine) . 2012年3月12日時点のオリジナルよりアーカイブ。 2019年2月22日閲覧。
- ^ 「GANは2010年に発明されたのか?」reddit r/MachineLearning . 2019年. 2019年5月28日閲覧。
- ^ Li, Wei; Gauci, Melvin; Gross, Roderich (2013 年 7 月 6 日)。「第 15 回遺伝的および進化的計算に関する年次会議の議事録 - GECCO '13」。第 15 回遺伝的および進化的計算に関する年次会議の議事録 (GECCO 2013)。アムステルダム、オランダ: ACM。pp. 223–230。doi : 10.1145 / 2463372.2465801。ISBN 9781450319638。
- ^ Gutmann, Michael; Hyvärinen , Aapo. 「ノイズ対照推定」(PDF) 。AIと統計に関する国際会議。
- ^ Goodfellow, Ian; Pouget-Abadie, Jean; Mirza, Mehdi; Xu, Bing; Warde-Farley, David; Ozair, Sherjil; Courville, Aaron; Bengio, Yoshua (2014). Generative Adversarial Networks (PDF) . Proceedings of the International Conference on Neural Information Processing Systems (NIPS 2014). pp. 2672–2680. 2019年11月22日時点のオリジナルよりアーカイブ(PDF) 。 2019年8月20日閲覧。
- ^ 「GAN 2.0: NVIDIA のハイパーリアルな顔ジェネレーター」。SyncedReview.com。2018年 12 月 14 日。2019年10 月 3 日閲覧。
- ^ Karras, T.; Aila, T.; Laine, S.; Lehtinen, J. (2018年2月26日). 「品質、安定性、およびバリエーションの向上のためのGANの漸進的成長」. arXiv : 1710.10196 [cs.NE].
- ^ 「準備して、慌てるな: 合成メディアとディープフェイク」witness.org。2020年12月2日時点のオリジナルよりアーカイブ。2020年11月25日閲覧。
- ^ Sohl-Dickstein, Jascha; Weiss, Eric; Maheswaranathan, Niru; Ganguli, Surya (2015-06-01). 「非平衡熱力学を用いた教師なし深層学習」(PDF)。第32回国際機械学習会議の議事録。37。PMLR : 2256–2265。arXiv : 1503.03585。
- ^ Kramer, Arthur F.; Wiegmann, Douglas A.; Kirlik, Alex (2006-12-28). 「1 注意: 歴史から応用へ」。注意: 理論から 実践へ。オックスフォード大学出版局。doi :10.1093/acprof:oso/ 9780195305722.003.0001。ISBN 978-0-19-530572-2。
- ^ Cherry EC (1953). 「片耳と両耳による音声認識に関するいくつかの実験」(PDF) .アメリカ音響学会誌. 25 (5): 975–79. Bibcode :1953ASAJ...25..975C. doi :10.1121/1.1907229. hdl : 11858/00-001M-0000-002A-F750-3 . ISSN 0001-4966.
- ^ Broadbent, D (1958).知覚とコミュニケーションロンドン: Pergamon Press.
- ^ Kowler, Eileen; Anderson, Eric; Dosher, Barbara; Blaser, Erik (1995-07-01). 「サッカードのプログラミングにおける注意の役割」. Vision Research . 35 (13): 1897–1916. doi :10.1016/0042-6989(94)00279-U. ISSN 0042-6989. PMID 7660596.
- ^ 福島 邦彦 (1987-12-01). 「視覚パターン認識と連想想起における選択的注意のためのニューラルネットワークモデル」.応用光学. 26 (23): 4985–4992. Bibcode :1987ApOpt..26.4985F. doi :10.1364/AO.26.004985. ISSN 0003-6935. PMID 20523477.
- ^ Ba, Jimmy; Mnih, Volodymyr; Kavukcuoglu, Koray (2015-04-23). 「視覚的注意による複数物体認識」. arXiv : 1412.7755 [cs.LG].
- ^ コッホ、クリストフ、ウルマン、シモン（1987）、ヴァイナ、ルシアM.（編）、「選択的視覚注意のシフト：基礎となる神経回路に向けて」、マターズ・オブ・インテリジェンス：認知神経科学の概念構造、ドルドレヒト：シュプリンガー・オランダ、pp. 115–141、doi：10.1007/978-94-009-3833-5_5、ISBN 978-94-009-3833-5、2024-08-06取得
- ^ Soydaner, Derya (2022年8月). 「ニューラルネットワークにおける注意メカニズム：それがどこから来て、どこへ行くのか」.ニューラルコンピューティングとアプリケーション. 34 (16): 13371–13385. doi :10.1007/s00521-022-07366-3. ISSN 0941-0643.
- ^ Giles, C. Lee; Maxwell, Tom (1987-12-01). 「高次ニューラルネットワークにおける学習、不変性、一般化」.応用光学. 26 (23): 4972–4978. doi :10.1364/AO.26.004972. ISSN 0003-6935. PMID 20523475.
- ^ Feldman, JA; Ballard, DH (1982-07-01). 「コネクショニストモデルとその特性」.認知科学. 6 (3): 205–254. doi :10.1016/S0364-0213(82)80001-3. ISSN 0364-0213.
- ^ Rumelhart, David E.; Mcclelland, James L.; Group, PDP Research (1987-07-29). 並列分散処理、第 1 巻: 認知の微細構造の探究: 基礎、第 2 章(PDF)。マサチューセッツ州ケンブリッジ: Bradford Books。ISBN 978-0-262-68053-0。
{{cite book}}:|last3=一般的な名前があります (ヘルプ) - ^ Schmidhuber, Jürgen (1992 年 1 月). 「高速重みメモリの制御学習: 動的再帰ネットワークの代替」.ニューラルコンピューティング. 4 (1): 131–139. doi :10.1162/neco.1992.4.1.131. ISSN 0899-7667.
- ^ ああ、デイビッド。ダイ、アンドリュー。ル、クオック V. (2016-12-01)。 「ハイパーネットワーク」。arXiv : 1609.09106 [cs.LG]。
- ^ Niu, Zhaoyang; Zhong, Guoqiang; Yu, Hui (2021-09-10). 「ディープラーニングの注意メカニズムに関するレビュー」。Neurocomputing . 452 : 48–62. doi :10.1016/j.neucom.2021.03.091. ISSN 0925-2312.
- ^ Cho, Kyunghyun; van Merrienboer, Bart; Gulcehre, Caglar; Bahdanau, Dzmitry; Bougares, Fethi; Schwenk, Holger; Bengio, Yoshua (2014-06-03). 「統計的機械翻訳のための RNN エンコーダー/デコーダーを使用したフレーズ表現の学習」. arXiv : 1406.1078 .
{{cite journal}}:ジャーナルを引用するには|journal=(ヘルプ)が必要です - ^ Sutskever, Ilya; Vinyals, Oriol; Le, Quoc Viet (2014 年 12 月 14 日). 「ニューラル ネットワークによるシーケンス間学習」. arXiv : 1409.3215 [cs.CL].
- ^ Vinyals, Oriol; Toshev, Alexander; Bengio, Samy; Erhan, Dumitru (2015). 「Show and Tell: ニューラル画像キャプションジェネレーター」: 3156–3164. arXiv : 1411.4555 .
{{cite journal}}:ジャーナルを引用するには|journal=(ヘルプ)が必要です - ^ Xu, Kelvin; Ba, Jimmy; Kiros, Ryan; Cho, Kyunghyun; Courville, Aaron; Salakhudinov, Ruslan; Zemel, Rich; Bengio, Yoshua (2015-06-01). 「見せる、注目する、伝える: 視覚的注意によるニューラル画像キャプション生成」。第 32 回国際機械学習会議の議事録。PMLR: 2048–2057。
- ^ ab Bahdanau, Dzmitry; Cho, Kyunghyun; Bengio, Yoshua (2016-05-19). 「アラインメントと翻訳の共同学習によるニューラル機械翻訳」. arXiv : 1409.0473 [cs.CL].
- ^ Graves, Alex; Wayne, Greg; Danihelka, Ivo (2014-12-10). 「ニューラルチューリングマシン」. arXiv : 1410.5401 [cs.NE].
- ^ Cheng, Jianpeng; Dong, Li; Lapata, Mirella (2016-09-20). 「機械読み取りのための長短期記憶ネットワーク」. arXiv : 1601.06733 [cs.CL].
- ^ Parikh, Ankur P.; Täckström, Oscar; Das, Dipanjan; Uszkoreit, Jakob (2016-09-25). 「自然言語推論のための分解可能な注意モデル」. arXiv : 1606.01933 [cs.CL].
- ^ レヴィ、スティーブン。「8人のグーグル社員が現代のAIを発明。その内幕」。Wired。ISSN 1059-1028。 2024年3月20日時点のオリジナルよりアーカイブ。 2024年8月6日閲覧。
- ^ Vaswani, Ashish ; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N ; Kaiser, Łukasz; Polosukhin, Illia (2017). 「必要なのは注意だけ」(PDF) . Advances in Neural Information Processing Systems . 30 . Curran Associates, Inc.
- ^ Peng, Bo; Alcaide, Eric; Anthony, Quentin; Albalak, Alon; Arcadinho, Samuel; Biderman, Stella; Cao, Huanqi; Cheng, Xin; Chung, Michael (2023-12-10). 「RWKV: Transformer 時代の RNN の改革」. arXiv : 2305.13048 [cs.CL].
- ^ コホネン、テウヴォ;ホンケラ、ティモ (2007)。 「コホーネンネットワーク」。スカラーペディア。2 (1): 1568。書誌コード:2007SchpJ...2.1568K。土井：10.4249/scholarpedia.1568。
- ^ Kohonen, Teuvo (1982). 「トポロジカルに正しい特徴マップの自己組織化形成」.生物サイバネティクス. 43 (1): 59–69. doi :10.1007/bf00337288. S2CID 206775459.
- ^ Von der Malsburg, C (1973). 「線条体皮質における方向感受性細胞の自己組織化」Kybernetik . 14 (2): 85–100. doi :10.1007/bf00288907. PMID 4786750. S2CID 3351573.
- ^ Ackley, David H.; Hinton, Geoffrey E.; Sejnowski, Terrence J. (1985-01-01). 「ボルツマンマシンの学習アルゴリズム」.認知科学. 9 (1): 147–169. doi :10.1016/S0364-0213(85)80012-4 (非アクティブ 2024-08-07). ISSN 0364-0213.
{{cite journal}}: CS1 maint: DOI inactive as of August 2024 (link) - ^ Smolensky, Paul (1986)。「第 6 章: 動的システムにおける情報処理: 調和理論の基礎」(PDF) 。Rumelhart , David E.、McLelland, James L. (編)。並列分散処理: 認知の微細構造の探究、第 1 巻: 基礎。MIT プレス。pp. 194–281。ISBN 0-262-68053-X。
- ^ Peter, Dayan ; Hinton, Geoffrey E. ; Neal, Radford M. ; Zemel, Richard S. (1995). 「ヘルムホルツマシン」. Neural Computation . 7 (5): 889–904. doi :10.1162/neco.1995.7.5.889. hdl : 21.11116/0000-0002-D6D3-E . PMID 7584891. S2CID 1890561.
- ^ Hinton, Geoffrey E. ; Dayan, Peter ; Frey, Brendan J. ; Neal, Radford (1995-05-26). 「教師なしニューラルネットワークのウェイクスリープアルゴリズム」. Science . 268 (5214): 1158–1161. Bibcode :1995Sci...268.1158H. doi :10.1126/science.7761831. PMID 7761831. S2CID 871473.
- ^ Sejnowski, Terrence J. (2018).ディープラーニング革命マサチューセッツ州ケンブリッジ: MIT プレスISBN 978-0-262-03803-4。
- ^ Smolensky, P. (1986)。「動的システムにおける情報処理: 調和理論の基礎」。DE Rumelhart、JL McClelland、PDP Research Group (編)。並列分散処理: 認知の微細構造の探究。第 1 巻。pp. 194–281。ISBN 9780262680530。
- ^ Hinton, GE ; Osindero, S.; Teh, Y. (2006). 「ディープビリーフネットの高速学習アルゴリズム」(PDF) . Neural Computation . 18 (7): 1527–1554. CiteSeerX 10.1.1.76.1541 . doi :10.1162/neco.2006.18.7.1527. PMID 16764513. S2CID 2309950.
- ^ Hinton, Geoffrey (2009-05-31). 「ディープビリーフネットワーク」Scholarpedia . 4 (5): 5947. Bibcode :2009SchpJ...4.5947H. doi : 10.4249/scholarpedia.5947 . ISSN 1941-6016.
- ^ Ng, Andrew; Dean, Jeff (2012). 「大規模な教師なし学習を使用した高レベル機能の構築」. arXiv : 1112.6209 [cs.LG].
- ^ Watkin, Timothy LH; Rau, Albrecht; Biehl, Michael (1993-04-01). 「ルールを学習する統計力学」. Reviews of Modern Physics . 65 (2): 499–556. Bibcode :1993RvMP...65..499W. doi :10.1103/RevModPhys.65.499.
- ^ Schwarze, H; Hertz, J (1992-10-15). 「大規模委員会マシンにおける一般化」. Europhysics Letters (EPL) . 20 (4): 375–380. Bibcode :1992EL.....20..375S. doi :10.1209/0295-5075/20/4/015. ISSN 0295-5075.
- ^ Mato, G; Parga, N (1992-10-07). 「多層ニューラルネットワークの一般化特性」. Journal of Physics A: Mathematical and General . 25 (19): 5047–5054. Bibcode :1992JPhA...25.5047M. doi :10.1088/0305-4470/25/19/017. ISSN 0305-4470.
- ^ Hansel, D; Mato, G; Meunier, C (1992-11-01). 「多層ニューラルネットワークにおける一般化のない記憶」. Europhysics Letters (EPL) . 20 (5): 471–476. Bibcode :1992EL.....20..471H. doi :10.1209/0295-5075/20/5/015. ISSN 0295-5075.
- ^ Schmidhuber, Jürgen (1992). 「履歴圧縮の原理を用いた複雑で拡張されたシーケンスの学習」(PDF) .ニューラルコンピューティング. 4 (2): 234–242. doi :10.1162/neco.1992.4.2.234. S2CID 18271205.[永久リンク切れ]
- ^ Hanson, Stephen; Pratt, Lorien (1988). 「バックプロパゲーションによる最小ネットワーク構築のバイアス比較」。ニューラル情報処理システムの進歩。1 . Morgan-Kaufmann。
- ^ LeCun, Yann; Denker, John; Solla, Sara (1989). 「最適な脳損傷」.神経情報処理システムの進歩. 2. Morgan-Kaufmann.
- ^ Mead, Carver A. ; Ismail, Mohammed ( 1989年 5 月 8 日)。ニューラル システムのアナログ VLSI 実装( PDF )。Kluwer International Series in Engineering and Computer Science。第 80 巻。マサチューセッツ州ノーウェル: Kluwer Academic Publishers。doi :10.1007/978-1-4613-1639-8。ISBN 978-1-4613-1639-8。
- ^ Yang, JJ; Pickett, MD; Li, XM; Ohlberg, DAA; Stewart, DR; Williams, RS (2008). 「金属/酸化物/金属ナノデバイスのメモリスティブスイッチングメカニズム」Nat. Nanotechnol . 3 (7): 429–433. doi :10.1038/nnano.2008.160. PMID 18654568.
- ^ Strukov, DB; Snider, GS; Stewart, DR; Williams, RS (2008). 「失われたメモリスタが発見される」. Nature . 453 (7191): 80–83. Bibcode :2008Natur.453...80S. doi :10.1038/nature06932. PMID 18451858. S2CID 4367148.
外部リンク
- 「Lecun 2019-7-11 ACM Tech Talk」。Googleドキュメント。2020年 2 月 13 日閲覧。