ニューラルネットワーク（機械学習）

機械学習において、ニューラルネットワーク（人工ニューラルネットワークまたはニューラルネットとも呼ばれ、ANNまたはNNと略される）は、動物の脳内の生物学的ニューラルネットワークの構造と機能にヒントを得たモデルである。^{[1] [2]}

ANN は、人工ニューロンと呼ばれる接続されたユニットまたはノードで構成され、脳内のニューロンを大まかにモデル化します。生物学的ニューロンをより厳密に模倣した人工ニューロン モデルも最近調査され、パフォーマンスが大幅に向上することが示されています。これらは、脳内のシナプスをモデル化するエッジによって接続されています。各人工ニューロンは、接続されたニューロンから信号を受信し、それを処理して、接続されている他のニューロンに信号を送信します。「信号」は実数で、各ニューロンの出力は、活性化関数と呼ばれる、入力の合計の非線形関数によって計算されます。各接続での信号の強度は、学習プロセス中に調整される重みによって決定されます。

通常、ニューロンは層に集約されます。異なる層は、入力に対して異なる変換を実行します。信号は最初の層（入力層）から最後の層（出力層）まで移動し、複数の中間層（隠れ層）を通過する可能性があります。通常、ネットワークに少なくとも2つの隠れ層がある場合、そのネットワークはディープニューラルネットワークと呼ばれます。^[3]

人工ニューラル ネットワークは、予測モデリング、適応制御、人工知能の問題解決など、さまざまなタスクに使用されます。経験から学習し、複雑で一見無関係な情報セットから結論を導き出すことができます。

ニューラルネットワークは通常、経験的リスク最小化を通じてトレーニングされます。この方法は、ネットワークのパラメータを最適化して、特定のデータセット内の予測出力と実際のターゲット値との差、つまり経験的リスクを最小化するという考えに基づいています。^[4]バックプロパゲーションなどの勾配ベースの方法は通常、ネットワークのパラメータを推定するために使用されます。^[4]トレーニングフェーズでは、ANNはラベル付きトレーニングデータからパラメータを繰り返し更新して学習し、定義された損失関数を最小化します。^[5]この方法により、ネットワークは未知のデータに一般化できます。

今日のディープ ニューラル ネットワークは、200 年以上前の統計学の初期の成果に基づいています。最も単純な種類のフィードフォワード ニューラル ネットワーク(FNN) は線形ネットワークで、線形活性化関数を持つ出力ノードの単一層で構成されます。入力は一連の重みを介して出力に直接入力されます。重みと入力の積の合計は、各ノードで計算されます。これらの計算された出力と指定されたターゲット値の間の平均二乗誤差は、重みを調整することによって最小化されます。この手法は、最小二乗法または線形回帰法として 2 世紀以上にわたって知られています。これは、ルジャンドル(1805) とガウス(1795) によって、惑星の動きを予測するための一連の点に対する良好な大まかな線形近似を見つける手段として使用されました。 ^{[7] [8] [9] [10] [11]}

歴史的に、フォン ノイマン モデルなどのデジタル コンピュータは、多数のプロセッサによるメモリへのアクセスを伴う明示的な命令の実行によって動作します。一方、一部のニューラル ネットワークは、コネクショニズムのフレームワークを通じて生物システムの情報処理をモデル化する取り組みから生まれました。フォン ノイマン モデルとは異なり、コネクショニスト コンピューティングではメモリと処理が分離されません。

ウォーレン・マカロックとウォルター・ピッツ^[12]（1943）は、ニューラルネットワークの非学習計算モデルを検討しました。^{[13]このモデルは、研究が2つのアプローチに分かれる道を開きました。1つのアプローチは生物学的プロセスに焦点を当て、もう1つはニューラルネットワークの}人工知能への応用に焦点を当てていました。

1940年代後半、DOヘブ^[14]は神経可塑性のメカニズムに基づく学習仮説を提唱し、ヘブ学習として知られるようになりました。これは、ローゼンブラットのパーセプトロンやホップフィールドネットワークなど、多くの初期のニューラルネットワークで使用されました。ファーリーとクラーク^{[15] （1954）は、ヘブネットワークをシミュレートするために計算機械を使用しました。他のニューラルネットワーク計算機械は、}ロチェスター、ホランド、ハビット、デューダ（1956）によって作成されました。 ^[16]

1958年、心理学者フランク・ローゼンブラットは、最初に実装された人工ニューラルネットワークの1つであるパー​​セプトロンについて説明しました。 ^{[17] [18] [19] [20]}これは、米国海軍研究局の資金提供によるものです。^[21] R.D.ジョセフ（1960）^[22]は、ファーリーとクラークによるさらに初期のパーセプトロンのようなデバイスについて言及しています。 ^[10]「MITリンカーン研究所のファーリーとクラークは、実際にはローゼンブラットより先にパーセプトロンのようなデバイスを開発していました。」しかし、「彼らはそのテーマを放棄しました。」パーセプトロンは、人工ニューラルネットワークの研究に対する世間の関心を高め、米国政府が資金を大幅に増やす原因となりました。これは、パーセプトロンが人間の知能をエミュレートする能力に関するコンピューター科学者の楽観的な主張によって推進された「AIの黄金時代」に貢献しました。^[23]

最初のパーセプトロンには適応型隠れユニットはありませんでした。しかし、Joseph (1960) ^{[22] は}適応型隠れ層を持つ多層パーセプトロンについても論じました。Rosenblatt (1962) ^{[24] : section 16}ではこれらのアイデアを引用して採用し、HD Block と BW Knight の研究も引用しました。残念ながら、これらの初期の取り組みは、隠れユニットの実用的な学習アルゴリズム、つまりディープラーニングにはつながりませんでした。

ANN の基礎研究は 1960 年代から 1970 年代にかけて行われました。最初に機能したディープラーニングアルゴリズムは、アレクセイ イヴァクネンコとラパがソ連で1965 年に発表した、任意の深さのニューラル ネットワークをトレーニングする方法であるグループ データ処理法でした。彼らはこれを多項式回帰の一形態、^つまりローゼンブラットのパーセプトロンの一般化とみなしました。^[26] 1971 年の論文では、この方法でトレーニングされた 8 層のディープ ネットワークについて説明しました。 ^[27]これは、回帰分析による層ごとのトレーニングに基づいています。余分な隠れユニットは、別の検証セットを使用して削除されます。ノードの活性化関数はコルモゴロフ ガボール多項式であるため、これらは乗法ユニットまたは「ゲート」を備えた最初のディープ ネットワークでもありました。^[10]

確率的勾配降下法^[28]によって訓練された最初の深層学習多層パーセプトロンは、 1967年に天利俊一によって発表されました。^[29]天利の学生である斎藤が行ったコンピュータ実験では、2つの変更可能な層を持つ5層のMLPが、非線形に分離可能なパターンクラスを分類するための内部表現を学習しました。 ^[10]その後のハードウェアとハ​​イパーパラメータのチューニングの進歩により、エンドツーエンドの確率的勾配降下法が現在主流の訓練手法となっています。

1969年に福島邦彦はReLU（Rectified Linear Unit）活性化関数を導入した。^{[10] [30] [31]} ReLUはディープラーニングにおける最も人気のある活性化関数となった。^[32]

しかしながら、ミンスキーとパパート（1969年）^[33]の研究により、米国では研究が停滞し、基本的なパーセプトロンは排他的論理和回路を処理できないと強調した。この洞察は、イヴァクネンコ（1965年）とアマリ（1967年）の深層ネットワークには無関係であった。

1976年に転移学習がニューラルネットワーク学習に導入されました。^{[34] [35]}

畳み込み層とダウンサンプリング層、重み複製を備えた畳み込みニューラルネットワーク（CNN）の深層学習アーキテクチャは、1979年に福島邦彦が導入したネオコグニトロンから始まったが、バックプロパゲーションによる訓練は行われなかった。^{[36] [37] [38]}

バックプロパゲーションは、ゴットフリート・ヴィルヘルム・ライプニッツが1673年に導き出した連鎖律^[39]を微分可能ノードのネットワークに効率的に適用したものである。「バックプロパゲーション誤差」という用語は、実際には1962年にローゼンブラットによって導入されたが^[24]、彼はこれをどのように実装するかを知らなかった。一方、ヘンリー・J・ケリーは、 1960年に制御理論の文脈でバックプロパゲーションの連続的な先駆者を持っていた。^[40] 1970年、セッポ・リンナインマーは、修士論文（1970年）でバックプロパゲーションの現代形式を発表した。 ^{[41] [42] [10]} GM オストロフスキーら1971年に再出版された。^{[43] [44]}ポール・ワーボスは1982年にニューラルネットワークにバックプロパゲーションを適用した^{[45] [46]}（1994年の本に再版された1974年の博士論文^[47]では、まだアルゴリズムは説明されていなかった^[44]）。1986年にデビッド・E・ルメルハートらがバックプロパゲーションを普及させたが、元の研究を引用しなかった。^[48]

1979年の福島邦彦による畳み込みニューラルネットワーク（CNN）アーキテクチャ^[36]は、 CNNの一般的なダウンサンプリング手順である最大プーリング^[49]も導入しました。CNNはコンピュータービジョンに不可欠なツールとなっています。

時間遅延ニューラルネットワーク（TDNN）は、CNNを音素認識に適用するために、1987年にAlex Waibelによって導入されました。畳み込み、重み共有、バックプロパゲーションを使用しました。^{[50] [51]} 1988年に、Wei ZhangはバックプロパゲーションでトレーニングされたCNNをアルファベット認識に適用しました。^[52] 1989年に、Yann LeCunらは、郵便物の手書きの郵便番号を認識するためにLeNetと呼ばれるCNNを作成しました。トレーニングには3日かかりました。^[53] 1990年に、Wei Zhangは光コンピューティングハードウェア上にCNNを実装しました。^[54] 1991年に、CNNは医療画像オブジェクトのセグメンテーション^[55]とマンモグラムでの乳がん検出に適用されました。^[56] Yann LeCunらによる数字を分類する7レベルCNNであるLeNet -5（1998）は、いくつかの銀行で32×32ピクセルの画像にデジタル化された小切手上の手書きの数字を認識するために適用されました。^[57]

1988年以降、^{[58] [59]}ニューラルネットワークの使用は、特に最初のカスケードネットワークが多重配列アラインメントによって生成されたプロファイル（マトリックス）でトレーニングされたときに、タンパク質構造予測の分野に変革をもたらしました。^[60]

RNN の起源の 1 つは統計力学です。1972 年、甘利俊一は、ヘブの学習則によってイジング モデルの重みを修正し、学習の要素を追加して連想記憶のモデルにすることを提案しました。^{[61]これは、}ジョン ホップフィールド(1982)によってホップフィールド ネットワークとして普及しました。 ^[62] RNN のもう 1 つの起源は神経科学です。「リカレント」という言葉は、解剖学でループ状の構造を表すために使用されます。1901 年、カハールは小脳皮質に「反復する半円」を観察しました。^[63]ヘブは短期記憶の説明として「反響回路」を検討しました。^[64]マカロックとピッツの論文 (1943) は、サイクルを含むニューラル ネットワークを検討し、そのようなネットワークの現在のアクティビティは、過去の無限に遠いアクティビティによって影響を受ける可能性があると指摘しました。^[12]

^{1982年に、クロスバーアダプティブアレイ[65] [66]}と呼ばれるアレイアーキテクチャ（多層パーセプトロンアーキテクチャではなく）を備えたリカレントニューラルネットワークは、 出力からスーパーバイザー（教師）入力への直接的なリカレント接続を使用しました。アクション（決定）を計算することに加えて、結果状況の内部状態評価（感情）を計算しました。外部スーパーバイザーを排除することで、ニューラルネットワークに自己学習方法を導入しました。

認知心理学では、1980年代初頭にAmerican Psychologist誌で認知と感情の関係についての議論が行われた。1980年にZajoncは感情が最初に計算され、認知とは独立していると述べたが、1982年にLazarusは認知が最初に計算され、感情と切り離せないと述べた。^{[67] [68]} 1982年にクロスバーアダプティブアレイは認知と感情の関係のニューラルネットワークモデルを提供した。^{[65] [69]}これは、AIシステム、リカレントニューラルネットワークが、認知心理学が同時に取り上げた問題に貢献した議論の例である。

初期の影響力のある研究としては、認知心理学の研究に RNN を適用したJordan ネットワーク(1986) とElman ネットワーク(1990)の 2 つがありました。

1980年代、バックプロパゲーションはディープRNNではうまく機能しませんでした。この問題を解決するために、1991年にJürgen Schmidhuberは「ニューラルシーケンスチャンカー」または「ニューラル履歴コンプレッサー」^{[70] [71]}を提案しました。これは、自己教師あり事前トレーニング（ChatGPTの「P」 ）とニューラル知識蒸留^[10]という重要な概念を導入しました。 1993年には、ニューラル履歴コンプレッサーシステムが、時間的に展開されたRNNで1000を超える後続レイヤーを必要とする「非常に深い学習」タスクを解決しました。^[72]

1991年、Sepp Hochreiterの卒業論文^[73]は、消失勾配問題^{[73] [74]}を特定して分析し、それを解決するために再帰残差接続を提案しました。彼とSchmidhuberは長短期記憶（LSTM）を導入し、複数のアプリケーションドメインで精度記録を樹立しました。^{[75] [76]}これはまだLSTMの最新バージョンではなく、1999年に導入された忘却ゲートを必要としました。^[77]これはRNNアーキテクチャのデフォルトの選択肢になりました。

1985年から1995年にかけて、統計力学に触発されて、テリー・セジュスキー、ピーター・ダヤン、ジェフリー・ヒントンらによって、ボルツマンマシン^[78] 、制限付きボルツマンマシン^[79] 、[ヘルムホルツマシン] 、^[80]、ウェイクスリープアルゴリズム^[81]など、いくつかのアーキテクチャと手法が開発されました。これらは、深層生成モデルの教師なし学習用に設計されました。

2009年から2012年にかけて、ANNは画像認識コンテストで賞を獲得し始め、最初はパターン認識と手書き認識で、さまざまなタスクで人間レベルのパフォーマンスに近づきました。^{[82] [83]} 2011年には、Dan Ciresan、Ueli Meier、Jonathan Masci、Luca Maria Gambardella、Jürgen SchmidhuberによるDanNet ^{[84] [85]}というCNNが、視覚パターン認識コンテストで初めて超人的なパフォーマンスを達成し、従来の方法を3倍上回りました。 ^[38]その後、さらに多くのコンテストで優勝しました。^{[86] [87]}彼らはまた、GPU上の最大プーリングCNNがパフォーマンスを大幅に向上させることを示しました。 ^[88]

2012年10月、アレックス・クリジェフスキー、イリヤ・スツケヴァー、ジェフリー・ヒントンによるAlexNet ^[89]は、大規模なImageNetコンペティションで、浅い機械学習手法に大幅な差をつけて優勝しました。その後の漸進的な改良としては、カレン・シモニャンとアンドリュー・ジッサーマンによるVGG-16ネットワーク^[90]やGoogleのInceptionv3 ^[91]などがあります。

2012年、NgとDeanは、ラベルのない画像を見るだけで猫などの高レベルの概念を認識することを学習するネットワークを作成しました。^[92]教師なしの事前トレーニングとGPUおよび分散コンピューティングによる計算能力の向上により、特に画像や視覚認識の問題でより大規模なネットワークを使用できるようになり、「ディープラーニング」として知られるようになりました。^[5]

ラジアル基底関数とウェーブレットネットワークは2013年に導入されました。これらは最良の近似特性を提供することが示されており、非線形システムの識別と分類のアプリケーションに適用されています。^[93]

生成的敵対ネットワーク（GAN）（Ian Goodfellow他、2014 年）^{[94] は}、2014 年から 2018 年にかけて生成モデリングの最先端技術となりました。GAN の原理は、もともと 1991 年にJürgen Schmidhuberによって発表され、彼はそれを「人工好奇心」と呼びました。2 つのニューラル ネットワークがゼロ サム ゲームの形で互いに競合し、一方のネットワークの利益がもう一方のネットワークの損失になります。^{[95] [96]}最初のネットワークは、出力パターンの確率分布をモデル化する生成モデルです。2 番目のネットワークは、勾配降下法によって学習し、これらのパターンに対する環境の反応を予測します。優れた画像品質は、Tero Karras 他による Progressive GAN ^{[98 ] に基づく}NvidiaのStyleGAN (2018) ^[97]によって実現されています。 GANによる画像生成は人気を博し、ディープフェイクに関する議論を巻き起こした。^[99]拡散モデル（2015）^{[100]はそれ以来、} DALL·E 2（2022）や安定拡散（2022）などのシステムにより、生成モデリングにおいてGANを凌駕した。

2014年、最先端技術は20～30層の「非常に深いニューラルネットワーク」を訓練することだった。^{[101]層を積み上げすぎると}訓練精度が急激に低下し、 ^[102]「劣化」問題として知られるようになった。^[103] 2015年には、非常に深いネットワークを訓練するための2つの技術が開発され、ハイウェイネットワークは2015年5月に公開され、^[104]残差ニューラルネットワーク（ResNet）は2015年12月に公開された。 ^{[105] [106]} ResNetはオープンゲートのハイウェイネットのように動作する。

2010年代には、seq2seqモデルが開発され、注意機構が追加されました。これは、2017年のAttention Is All You Needで最新のTransformerアーキテクチャにつながりました。^[107] コンテキストウィンドウのサイズの2乗の計算時間が必要です。Jürgen Schmidhuberの高速重みコントローラ（1992）^[108]は線形にスケーリングし、後に正規化されていない線形Transformerと同等であることが示されました。^{[109] [110] [10] Transformerは、}自然言語処理 のモデルとしてますます選ばれるようになっています。^[111] ChatGPT、GPT-4、BERTなどの多くの最新の大規模言語モデルはこのアーキテクチャを使用しています。

ANN は、従来のアルゴリズムではほとんど成功しなかったタスクを実行するために人間の脳の構造を利用する試みとして始まりました。ANN はすぐに経験的結果を改善する方向に方向転換し、生物学的な先駆者に忠実であり続ける試みを放棄しました。ANN は非線形性と複雑な関係を学習してモデル化する能力を持っています。これはニューロンがさまざまなパターンで接続され、一部のニューロンの出力が他のニューロンの入力になることを可能にすることで実現されます。ネットワークは有向の重み付きグラフを形成します。^[112]

人工ニューラルネットワークは、シミュレートされたニューロンで構成されています。各ニューロンは、生物学的な軸索-シナプス-樹状突起接続のようなリンクを介して他のノードに接続されています。リンクで接続されたすべてのノードは、何らかのデータを取り込み、それを使用してデータに対して特定の操作とタスクを実行します。各リンクには重みがあり、1つのノードが他のノードに与える影響の強さを決定します。^[113]重みによってニューロン間の信号を選択できます。

ANNは、概念的には生物学的ニューロンから派生した人工ニューロンで構成されています。各人工ニューロンには入力があり、複数の他のニューロンに送信できる単一の出力を生成します。^[114]入力は、画像や文書などの外部データのサンプルの特徴値である場合もあれば、他のニューロンの出力である場合もあります。ニューラルネットの最終出力ニューロンの出力は、画像内の物体を認識するなどのタスクを実行します。^[要出典]

ニューロンの出力を求めるには、入力からニューロンへの接続の重みで重み付けされたすべての入力の加重合計を取ります。この合計にバイアス項を追加します。 ^{[115]この加重合計は、}活性化と呼ばれることもあります。この加重合計は、（通常は非線形の）活性化関数に渡され、出力を生成します。最初の入力は、画像や文書などの外部データです。最終的な出力は、画像内のオブジェクトの認識などのタスクを実行します。^[116]

ニューロンは、特にディープラーニングでは、通常、複数の層に編成されます。1 つの層のニューロンは、直前の層と直後の層のニューロンにのみ接続します。外部データを受け取る層は入力層です。最終的な結果を生成する層は出力層です。それらの層の間には、0 個以上の隠れ層があります。単層ネットワークと非階層ネットワークも使用されます。2 つの層の間では、複数の接続パターンが可能です。1 つの層のすべてのニューロンが次の層のすべてのニューロンに接続する「完全接続」にすることもできます。プーリングにすることもできます。プーリングでは、 1 つの層のニューロンのグループが次の層の 1 つのニューロンに接続し、その層のニューロンの数を減らします。^[117]このような接続のみを持つニューロンは、有向非巡回グラフを形成し、フィードフォワード ネットワークとして知られています。^{[118]また、同じ層または前の層のニューロン間の接続を許可するネットワークは、}リカレント ネットワークとして知られています。^[119]

ハイパーパラメータは、学習プロセスが始まる前に値が設定される定数パラメータです。パラメータの値は学習によって導出されます。ハイパーパラメータの例には、学習率、隠れ層の数、バッチサイズなどがあります。^{[引用が必要]}一部のハイパーパラメータの値は、他のハイパーパラメータの値に依存する場合があります。たとえば、一部の層のサイズは、全体の層数に依存する場合があります。^{[引用が必要]}

学習とは、サンプルの観測値を考慮して、ネットワークがタスクをより適切に処理できるように適応することです。学習には、ネットワークの重み (およびオプションのしきい値) を調整して結果の精度を向上させることが含まれます。これは、観測されたエラーを最小限に抑えることによって行われます。追加の観測値を調べてもエラー率が効果的に低下しない場合は、学習が完了します。学習後でも、エラー率は 0 に達しません。学習後にエラー率が高すぎる場合は、通常、ネットワークを再設計する必要があります。実際には、これは学習中に定期的に評価されるコスト関数を定義することによって行われます。出力が低下し続ける限り、学習は継続されます。コストは、値を近似することしかできない統計として定義されることがよくあります。出力は実際には数値であるため、エラーが低い場合、出力 (ほぼ確実に猫) と正解 (猫) の差は小さくなります。学習は、観測値間の差の合計を減らそうとします。ほとんどの学習モデルは、最適化理論と統計的推定の単純な応用と見なすことができます。^{[112] [120]}

学習率は、モデルが各観測の誤差を調整するために行う修正ステップのサイズを定義します。^[121]学習率が高いとトレーニング時間は短縮されますが、最終的な精度は低くなります。一方、学習率が低いとトレーニング時間は長くなりますが、精度が向上する可能性があります。Quickprop などの最適化は主に誤差の最小化を高速化することを目的としており、他の改善は主に信頼性の向上を目指しています。ネットワーク内の振動(接続重みの交互変更など) を回避し、収束率を向上させるために、改良では、必要に応じて増減する適応学習率を使用します。 ^[122]モメンタムの概念により、勾配と前回の変更のバランスに重み付けすることができ、重み調整は前回の変更にある程度依存します。モメンタムが 0 に近いと勾配が強調され、1 に近いと最後の変更が強調されます。^[要出典]

コスト関数をアドホックに定義することは可能ですが、多くの場合、選択は関数の望ましい特性（凸性など）によって、またはモデルから生じる（たとえば、確率モデルでは、モデルの事後確率を逆コストとして使用できる）ために決定されます。^[要出典]

バックプロパゲーションは、学習中に見つかった各エラーを補正するために接続の重みを調整するために使用される方法です。エラー量は、接続間で効果的に分割されます。技術的には、バックプロパゲーションは、重みに関して、特定の状態に関連付けられたコスト関数の勾配（微分）を計算します。重みの更新は、確率的勾配降下法または他の方法、たとえば、エクストリーム学習マシン、^[123]「プロップなし」ネットワーク、^[124]バックトラッキングなしのトレーニング、^[125]「重みなし」ネットワーク、^{[126] [127]}および非コネクショニストニューラルネットワークを介して行うことができます。^{[引用が必要]}

機械学習は一般的に、教師あり学習、^[128]、 教師なし学習^[129]、強化学習^[130]という3つの主要な学習パラダイムに分けられます。それぞれが特定の学習タスクに対応しています。

教師あり学習では、一対の入力と望ましい出力のセットを使用します。学習タスクは、各入力に対して望ましい出力を生成することです。この場合、コスト関数は誤った推論を排除することに関連しています。^[131]一般的に使用されるコストは平均二乗誤差で、ネットワークの出力と望ましい出力の間の平均二乗誤差を最小化しようとします。教師あり学習に適したタスクは、パターン認識（分類とも呼ばれる）と回帰（関数近似とも呼ばれる）です。教師あり学習は、シーケンシャルデータ（手書き、音声、ジェスチャー認識など）にも適用できます。これは、これまでに得られたソリューションの品質に関する継続的なフィードバックを提供する関数の形で、「教師」と一緒に学習すると考えることができます。

教師なし学習では、入力データは、コスト関数、データの何らかの関数、およびネットワークの出力とともに与えられます。コスト関数は、タスク（モデルドメイン）と事前の仮定（モデルの暗黙的な特性、そのパラメータ、および観測された変数）に依存します。簡単な例として、が定数でコスト であるモデルを考えてみましょう。このコストを最小化すると、データの平均に等しい の値が生成されます。コスト関数は、はるかに複雑になる場合があります。その形式はアプリケーションによって異なります。たとえば、圧縮では、と間の相互情報量に関連しますが、統計モデリングでは、データが与えられたモデルの事後確率に関連します（これらの例の両方で、これらの量は最小化されるのではなく最大化されることに注意してください）。教師なし学習のパラダイムに含まれるタスクは、一般に推定問題です。アプリケーションには、クラスタリング、統計分布の推定、圧縮、フィルタリングが含まれます。 ${\displaystyle \textstyle x}$${\displaystyle \textstyle f(x)=a}$${\displaystyle \textstyle a}$${\displaystyle \textstyle C=E[(x-f(x))^{2}]}$${\displaystyle \textstyle a}$${\displaystyle \textstyle x}$${\displaystyle \textstyle f(x)}$

ビデオ ゲームをプレイするなどのアプリケーションでは、アクターは一連のアクションを実行し、各アクションの後に環境から通常予測できない応答を受け取ります。目標はゲームに勝つこと、つまり最も肯定的な (コストが最も低い) 応答を生成することです。強化学習では、ネットワークに重み付け (ポリシーを考案) して、長期 (予想される累積) コストを最小化するアクションを実行することが目的です。各時点でエージェントはアクションを実行し、環境はいくつかの (通常は未知の) ルールに従って観測値と瞬間コストを生成します。ルールと長期コストは通常​​、推定のみ可能です。どの時点でも、エージェントは新しいアクションを探索してそのコストを明らかにするか、以前の学習を活用してより迅速に処理を進めるかを決定します。

形式的には、環境は状態とアクションを持つマルコフ決定プロセス(MDP)としてモデル化されます。状態遷移は不明であるため、代わりに確率分布が使用されます。つまり、瞬間コスト分布、観測分布、遷移分布です。一方、ポリシーは、観測が与えられたアクションに対する条件付き分布として定義されます。これら 2 つを組み合わせると、マルコフ連鎖(MC) が定義されます。目的は、コストが最も低い MC を見つけることです。 ${\displaystyle \textstyle {s_{1},...,s_{n}}\in S}$${\displaystyle \textstyle {a_{1},...,a_{m}}\in A}$${\displaystyle \textstyle P(c_{t}|s_{t})}$${\displaystyle \textstyle P(x_{t}|s_{t})}$${\displaystyle \textstyle P(s_{t+1}|s_{t},a_{t})}$

ANNは、このようなアプリケーションで学習コンポーネントとして機能します。^{[132] [133]} ANNと結合した動的計画法（ニューロダイナミックプログラミングを与える）^[134]は、車両ルーティング、^[135]、ビデオゲーム、天然資源管理^{[136] [137]}、医療^[138]などの問題に適用されています。これは、制御問題の解を数値的に近似するために離散化グリッド密度を減らした場合でも、精度の低下を緩和するANNの能力によるものです。強化学習のパラダイムに含まれるタスクは、制御問題、ゲーム、およびその他の順次意思決定タスクです。

ニューラルネットワークにおける自己学習は、クロスバー適応アレイ（CAA）と呼ばれる自己学習可能なニューラルネットワークとともに1982年に導入されました。 ^[139]これは、状況sという1つの入力と、アクション（または動作）aという1つの出力のみを持つシステムです。環境からの外部アドバイス入力も外部強化入力もありません。CAAは、クロスバー方式で、遭遇した状況に関するアクションと感情（気持ち）に関する決定の両方を計算します。このシステムは、認知と感情の相互作用によって駆動されます。^[140]メモリ行列W =||w(a,s)||が与えられると、クロスバー自己学習アルゴリズムは各反復で次の計算を実行します。

状況 s ではアクション a を実行します。
 結果状況s'を受け取ります。
 結果状況v(s')にいるときの感情を計算します。
 クロスバーメモリを更新しますw'(a,s) = w(a,s) + v(s')。

逆伝播された価値（二次強化）は、結果状況に対する感情である。CAAは2つの環境に存在し、1つは行動する行動環境であり、もう1つは遺伝的環境であり、遺伝的環境から、行動環境で遭遇する状況の初期感情を最初に一度だけ受け取る。遺伝的環境からゲノムベクトル（種ベクトル）を受け取ったCAAは、望ましい状況と望ましくない状況の両方を含む行動環境で、目標追求行動を学習する。^[141]

ニューロエボリューションは、進化的計算を使用してニューラルネットワークのトポロジーと重みを作成できます。これは、洗練された勾配降下法と競合します。^{[142] [143]}ニューロエボリューションの利点の1つは、「行き止まり」に陥る可能性が低いことです。^[144]

シェリントン・カークパトリックモデルに由来する確率的ニューラルネットワークは、ネットワークの人工ニューロンに 確率的伝達関数^[要出典]を与えるか、確率的重みを与えることによって、ネットワークにランダムな変動を導入することによって構築された人工ニューラルネットワークの一種です。ランダムな変動はネットワークが局所的最小値から脱出するのを助けるため、これは最適化問題に役立つツールになります。^[145]ベイズアプローチを使用してトレーニングされた確率的ニューラルネットワークは、ベイズニューラルネットワークとして知られています。^[146]

ベイズ理論では、許容されるモデル群の分布はコストを最小化するように選択される。進化的手法[ ^147] 、^[148]、 [149] 、^[150]、期待値最大化、ノンパラメトリック法、粒子群最適化^{[151]は他の学習アルゴリズムである。収束再帰は}小脳モデル関節制御器（CMAC）ニューラルネットワークの学習アルゴリズムである。 ^{[ 152]}

学習には、確率的モードとバッチ モードの 2 つのモードがあります。確率的学習では、各入力によって重み調整が行われます。バッチ学習では、入力のバッチに基づいて重みが調整され、バッチ全体でエラーが蓄積されます。確率的学習では、1 つのデータ ポイントから計算されたローカル勾配を使用して、プロセスに「ノイズ」が導入されます。これにより、ネットワークがローカル最小値で停止する可能性が減ります。ただし、バッチ学習では、各更新がバッチの平均エラーの方向に実行されるため、通常、ローカル最小値への降下がより速く、より安定します。一般的な妥協策は、「ミニバッチ」を使用することです。これは、各バッチ内のサンプルがデータ セット全体から確率的に選択される小さなバッチです。

ANN は、複数の領域にわたって最先端の技術を進歩させた幅広い技術ファミリーに進化しました。最も単純なタイプには、ユニット数、レイヤー数、ユニットの重み、トポロジなど、1 つ以上の静的コンポーネントがあります。動的タイプでは、これらの 1 つ以上を学習によって進化させることができます。後者ははるかに複雑ですが、学習期間を短縮し、より良い結果を生み出すことができます。一部のタイプでは、オペレーターによる「監督」学習が可能/必要ですが、他のタイプは独立して動作します。一部のタイプは純粋にハードウェアで動作しますが、他のタイプは純粋にソフトウェアで、汎用コンピューターで動作します。

主なブレークスルーには次のようなものがあります。

• 畳み込みニューラルネットワークは、視覚データやその他の2次元データの処理に特に効果的であることが証明されています。^{[153] [154]}長期短期記憶により勾配消失問題が回避され^[155]、低周波成分と高周波成分が混在する信号を処理できるため、大語彙の音声認識、^{[156] [157]、}テキスト音声合成、^{[158] [159] [160]}、写真のようにリアルなトーキングヘッド^{[161]に役立ちます。}
• 生成的敵対的ネットワークなどの競争的ネットワークでは、複数のネットワーク（さまざまな構造を持つ）が、ゲームに勝つこと^[162]や、入力の信憑性について相手を欺くことなどのタスクで互いに競争します。^[94]

人工ニューラル ネットワークを使用するには、その特性を理解する必要があります。

• モデルの選択: これは、データ表現とアプリケーションによって異なります。モデル パラメータには、ネットワーク レイヤーの数、タイプ、接続性、各レイヤーのサイズ、接続タイプ (フル、プーリングなど) が含まれます。過度に複雑なモデルは学習が遅くなります。
• 学習アルゴリズム:学習アルゴリズム間には数多くのトレードオフが存在します。特定のデータセットでのトレーニングでは、適切なハイパーパラメータ^[163]を使用すれば、ほぼすべてのアルゴリズムがうまく機能します。しかし、未知のデータでのトレーニング用のアルゴリズムの選択と調整には、かなりの実験が必要です。
• 堅牢性: モデル、コスト関数、学習アルゴリズムが適切に選択されると、結果として得られる ANN は堅牢になります。

ニューラルアーキテクチャ探索（NAS）は、機械学習を使用してANN設計を自動化します。NASへのさまざまなアプローチにより、手作業で設計されたシステムと匹敵するネットワークが設計されています。基本的な探索アルゴリズムは、候補モデルを提案し、データセットに対して評価し、その結果をフィードバックとして使用してNASネットワークを学習することです。^[164]利用可能なシステムには、AutoMLとAutoKerasがあります。^[165] scikit-learnライブラリは、ディープネットワークをゼロから構築するのに役立つ関数を提供します。その後、 TensorFlowまたはKerasを使用してディープネットワークを実装できます。

ハイパーパラメータも設計の一部として定義する必要があり（学習されるものではない）、各層のニューロン数、学習率、ステップ、ストライド、深さ、受容野、パディング（CNNの場合）などの事項を制御します。^[166]

def  train ( X 、 y 、 n_hidden 、 learning_rate 、 n_iter ):
    m 、 n_input  =  X .形状

    # 1. 重みとバイアスをランダムに初期化する
    w1  =  np .ランダム.randn ( n_input , n_hidden )​ 
    b1  =  np .ゼロ(( 1 ,  n_hidden ))
    w2  =  np .ランダム. randn ( n_hidden ,  1 )
    b2  =  np .ゼロ(( 1 ,  1 ))

    # 2. 各反復で、すべてのレイヤーに最新の重みとバイアスを入力します
     i が 範囲( n_iter + 1 )内に ある場合:  
        z2  =  np . dot ( X ,  w1 )  +  b1
        a2  = シグモイド( z2 )
        z3  =  np 。ドット( a2 ,  w2 )  +  b2
        a3  =  z3
        dz3  =  a3  -  y
        dw2  =  np .ドット( a2 . T ,  dz3 )
        db2  =  np . sum ( dz3 、 axis = 0 、 keepdims = True )
        dz2  =  np.dot ( dz3 , w2.T ) *シグモイド導関数( z2 )​​   
        dw1  =  np . dot ( X . T ,  dz2 )
        db1  =  np . sum ( dz2 、 軸= 0 )

        # 3. 勾配を使って重みとバイアスを更新する
        w1  -= 学習率 *  dw1  /  m
        w2  -= 学習率 *  dw2  /  m
        b1  -= 学習率 *  db1  /  m
        b2  -= 学習率 *  db2  /  m

         i  %  1000  ==  0の場合:
            print ( "エポック" 、 i 、 "損失: " 、 np . mean ( np . square ( dz3 )))

    モデル =  { "w1" :  w1 、 "b1" :  b1 、 "w2" :  w2 、 "b2" :  b2 }
    リターン モデル

^[要出典]

人工ニューラル ネットワークは、非線形プロセスを再現およびモデル化する能力があるため、さまざまな分野で応用されています。これには次のものが含まれます。

• 関数近似[ ^167]または回帰分析[ ^168]（時系列予測、適応度近似^[169]およびモデリングを含む）
• データ処理^[170]（フィルタリング、クラスタリング、ブラインドソース分離、^[171]、圧縮を含む）
• 非線形システム同定^[93]と制御（車両制御、軌道予測、^[172] 適応制御、プロセス制御、天然資源管理を含む）
• パターン認識（レーダーシステム、顔認識、信号分類、^[173] 新規性検出、3D再構成、^[174]物体認識、逐次意思決定^[175]を含む）
• シーケンス認識（ジェスチャー、音声、手書きおよび印刷されたテキストの認識を含む^[176]）
• センサーデータ分析^[177]（画像分析を含む）
• ロボット工学（マニピュレータや義肢の誘導を含む）
• データマイニング（データベースにおける知識発見を含む）
• 金融^[178] （特定の金融長期予測のための事前モデルや人工金融市場など）
• 量子化学^[179]
• 一般的なゲームのプレイ^[180]
• 生成AI ^[181]
• データの視覚化
• 機械翻訳
• ソーシャルネットワークフィルタリング^[182]
• 電子メールのスパムフィルタリング
• 医学的診断^[183]

ANNは、いくつかの種類の癌の診断に使用されており^{[184] [185]}、細胞の形状情報のみを使用して、浸潤性の高い癌細胞株と浸潤性の低い癌細胞株を区別するためにも使用されています。^{[186] [187]}

ANNは、自然災害の影響を受けるインフラの信頼性分析を加速するために使用されてきました^{[188] [189]}。また、基礎沈下を予測するためにも使用されています^[190]。降雨流出をモデル化するためにANNを使用することで、洪水を軽減することもできます^[191] 。ANNは、地質科学：水文学^{[192] [193]}、海洋モデリングと沿岸工学^{[194] [195]}、地形学^[196]のブラックボックスモデルの構築にも使用されています。ANNは、正当な活動と悪意のある活動を区別することを目的として、サイバーセキュリティに採用されています。たとえば、機械学習は、Androidマルウェアの分類、^[197]脅威アクターに属するドメインの識別、セキュリティリスクをもたらすURLの検出に使用されています。^{[198]侵入テスト、ボットネットの検出、 [199]}クレジットカード詐欺^[200] 、ネットワーク侵入用に設計されたANNシステムの研究が進行中です。

ANNは物理学における偏微分方程式を解くツールとして提案されており^{[201] [202] [203] 、多体系の}開放量子系の特性をシミュレートするツールとしても提案されている。^{[204] [205] [206] [207]脳の研究では、ANNは}個々のニューロンの短期的な動作を研究しており^[208]、神経回路のダイナミクスは個々のニューロン間の相互作用から生じ、動作は完全なサブシステムを表す抽象的な神経モジュールからどのように生じるのかを研究している。研究では、神経系の長期および短期の可塑性と、個々のニューロンからシステムレベルまでの学習および記憶との関係が検討された。

物体認識用に訓練された人工ニューラルネットワークを使用して、写真からユーザーの興味のプロファイルを作成することが可能です。^[209]

人工ニューラルネットワークは、従来の用途を超えて、材料科学などの学際的な研究でますます利用されています。たとえば、グラフニューラルネットワーク（GNN）は、結晶の全エネルギーを効率的に予測することで、新しい安定した材料を発見するためのディープラーニングを拡張する能力を実証しました。このアプリケーションは、予測モデリングと人工知能の領域を超えた複雑な問題に取り組むためのANNの適応性と可能性を強調し、科学的発見と革新への新しい道を開きます。^[210]

多層パーセプトロンは、普遍近似定理によって証明されているように、普遍的な関数近似器です。ただし、必要なニューロンの数、ネットワーク トポロジ、重み、学習パラメータに関する証明は建設的ではありません。

有理数の重み（完全精度の実数の重みとは対照的）を持つ特定の再帰アーキテクチャは、有限個のニューロンと標準的な線形接続を使用して、汎用チューリングマシンのパワーを持っています。 ^{[211 ] さらに、重みに}無理数を使用すると、スーパーチューリングパワーを持つマシンになります。^{[212] [213] [検証に失敗]}

モデルの「容量」特性は、任意の関数をモデル化する能力に対応します。これは、ネットワークに格納できる情報量と複雑性の概念に関連しています。コミュニティでは、容量の 2 つの概念が知られています。情報容量と VC 次元です。パーセプトロンの情報容量は、トーマス カバーの研究をまとめたサー デイビッド マッケイの著書^{[214]で詳しく議論されています。 [215]}標準ニューロン (畳み込みではない) のネットワークの容量は、ニューロンを電気要素として理解することから得られる 4 つのルール^[216]によって導き出されます。情報容量は、入力として任意のデータを与えられた場合に、ネットワークによってモデル化できる関数を捉えます。2 番目の概念は、VC 次元です。VC 次元は測度論の原理を使用し、可能な限り最良の状況で最大容量を見つけます。これは、特定の形式で入力データが与えられた場合です。 ^[214]で述べたように、任意の入力に対する VC 次元は、パーセプトロンの情報容量の半分です。任意の点のVC次元はメモリ容量と呼ばれることもあります。^[217]

モデルは、第一に、コスト関数とモデルに応じて局所的最小値が存在する可能性があるため、一貫して単一のソリューションに収束しない場合があります。第二に、使用される最適化方法は、局所的最小値から遠く離れたところから始まる場合、収束を保証しない可能性があります。第三に、データまたはパラメータが十分に大きい場合、一部の方法は実用的ではありません。

言及する価値のあるもう 1 つの問題は、トレーニングによって鞍点が交差し、収束が間違った方向に進む可能性がある ことです。

特定のタイプのANNアーキテクチャの収束挙動は、他のものよりもよく理解されています。ネットワークの幅が無限大に近づくと、ANNはトレーニング全体を通じて1次テイラー展開によってうまく説明され、アフィンモデルの収束挙動を継承します。^{[218] [219]}もう1つの例として、パラメータが小さい場合、ANNは低周波数から高周波数までターゲット関数を適合させることが多いことが観察されています。この動作は、ニューラルネットワークのスペクトルバイアス、または周波数原理と呼ばれます。^{[220] [221] [222] [223]この現象は、}ヤコビ法などのよく研究されている反復数値スキームの動作とは逆です。より深いニューラルネットワークは、低周波数関数に偏っていることが観察されています。^[224]

未知の例にうまく一般化するシステムを作成することを目的とするアプリケーションでは、過剰トレーニングの可能性に直面します。これは、ネットワーク容量が必要な自由パラメータを大幅に超える場合に、複雑なシステムまたは過剰に指定されたシステムで発生します。過剰トレーニングに対処する方法は 2 つあります。1 つ目は、クロス検証などの手法を使用して過剰トレーニングの有無を確認し、一般化エラーを最小限に抑えるハイパーパラメータを選択することです。

2 つ目は、何らかの形式の正則化を使用することです。この概念は確率的 (ベイズ) フレームワークで登場し、より単純なモデルよりも大きな事前確率を選択することで正則化を実行できます。また、統計学習理論でも、目標は 2 つの量 (「経験的リスク」と「構造的リスク」) を最小限に抑えることです。これらは、トレーニング セットのエラーと、オーバーフィッティングによる未知のデータの予測エラーにほぼ相当します。

平均二乗誤差(MSE) コスト関数を使用する教師ありニューラル ネットワークでは、正式な統計手法を使用して、トレーニング済みモデルの信頼性を判断できます。検証セットの MSE は、分散の推定値として使用できます。この値を使用して、正規分布を前提として、ネットワーク出力の信頼区間を計算できます。この方法で行われた信頼性分析は、出力確率分布が同じままで、ネットワークが変更されない 限り、統計的に有効です。

ロジスティック関数の一般化であるソフトマックス活性化関数を、カテゴリターゲット変数のニューラルネットワークの出力層（またはコンポーネントベースネットワークのソフトマックスコンポーネント）に割り当てることで、出力を事後確率として解釈できます。これは、分類の確実性指標となるため、分類に役立ちます。

ソフトマックス活性化関数は次のとおりです。

${\displaystyle y_{i}={\frac {e^{x_{i}}}{\sum _{j=1}^{c}e^{x_{j}}}}}$

ニューラルネットワーク、特にロボット工学における一般的な批判は、実際の運用にはトレーニングサンプルが多すぎるというものである。^[225] 学習マシンは、新しいケースに一般化できるようにする基礎構造を捉えるために、十分な代表例を必要とする。潜在的な解決策としては、トレーニング例をランダムにシャッフルすること、例に従ってネットワーク接続を変更するときに大きなステップを踏まない数値最適化アルゴリズムを使用すること、いわゆるミニバッチで例をグループ化すること、および/またはCMACの再帰最小二乗アルゴリズムを導入することなどが挙げられる。^[151] Dean Pomerleau は、ニューラルネットワークを使用してロボット車両を複数の種類の道路（単一車線、複数車線、未舗装道路など）で運転するようにトレーニングしており、彼の研究の大部分は、単一のトレーニング経験から複数のトレーニングシナリオを外挿すること、およびシステムが過剰トレーニングにならないように過去のトレーニングの多様性を維持することに費やされている（たとえば、右折が連続して提示された場合、常に右折するように学習すべきではない）。^[226]

ANN の中心的な主張^[要出典]は、情報処理のための新しい強力な一般原則を具体化しているという点です。これらの原則は明確に定義されていません。多くの場合、ネットワーク自体から出現していると主張しています^{[誰が主張しているのでしょうか? ]} 。これにより、単純な統計的関連付け (人工ニューラル ネットワークの基本機能) を学習または認識として説明できます。1997 年、元Scientific AmericanコラムニストのAlexander Dewdney は、その結果、人工ニューラル ネットワークは「何の役にも立たない性質、つまり、これらのコンピューティング システムがどれだけ優れているかについての独特の怠惰な雰囲気と明らかな好奇心の欠如を与える性質」を持っているとコメントしました。人間の手 (または心) が介入することはありません。解決策は魔法のように見つかり、誰も何も学んでいないようです。^{[227]デュードニーに対する一つの答えは、ニューラルネットワークは、航空機の自律飛行[228]}からクレジットカード詐欺の検出、囲碁のマスターに至るまで、多くの複雑で多様なタスクの処理に成功裏に使用されてきたというものである。

テクノロジーライターのロジャー・ブリッジマン氏は次のようにコメントしている。

たとえば、ニューラル ネットワークが法廷に立たされているのは、非常に誇大宣伝されているからというだけでなく (誇大宣伝されていないものなどあるでしょうか?)、その仕組みを理解していなくても成功するネットワークを作成できるからです。その動作を捉えた一連の数字は、おそらく「不透明で判読不能な表になり、科学的リソースとして価値がない」でしょう。

科学は技術ではないと断言しているにもかかわらず、デュードニーはニューラルネットを悪い科学として非難しているようだ。ニューラルネットを考案した人のほとんどは、ただ優秀なエンジニアになろうとしているだけなのだ。役に立つ機械が読めるが読めない表であっても、それは持つ価値がある。^[229]

人工ニューラルネットワークが学習した内容を分析するのは難しいのは事実ですが、生物学的ニューラルネットワークが学習した内容を分析するよりははるかに簡単です。さらに、最近はAIの説明可能性が重視されており、特に注意メカニズムに基づく、学習したニューラルネットワークを視覚化して説明する方法の開発に貢献しています。さらに、ニューラルネットワークの学習アルゴリズムの探求に携わる研究者は、学習マシンを成功させるための一般的な原則を徐々に明らかにしています。たとえば、BengioとLeCun（2007）は、ローカル学習と非ローカル学習、および浅いアーキテクチャと深いアーキテクチャに関する記事を書いています。^[230]

生物学的脳は、脳解剖学で報告されているように浅い回路と深い回路の両方を使用しており、^[231]多種多様な不変性を示しています。Weng ^[232]は、脳は主に信号統計に従って自己配線するため、シリアルカスケードではすべての主要な統計的依存性を捉えることはできないと主張しました。

大規模で効果的なニューラルネットワークには、かなりの計算リソースが必要です。^[233]脳にはニューロンのグラフを介して信号を処理するタスクに合わせたハードウェアがありますが、フォンノイマンアーキテクチャで単純化されたニューロンをシミュレートするだけでも、膨大な量のメモリとストレージを消費する可能性があります。さらに、設計者はこれらの接続と関連するニューロンの多くを介して信号を送信する必要があり、これには膨大なCPUパワーと時間が必要です。^[要出典]

21世紀におけるニューラルネットワークの復活は、ハードウェアの進歩に大きく起因すると主張する人もいます。1991年から2015年にかけて、特にGPGPU（GPU上）によって提供される計算能力は約100万倍に増加し、標準的なバックプロパゲーションアルゴリズムは、以前よりも数層深いネットワークのトレーニングに実行可能になりました。^[38] FPGAやGPUなどのアクセラレータを使用すると、トレーニング時間を数か月から数日に短縮できます。^{[233] [234]}

ニューロモルフィックエンジニアリング、つまり物理的ニューラルネットワークは、非フォンノイマンチップを構築して回路内にニューラルネットワークを直接実装することで、ハードウェアの難しさに直接対処します。ニューラルネットワーク処理に最適化された別のタイプのチップは、テンソルプロセッシングユニット（TPU）と呼ばれます。 ^[235]

ANNが学習した内容を分析するのは、生物学的ニューラルネットワークが学習した内容を分析するよりもはるかに簡単です。さらに、ニューラルネットワークの学習アルゴリズムの探求に携わる研究者は、学習マシンを成功させるための一般原則を徐々に明らかにしています。たとえば、ローカル学習と非ローカル学習、浅いアーキテクチャと深いアーキテクチャなどです。^[236]

ハイブリッドモデル（ニューラルネットワークとシンボリックアプローチを組み合わせたもの）の支持者は、そのような組み合わせによって人間の心のメカニズムをよりよく捉えることができると主張している。^{[237] [238]}

ニューラルネットワークは、トレーニングに使用するデータの質に依存しているため、代表性が不均衡な低品質のデータは、モデル学習や社会的偏見の永続化につながる可能性があります。^{[239] [240]}これらの継承されたバイアスは、特定の人種、性別、またはその他の属性のデータが不足しているためにトレーニングデータが不均衡になる可能性がある現実のシナリオにANNが統合された場合に特に重要になります。^[239]この不均衡により、モデルは過小評価されたグループを適切に表現および理解できず、特に顔認識、採用プロセス、法執行などのアプリケーションで社会的不平等を悪化させる差別的な結果につながる可能性があります。^{[240] [241]}たとえば、2018年にAmazonは採用ツールを廃止しなければなりませんでした。これは、この分野では男性労働者の数が多いため、モデルがソフトウェアエンジニアリングの仕事に男性を女性より優遇したためです。^{[241]このプログラムでは、「女性」という言葉や女子大学の名前を含む履歴書はペナルティの対象となります。しかし、}合成データの使用はデータセットの偏りを減らし、データセット内の表現を増やすのに役立ちます。^[242]

• 
  単層フィードフォワード人工ニューラルネットワーク。 から始まる矢印は、わかりやすくするために省略されています。このネットワークには p 個の入力があり、q 個の出力があります。このシステムでは、q 番目の出力の値は次のように計算されます。${\displaystyle \scriptstyle x_{2}}$${\displaystyle y_{q}}$${\displaystyle \scriptstyle y_{q}=K*(\sum _{i}(x_{i}*w_{iq})-b_{q}).}$
• 
  2層フィードフォワード人工ニューラルネットワーク
• 
  人工ニューラルネットワーク
• 
  ANN依存グラフ
• 
  4 つの入力、6 つの隠しノード、2 つの出力を持つ単層フィードフォワード人工ニューラル ネットワーク。位置状態と方向が指定されると、ホイール ベースの制御値を出力します。
• 
  8 つの入力、2x8 の隠しノード、および 2 つの出力を持つ 2 層のフィードフォワード人工ニューラル ネットワーク。位置状態、方向、およびその他の環境値を指定すると、スラスタ ベースの制御値を出力します。
• 
  CMAC ニューラル ネットワークの並列パイプライン構造。この学習アルゴリズムは 1 ステップで収束できます。

人工ニューラル ネットワーク (ANN) は、複雑なシステムをモデル化し、大規模なデータ セットを処理し、さまざまな種類のアプリケーションに適応する能力において、特に大きな進歩を遂げてきました。過去数十年にわたる進化は、画像処理、音声認識、自然言語処理、金融、医療などの分野での幅広いアプリケーションによって特徴付けられています。^{[引用が必要]}

画像処理の分野では、ANNは画像分類、物体認識、画像セグメンテーションなどのタスクに使用されています。例えば、深層畳み込みニューラルネットワーク（CNN）は手書き数字認識において重要な役割を果たし、最先端のパフォーマンスを実現しています。^[243]これは、ANNが複雑な視覚情報を効果的に処理および解釈する能力を示しており、自動監視から医療画像診断までさまざまな分野で進歩をもたらしています。^[243]

音声信号をモデル化することで、ANNは話者識別や音声からテキストへの変換などのタスクに使用されます。ディープニューラルネットワークアーキテクチャは、大語彙の連続音声認識に大幅な改善をもたらし、従来の技術を上回りました。^{[243] [244]}これらの進歩により、より正確で効率的な音声起動システムの開発が可能になり、テクノロジー製品のユーザーインターフェイスが強化されました。^{[引用が必要]}

自然言語処理では、ANNはテキスト分類、感情分析、機械翻訳などのタスクに使用されます。ANNにより、言語間の正確な翻訳、テキストデータの文脈と感情の理解、コンテンツに基づいたテキストの分類が可能なモデルの開発が可能になりました。^{[243] [244]}これは、自動化された顧客サービス、コンテンツモデレーション、言語理解技術に影響を与えます。^[要出典]

制御システムの分野では、ANN はシステム識別、制御設計、最適化などのタスクの動的システムをモデル化するために使用されます。たとえば、ディープ フィードフォワード ニューラル ネットワークは、システム識別および制御アプリケーションで重要です。^{[引用が必要]}

ANN は株式市場の予測や信用スコアリングに使用されます。

• 投資においては、ANNは膨大な量の金融データを処理し、複雑なパターンを認識し、株式市場の動向を予測することができ、投資家やリスク管理者が情報に基づいた意思決定を行うのに役立ちます。^[243]
• 信用スコアリングでは、ANNはデータ駆動型のパーソナライズされた信用力評価を提供し、デフォルト予測の精度を向上させ、融資プロセスを自動化します。^[244]

ANN には高品質のデータと慎重な調整が必要であり、その「ブラックボックス」の性質により解釈が困難になる場合があります。しかし、継続的な進歩は、ANN が金融において引き続き役割を果たし、貴重な洞察を提供し、リスク管理戦略を強化することを示唆しています。^{[引用が必要]}

ANNは膨大な医療データセットを処理および分析することができます。ANNは、特に複雑な医療画像を解釈して病気の早期発見をしたり、患者の転帰を予測して個別化された治療計画を立てたりすることで、診断の精度を高めます。^[244]創薬では、ANNは潜在的な薬剤候補の特定をスピードアップし、その有効性と安全性を予測し、開発時間とコストを大幅に削減します。^[243]さらに、個別化医療やヘルスケアデータ分析への応用により、カスタマイズされた治療法と効率的な患者ケア管理が可能になります。^[244]進行中の研究は、データのプライバシーやモデルの解釈可能性などの残された課題に対処し、医療におけるANNの応用範囲を拡大することを目指しています。^[要出典]

生成的敵対的ネットワーク（ GAN）やトランスフォーマーなどのANNは、多くの業界でコンテンツ作成に使用されています。^[245]これは、ディープラーニングモデルが膨大なデータセットからアーティストやミュージシャンのスタイルを学習し、まったく新しいアートワークや音楽作品を生成できるためです。たとえば、DALL-Eは、イン​​ターネット上の6億5000万組の画像とテキストでトレーニングされたディープニューラルネットワークであり、ユーザーが入力したテキストに基づいてアートワークを作成できます。^{[246]音楽の分野では、} AIVAやJukedeckなどの企業を通じて、コマーシャルやドキュメンタリー用のオリジナル音楽を作成するためにトランスフォーマーが使用されています。^[247]マーケティング業界では、生成モデルを使用して消費者向けにパーソナライズされた広告を作成しています。^[245]さらに、大手映画会社はテクノロジー企業と提携して映画の経済的成功を分析しており、ワーナー・ブラザースとテクノロジー企業シネリティックは2020年に提携を結んだ。^[248]さらに、ニューラルネットワークはビデオゲームの制作にも利用されており、ノンプレイヤーキャラクター（NPC）はゲームに現在登場するすべてのキャラクターに基づいて意思決定を行うことができる。^[249]