学習ルール

人工ニューラルネットワークの学習規則または学習プロセスは、ネットワークのパフォーマンスやトレーニング時間を改善する方法、数学的論理、またはアルゴリズムです。通常、この規則はネットワークに繰り返し適用されます。これは、特定のデータ環境でネットワークをシミュレートするときに、ネットワークの重みとバイアス^{[ broken anan ]レベルを更新することによって行われます。 [1]}学習規則は、ネットワークの既存の条件 (重みとバイアス) を受け入れ、ネットワークの予想される結果と実際の結果を比較して、重みとバイアスの新しい改善された値を提供します。^{[2]シミュレートされるモデルの複雑さに応じて、ネットワークの学習規則は、} XORゲートや平均二乗誤差のように単純なものから、微分方程式のシステムの結果のように複雑なものまであります。

学習ルールは、ニューラル ネットワークをどれだけ速く、どれだけ正確に開発できるかを決定する要因の 1 つです。ネットワークを開発するプロセスに応じて、機械学習には 3 つの主要なパラダイムがあります。

• 教師あり学習、
• 教師なし学習、
• そして強化学習。

機械学習における学習方法の多くは、互いに似たような働きをし、互いに基づいているため、明確なカテゴリに分類することは困難です。しかし、それらは4つの学習方法のカテゴリで広く理解できますが、これらのカテゴリには明確な境界がなく、複数の学習方法のカテゴリに属する​​傾向があります^[3] -

1. ヘッビアン-ネオコグニトロン、箱の中の脳の状態^[4]
2. 勾配降下法- ADALINE、ホップフィールドネットワーク、リカレントニューラルネットワーク
3. 競争学習ベクトル量子化、自己組織化特徴マップ、適応共鳴理論
4. 確率的ボルツマンマシン、コーシーマシン

これらの学習ルールは、似たような考え方に基づいているように見えますが、以前のルールを一般化または応用したものであるため、微妙な違いがあり、その起源と意図に基づいて個別に研究することが理にかなっていることに注意してください。

1949 年にドナルド ヘブによって生物学的ニューロンの発火を記述するために開発されました。1950 年代半ばには、ニューラル ネットワークのコンピューター シミュレーションにも適用されました。

${\displaystyle \Delta w_{i}=\eta x_{i}y}$

ここで、は学習率、はニューロン i の入力、y はニューロンの出力です。ヘブの法則は、その基本形式では不安定であることがわかっています。オージャの法則、BCM 理論は、生物学的ニューロンの研究においてヘブの法則に基づいて、またはヘブの法則と並行して構築された他の学習法則です。 ${\displaystyle \eta}$${\displaystyle x_{i}}$

パーセプトロン学習ルールはヘブビアン仮説に由来し、 1958 年にフランク・ローゼンブラットがパーセプトロンで使用しました。ネットは活性化 (伝達) 関数に渡され、関数の出力は重みの調整に使用されます。学習信号は、ニューロンの望ましい応答と実際の応答の差です。ステップ関数は活性化関数としてよく使用され、出力は通常 -1、0、または 1 に制限されます。

重みは次のように更新されます

${\displaystyle w_{\text{new}}=w_{\text{old}}+\eta (to)x_{i}}$ここで、「t」は目標値、「o」はパーセプトロンの出力であり、学習率と呼ばれます。 ${\displaystyle \eta}$

アルゴリズムが正しい分類に収束するのは以下の場合です: ^[5]

• トレーニングデータは線形分離可能である*
• ${\displaystyle \eta}$十分に小さい（ただし、小さいということは、一般的に学習時間が長くなり、エポック数が増えることを意味します）${\displaystyle \eta}$

*また、この学習規則を持つ単層パーセプトロンは線形に分離できない入力には対応できないため、この規則だけではXOR問題を解くことができないことにも注意する必要がある^[6]

1970年にSeppo Linnainmaaがバックプロパゲーションアルゴリズム^[7]を開発したと言われていますが、このアルゴリズムの起源は多くの貢献者によって1960年代にまで遡ります。これは線形パーセプトロンの最小二乗アルゴリズムとデルタ学習規則を一般化したものです。

これは、ネットワークの重みが可能な空間全体にわたって勾配降下法による検索を実装し、ターゲット値とネットワーク出力の間の誤差を反復的に削減します。

パーセプトロン学習ルールに似ていますが、起源が異なります。ADALINE ネットワークで使用するために開発されましたが、 ADALINEネットワークは主にトレーニングの点でパーセプトロンと異なります。重みは入力 (ネット) の加重合計に応じて調整されますが、パーセプトロンではしきい値が 0、-1、または +1 に設定されるため、加重合計の符号が出力を決定するのに役立ちました。この点で、ADALINE は通常のパーセプトロンとは異なります。

デルタルール (DR) はパーセプトロン学習ルール (PLR) に似ていますが、いくつかの違いがあります。

1. DRの誤差（δ）は、PLRのように0、1、-1の値に限定されず、任意の値を取ることができる。
2. DRは任意の微分可能な出力/活性化関数fに対して導出できるが、PLRでは閾値出力関数に対してのみ機能する。

Widrow-Hoff がバイナリ ターゲットに特に適用される場合にのみ、デルタ規則と呼ばれることもありますが、これらの用語は多くの場合同じ意味で使用されているようです。デルタ規則は、バックプロパゲーション アルゴリズムの特殊なケースであると見なされます。

デルタルールは、パブロフの条件付けが起こるレスコラ・ワグナーモデルにも非常によく似ています。 ^[8]

競合学習はヘブ学習の変形と考えられていますが、別々に議論する必要があるほど特殊です。競合学習は、ネットワーク内の各ノードの特化を高めることによって機能します。データ内のクラスターを見つけるのに適しています。

競合学習の原理に基づくモデルとアルゴリズムには、ベクトル量子化と自己組織化マップ(コホーネン マップ) が含まれます。

• 機械学習
• 決定木学習
• パターン認識
• バイアスと分散のジレンマ
• 推定値のバイアス
• 期待値最大化アルゴリズム