デルタルール

機械学習において、デルタルールは、単層ニューラルネットワークの人工ニューロンへの入力の重みを更新するための勾配降下学習ルールである。^{[ 1 ]}これは、平均二乗誤差損失関数を持つ単層ニューラルネットワークのバックプロパゲーションアルゴリズムとして導出できる。

ニューロンにとって${\displaystyle j}$活性化機能付き${\displaystyle g(x)}$ニューロンのデルタ則${\displaystyle j}$の${\displaystyle i}$-th 重量${\displaystyle w_{ji}}$は

$${\displaystyle \Delta w_{ji}=\alpha (t_{j}-y_{j})g'(h_{j})x_{i},}$$

どこ

• ${\displaystyle \alpha }$は学習率と呼ばれる小さな定数です。
• ${\displaystyle g(x)}$ニューロンの活性化関数は
• ${\displaystyle g'}$は​​${\displaystyle g}$
• $tj$目標出力は
• ${\displaystyle h_{j}}$これはニューロンの入力の加重和です
• $\displaystyle y_j}}$実際の出力は
• ${\displaystyle x_{i}}$は${\displaystyle i}$- 番目の入力。

それは、${\textstyle h_{j}=\sum _{i}x_{i}w_{ji}}$そして${\displaystyle y_{j}=g(h_{j})}$。

デルタ則は、線形活性化関数を持つニューロンの場合、一般的に次のように簡略化された形で表されます。 $${\displaystyle \Delta w_{ji}=\alpha \left(t_{j}-y_{j}\right)x_{i}}$$

デルタルールはパーセプトロンの更新ルールと似ているが、導出方法は異なる。パーセプトロンは活性化関数としてヘヴィサイド階段関数を使用する。${\displaystyle g(h)}$つまり、${\displaystyle g'(h)}$はゼロでは存在せず、それ以外の場所ではゼロに等しいため、デルタ法則を直接適用することは不可能です。

デルタルールは、勾配降下法を用いてニューラルネットワークの出力の誤差を最小化しようとすることで導出されます。ニューラルネットワークの誤差は、${\displaystyle j}$出力は次のように測定できます $${\displaystyle E=\sum _{j}{\tfrac {1}{2}}\left(t_{j}-y_{j}\right)^{2}.}$$

この場合、ニューロンの「重み空間」（ニューロンのすべての重みのすべての可能な値の空間）を、各重みに関する誤差関数の勾配に比例して移動したい。そのためには、各重みに関する誤差の偏微分を計算する。${\displaystyle i}$重みの場合、この導関数は次のように書くことができます。 $${\displaystyle {\frac {\partial E}{\partial w_{ji}}}.}$$

私たちは${\displaystyle j}$n 番目のニューロンの場合、上記の誤差式を総和を省略して代入することができます。 $${\displaystyle {\frac {\partial E}{\partial w_{ji}}}={\frac {\partial }{\partial w_{ji}}}\left[{\frac {1}{2}}\left(t_{j}-y_{j}\right)^{2}\right]}$$

次に、連鎖律を用いてこれを2つの導関数に分解します。 $${\displaystyle {\frac {\partial E}{\partial w_{ji}}}={\frac {\partial \left({\frac {1}{2}}\left(t_{j}-y_{j}\right)^{2}\right)}{\partial y_{j}}}{\frac {\partial y_{j}}{\partial w_{ji}}}}$$

左微分を求めるには、単純にべき乗則と連鎖律を適用すればよい。 $${\displaystyle {\frac {\partial E}{\partial w_{ji}}}=-\left(t_{j}-y_{j}\right){\frac {\partial y_{j}}{\partial w_{ji}}}}$$

適切な導関数を見つけるために、再び連鎖律を適用し、今回は総入力に関して微分します。${\displaystyle j}$、${\displaystyle h_{j}}$: $${\displaystyle {\frac {\partial E}{\partial w_{ji}}}=-\left(t_{j}-y_{j}\right){\frac {\partial y_{j}}{\partial h_{j}}}{\frac {\partial h_{j}}{\partial w_{ji}}}}$$

出力に注意してください${\displaystyle j}$thニューロン、$\displaystyle y_j}}$これはニューロンの活性化関数です${\displaystyle g}$ニューロンの入力に適用される${\displaystyle h_{j}}$したがって、の導関数は次のように書ける。$\displaystyle y_j}}$に関して${\displaystyle h_{j}}$単純に${\displaystyle g}$の1階微分： $${\displaystyle {\frac {\partial E}{\partial w_{ji}}}=-\left(t_{j}-y_{j}\right)g'(h_{j}){\frac {\partial h_{j}}{\partial w_{ji}}}}$$

次に書き直します${\displaystyle h_{j}}$最後の項では、すべての合計として${\displaystyle k}$各重量の重量${\displaystyle w_{jk}}$対応する入力の倍数${\displaystyle x_{k}}$: $${\displaystyle {\frac {\partial E}{\partial w_{ji}}}=-\left(t_{j}-y_{j}\right)g'(h_{j})\;{\frac {\partial }{\partial w_{ji}}}\!\!\left[\sum _{i}x_{i}w_{ji}\right]}$$

私たちは${\displaystyle i}$th 重みの場合、総和の中で関連する唯一の項は${\displaystyle x_{i}w_{ji}}$。 明らかに、 $${\displaystyle {\frac {\partial (x_{i}w_{ji})}{\partial w_{ji}}}=x_{i}.}$$ これにより、勾配の最終的な方程式が得られます。 $${\displaystyle {\frac {\partial E}{\partial w_{ji}}}=-\left(t_{j}-y_{j}\right)g'(h_{j})x_{i}}$$

前述のように、勾配降下法では、各重みの変化は勾配に比例する必要があることがわかります。比例定数の選択${\displaystyle \alpha }$そして、マイナス符号を消去して、重みを勾配の負の方向に移動させて誤差を最小限に抑えることで、目標とする方程式が得られます。 $${\displaystyle \Delta w_{ji}=\alpha (t_{j}-y_{j})g'(h_{j})x_{i}.}$$

• 確率的勾配降下法
• 逆伝播
• レスコーラ・ワグナーモデル― デルタ則の起源