逆伝播

機械学習において、バックプロパゲーションは、パラメータの更新を計算する際にニューラルネットワークを訓練するために一般的に使用される勾配計算手法である。

これは、連鎖律をニューラルネットワークに効率的に適用したものです。バックプロパゲーションは、単一の入出力例に対して、ネットワークの重みに関する損失の勾配を効率的に計算します。これは、出力層から入力層へと、導関数を一度に1層ずつ逆方向に伝播させることで実現され、冗長な連鎖律の計算を回避します。

厳密に言えば、バックプロパゲーションという用語は、勾配を効率的に計算するためのアルゴリズムのみを指し、勾配の使用方法を指すものではありませんが、この用語は学習アルゴリズム全体を指すために広く使われることがよくあります。これには、確率的勾配降下法のように勾配の負の方向にモデルパラメータを変更することや、適応モーメント推定などのより複雑な最適化手法の中間ステップとしてモデルパラメータを変更することが含まれます。^{[ 1 ]}

バックプロパゲーションは複数の発見と部分的な発見があり、その歴史と用語は複雑に絡み合っている（§ 歴史を参照）。この手法の他の名称としては、「自動微分逆モード」や「逆蓄積」などがある。^{[ 2 ]}

バックプロパゲーションは、損失関数に関して、フィードフォワードニューラルネットワークの重み空間における勾配を計算します。以下を表記します。

• ${\displaystyle x}$入力（特徴量のベクトル）
• ${\displaystyle y}$: 目標出力

  分類の場合、出力はクラス確率のベクトルになります（例：${\displaystyle (0.1,0.7,0.2)}$、ターゲット出力は、ワンホット/ダミー変数によってエンコードされた特定のクラスです（例：${\displaystyle (0,1,0)}$)

• ${\displaystyle C}$損失関数または「コスト関数」^{[ a ]}

  分類の場合、これは通常、交差エントロピー（XC、対数損失）であり、回帰の場合は通常、二乗誤差損失（SEL）である。

• ${\displaystyle L}$: 層の数
• ${\displaystyle W^{l}=(w_{jk}^{l})}$層間の重み${\displaystyle l-1}$そして${\displaystyle l}$、 どこ${\displaystyle w_{jk}^{l}}$重量は${\displaystyle k}$レイヤー内の 番目のノード${\displaystyle l-1}$そして${\displaystyle j}$レイヤー内の 番目のノード${\displaystyle l}$^{[ b ]}
• ${\displaystyle f^{l}}$:レイヤーでの活性化関数${\displaystyle l}$

  分類の場合、最後の層は通常、二値分類の場合はロジスティック関数、多クラス分類の場合はソフトマックス（ソフトアークマックス）ですが、隠れ層については、従来は各ノード（座標）にシグモイド関数（ロジスティック関数など）が使用されていましたが、今日ではより多様化しており、整流関数（ランプ、ReLU）が一般的です。

• ${\displaystyle a_{j}^{l}}$: の活性化${\displaystyle j}$レイヤー内の 番目のノード${\displaystyle l}$。

バックプロパゲーションの導出では、必要に応じて以下で他の中間量を導入して使用します。バイアス項は、入力が 1 に固定された重みに対応するため、特別に扱われません。バックプロパゲーションでは、損失関数と活性化関数とその導関数を効率的に評価できる限り、具体的な損失関数と活性化関数は重要ではありません。従来の活性化関数には、シグモイド、tanh、ReLU、Swish、^{[ 3 ]} Mish、^{[ 4 ]}など多数あります。

全体のネットワークは、関数合成と行列乗算の組み合わせで構成されています。

${\displaystyle g(x):=f^{L}(W^{L}f^{L-1}(W^{L-1}\cdots f^{1}(W^{1}x)\cdots ))}$

トレーニングセットには、入力と出力のペアのセットがあります。${\displaystyle \left\{(x_{i},y_{i})\right\}}$各入出力ペアについて${\displaystyle (x_{i},y_{i})}$トレーニングセットでは、そのペアにおけるモデルの損失は、予測出力の差のコストです。${\displaystyle g(x_{i})}$そして目標出力$\displaystyle y_{i}}$:

${\displaystyle C(y_{i},g(x_{i}))}$

違いに注意してください。モデル評価中は、入力が変化する一方で重みは固定されており（目標出力は不明な場合もあります）、ネットワークは出力層で終了します（損失関数は含まれません）。一方、モデル学習中は、入力と出力のペアは固定されており、重みが変化する一方で、ネットワークは損失関数で終了します。

バックプロパゲーションは、固定された入力と出力のペアに対して勾配を計算します。${\displaystyle (x_{i},y_{i})}$重みは${\displaystyle w_{jk}^{l}}$変化する可能性があります。勾配の各個々のコンポーネントは、${\displaystyle \partial C/\partial w_{jk}^{l},}$は連鎖律によって計算できますが、各重みに対して個別に計算するのは非効率的です。バックプロパゲーションは、重複計算を避け、不要な中間値を計算しないことで、各層の勾配、具体的には各層の重み付き入力の勾配を計算することによって、勾配を効率的に計算します。$\displaystyle \delta ^{l}}$―後ろから前へ。

非公式には、重要な点は、$\displaystyle W^{l}}$損失に影響を与えるのは、次の層への影響を通してであり、それは線形的に行われる。$\displaystyle \delta ^{l}}$は、レイヤーの重みの勾配を計算するために必要な唯一のデータです。${\displaystyle l}$そして、前の層の重みの勾配は次のように計算できます。$\displaystyle \delta ^{l-1}}$そして再帰的に繰り返されます。これは2つの方法で非効率性を回避します。まず、レイヤーの勾配を計算する際に重複を回避します。${\displaystyle l}$後続の層で全ての導関数を再計算する必要はありません${\displaystyle l+1,l+2,\ldots }$毎回。第二に、各段階で最終的な出力（損失）に対する重みの勾配を直接計算するため、不必要な中間計算を回避できます。これは、重みの変化に対する隠れ層の値の導関数を不必要に計算する必要がないためです。${\displaystyle \partial a_{j'}^{l'}/\partial w_{jk}^{l}}$。

バックプロパゲーションは、単純なフィードフォワードネットワークの場合、行列乗算の観点から表現することができ、より一般的には随伴グラフの観点から表現することができる。

フィードフォワードネットワークの基本ケースでは、各層のノードは（どの層もスキップせずに）すぐ次の層のノードにのみ接続され、最終出力のスカラー損失を計算する損失関数が存在するため、バックプロパゲーションは行列乗算によって簡単に理解できます。^{[ c ]}本質的に、バックプロパゲーションは、コスト関数の導関数の式を、右から左へ（「逆方向」に）各層間の導関数の積として評価し、各層間の重みの勾配は部分積の単純な修正（「逆伝播誤差」）となります。

入力と出力のペアが与えられた場合${\displaystyle (x,y)}$損失額は以下のとおりです。

${\displaystyle C(y,f^{L}(W^{L}f^{L-1}(W^{L-1}\cdots f^{2}(W^{2}f^{1}(W^{1}x))\cdots )))}$

これを計算するには、まず入力から始めます。${\displaystyle x}$そして順方向に進み、各隠れ層の重み付き入力を次のように表す。${\displaystyle z^{l}}$そして隠れ層の出力${\displaystyle l}$アクティベーションとして${\displaystyle a^{l}}$逆伝播の場合、活性化${\displaystyle a^{l}}$派生商品も同様${\displaystyle (f^{l})'}$（評価値）${\displaystyle z^{l}}$）は、後方パス中に使用するためにキャッシュする必要があります。

入力に関する損失の導関数は連鎖律によって与えられます。各項は、入力に対するネットワークの値（各ノード）で評価された全導関数であることに注意してください。${\displaystyle x}$:

${\displaystyle {\frac {dC}{da^{L}}}\cdot {\frac {da^{L}}{dz^{L}}}\cdot {\frac {dz^{L}}{da^{L-1}}}\cdot {\frac {da^{L-1}}{dz^{L-1}}}\cdot {\frac {dz^{L-1}}{da^{L-2}}}\cdot \ldots \cdot {\frac {da^{1}}{dz^{1}}}\cdot {\frac {\partial z^{1}}{\partial x}},}$

どこ${\displaystyle {\frac {da^{L}}{dz^{L}}}}$は対角行列です。

これらの用語は、損失関数の導関数、^{[ d ]}活性化関数の導関数、^{[ e ]}および重み行列、^{[ f ]です。}

${\displaystyle {\frac {dC}{da^{L}}}\circ (f^{L})'\cdot W^{L}\circ (f^{L-1})'\cdot W^{L-1}\circ \cdots \circ (f^{1})'\cdot W^{1}.}$

勾配${\displaystyle \nabla }$これは、入力に関する出力の導関数の転置行列であるため、行列は転置され、乗算の順序は逆になりますが、要素は同じです。

${\displaystyle \nabla _{x}C=(W^{1})^{T}\cdot (f^{1})'\circ \ldots \circ (W^{L-1})^{T}\cdot (f^{L-1})'\circ (W^{L})^{T}\cdot (f^{L})'\circ \nabla _{a^{L}}C.}$

バックプロパゲーションは基本的に、この式を右から左へ評価し（あるいは、導関数の前の式を左から右へ乗算し）、その過程で各層の勾配を計算することから成ります。ただし、重みの勾配は単なる部分式ではないため、追加のステップとして乗算が行われます。

補助量を導入する${\displaystyle \delta ^{l}}$部分積（右から左への乗算）については、「レベルでのエラー」と解釈される。${\displaystyle l}$「そして、レベルにおける入力値の勾配として定義される」${\displaystyle l}$:

${\displaystyle \delta ^{l}:=(f^{l})'\circ (W^{l+1})^{T}\cdot (f^{l+1})'\circ \cdots \circ (W^{L-1})^{T}\cdot (f^{L-1})'\circ (W^{L})^{T}\cdot (f^{L})'\circ \nabla _{a^{L}}C.}$

ご了承ください${\displaystyle \delta ^{l}}$は、レベル内のノード数に等しい長さのベクトルです。${\displaystyle l}$各コンポーネントは、「そのノード（の価値）に起因するコスト」として解釈されます。

レイヤーの重みの勾配${\displaystyle l}$つまり、次のようになります。

${\displaystyle \nabla _{W^{l}}C=\delta ^{l}(a^{l-1})^{T}.}$

要因${\displaystyle a^{l-1}}$重みが${\displaystyle W^{l}}$レベル間${\displaystyle l-1}$そして${\displaystyle l}$影響レベル${\displaystyle l}$入力（活性化）に比例する：入力は固定され、重みが変化する。

の${\displaystyle \delta ^{l}}$右から左へ順に再帰的に計算すると、次のようになります。

${\displaystyle \delta ^{l-1}:=(f^{l-1})'\circ (W^{l})^{T}\cdot \delta ^{l}.}$

したがって、各レベルにおける重みの勾配は、数回の行列乗算によって計算できる。これがバックプロパゲーションである。

素朴にフォワードを計算する場合と比較して（${\displaystyle \delta ^{l}}$（例）

${\displaystyle {\begin{aligned}\delta ^{1}&=(f^{1})'\circ (W^{2})^{T}\cdot (f^{2})'\circ \cdots \circ (W^{L-1})^{T}\cdot (f^{L-1})'\circ (W^{L})^{T}\cdot (f^{L})'\circ \nabla _{a^{L}}C\\\delta ^{2}&=(f^{2})'\circ \cdots \circ (W^{L-1})^{T}\cdot (f^{L-1})'\circ (W^{L})^{T}\cdot (f^{L})'\circ \nabla _{a^{L}}C\\&\vdots \\\delta ^{L-1}&=(f^{L-1})'\circ (W^{L})^{T}\cdot (f^{L})'\circ \nabla _{a^{L}}C\\\delta ^{L}&=(f^{L})'\circ \nabla _{a^{L}}C,\end{aligned}}}$

バックプロパゲーションには、2つの重要な違いがあります。

1. コンピューティング${\displaystyle \delta ^{l-1}}$に関しては${\displaystyle \delta ^{l}}$レイヤーの重複を回避します${\displaystyle l}$そしてその先へ。
2. から乗算する${\displaystyle \nabla _{a^{L}}C}$– エラーを逆方向に伝播する– とは、各ステップで単にベクトルを乗算することを意味します (${\displaystyle \delta ^{l}}$重み行列によって${\displaystyle (W^{l})^{T}}$および活性化の導関数${\displaystyle (f^{l-1})'}$対照的に、前の層での変化から始めて前方に乗算していくということは、各乗算で行列同士を乗算することを意味します。これははるかにコストがかかり、1つの層での変化のすべての可能な経路を追跡することに相当します。${\displaystyle l}$レイヤーの変更を転送します${\displaystyle l+2}$（乗算の場合）${\displaystyle W^{l+1}}$による${\displaystyle W^{l+2}}$（活性化関数の導関数に対する追加の乗算を含む）は、重みの変化が隠れノードの値にどのように影響するかの中間量を不必要に計算します。

より一般的なグラフやその他の高度なバリエーションについては、バックプロパゲーションは自動微分の観点から理解することができ、バックプロパゲーションは逆累積（または「逆モード」）の特殊なケースである。 ^{[ 2 ]}

勾配降下法では、損失関数をネットワークの重みに関して微分します。これは通常、バックプロパゲーションを使用して行われます。出力ニューロンが1つであると仮定すると、^{[ h ]}二乗誤差関数は次のようになります。

${\displaystyle E=L(t,y)}$

どこ

${\displaystyle L}$出力の損失は${\displaystyle y}$目標値${\displaystyle t}$、

${\displaystyle t}$はトレーニングサンプルの目標出力であり、

${\displaystyle y}$これは出力ニューロンの実際の出力です。

このセクションでは、重み指標の順序が前のセクションとは逆になっています。${\displaystyle w_{ij}}$重量は${\displaystyle i}$th から ${\displaystyle j}$番目のユニット。^{[ i ]}各ニューロンについて${\displaystyle j}$その出力${\displaystyle o_{j}}$は次のように定義される。

${\displaystyle o_{j}=\varphi ({\text{net}}_{j})=\varphi \left(\sum _{k=1}^{n}w_{kj}x_{k}\right),}$

活性化関数${\displaystyle \varphi }$非線形であり、活性化領域全体で微分可能である（ReLUは一点で微分不可能である）。歴史的に使用されてきた活性化関数はロジスティック関数である。

${\displaystyle \varphi (z)={\frac {1}{1+e^{-z}}}}$

これは、以下の便利な派生形を持つ。

${\displaystyle {\frac {d\varphi }{dz}}=\varphi (z)(1-\varphi (z))}$

入力${\displaystyle {\text{net}}_{j}}$ニューロンへの出力は、出力の重み付き合計である。${\displaystyle o_{k}}$以前のニューロンの。ニューロンが入力層の次の最初の層にある場合、${\displaystyle o_{k}}$入力層の入力は、単に${\displaystyle x_{k}}$ネットワークへ。ニューロンへの入力ユニット数は${\displaystyle n}$変数${\displaystyle w_{kj}}$ニューロン間の重みを表す${\displaystyle k}$前の層とニューロン${\displaystyle j}$現在のレイヤーの。

誤差の導関数を求める

誤差の重みに関する偏微分を計算する${\displaystyle w_{ij}}$連鎖律を2回使用して行います。

上記の右辺の最後の因子では、和の項は1つだけです。${\displaystyle {\text{net}}_{j}}$に依存する${\displaystyle w_{ij}}$、 となることによって

ニューロンが入力層の次の最初の層にある場合、${\displaystyle o_{i}}$はただ${\displaystyle x_{i}}$。

ニューロンの出力の微分${\displaystyle j}$入力に対するその値は、活性化関数の偏微分に等しい。

これはロジスティック活性化関数に適用される。

${\displaystyle {\frac {\partial o_{j}}{\partial {\text{net}}_{j}}}={\frac {\partial }{\partial {\text{net}}_{j}}}\varphi ({\text{net}}_{j})=\varphi ({\text{net}}_{j})(1-\varphi ({\text{net}}_{j}))=o_{j}(1-o_{j})}$

これが、バックプロパゲーションにおいて活性化関数が微分可能である必要がある理由です。（ただし、0で微分不可能なReLU活性化関数は、例えばAlexNetなどで非常に人気があります。）

ニューロンが出力層にある場合、最初の要因は簡単に評価できます。${\displaystyle o_{j}=y}$そして

二乗誤差の半分を損失関数として使用する場合、次のように書き換えることができます。

${\displaystyle {\frac {\partial E}{\partial o_{j}}}={\frac {\partial E}{\partial y}}={\frac {\partial }{\partial y}}{\frac {1}{2}}(t-y)^{2}=y-t}$

しかし、もし${\displaystyle j}$ネットワークの任意の内部層にあり、導関数を見つける${\displaystyle E}$に関して${\displaystyle o_{j}}$あまり明白ではない。

考慮する${\displaystyle E}$入力がすべてのニューロンである関数として${\displaystyle L=\{u,v,\dots ,w\}}$ニューロンからの入力を受け取る${\displaystyle j}$、

${\displaystyle {\frac {\partial E(o_{j})}{\partial o_{j}}}={\frac {\partial E(\mathrm {net} _{u},{\text{net}}_{v},\dots ,\mathrm {net} _{w})}{\partial o_{j}}}}$

そして、に関して全微分をとる${\displaystyle o_{j}}$導関数の再帰式が得られる。

したがって、${\displaystyle o_{j}}$出力に関するすべての導関数が計算可能であれば、${\displaystyle o_{\ell }}$次の層（出力ニューロンに近い層）のニューロンが既知である。[注：セット内のいずれかのニューロンが既知である場合、${\displaystyle L}$ニューロンに接続されていませんでした${\displaystyle j}$それらは独立しているだろう${\displaystyle w_{ij}}$そして、総和における対応する偏微分はゼロになり、0になる。]

式2、式3、式4、式5を式1に代入すると、次の式が得られる。

${\displaystyle {\frac {\partial E}{\partial w_{ij}}}={\frac {\partial E}{\partial o_{j}}}{\frac {\partial o_{j}}{\partial {\text{net}}_{j}}}{\frac {\partial {\text{net}}_{j}}{\partial w_{ij}}}={\frac {\partial E}{\partial o_{j}}}{\frac {\partial o_{j}}{\partial {\text{net}}_{j}}}o_{i}}$

${\displaystyle {\frac {\partial E}{\partial w_{ij}}}=o_{i}\delta _{j}}$

と

${\displaystyle \delta _{j}={\frac {\partial E}{\partial o_{j}}}{\frac {\partial o_{j}}{\partial {\text{net}}_{j}}}={\begin{cases}{\frac {\partial L(t,o_{j})}{\partial o_{j}}}{\frac {d\varphi ({\text{net}}_{j})}{d{\text{net}}_{j}}}&{\text{if }}j{\text{ is an output neuron,}}\\(\sum _{\ell \in L}w_{j\ell }\delta _{\ell }){\frac {d\varphi ({\text{net}}_{j})}{d{\text{net}}_{j}}}&{\text{if }}j{\text{ is an inner neuron.}}\end{cases}}}$

もし${\displaystyle \varphi }$はロジスティック関数であり、誤差は二乗誤差である。

${\displaystyle \delta _{j}={\frac {\partial E}{\partial o_{j}}}{\frac {\partial o_{j}}{\partial {\text{net}}_{j}}}={\begin{cases}(o_{j}-t_{j})o_{j}(1-o_{j})&{\text{if }}j{\text{ is an output neuron,}}\\(\sum _{\ell \in L}w_{j\ell }\delta _{\ell })o_{j}(1-o_{j})&{\text{if }}j{\text{ is an inner neuron.}}\end{cases}}}$

重量を更新する${\displaystyle w_{ij}}$勾配降下法を使用する場合、学習率を選択する必要があります。${\displaystyle \eta >0}$体重の変化は、${\displaystyle E}$増加または減少${\displaystyle w_{ij}}$。 もし${\displaystyle {\frac {\partial E}{\partial w_{ij}}}>0}$増加${\displaystyle w_{ij}}$増加${\displaystyle E}$逆に、${\displaystyle {\frac {\partial E}{\partial w_{ij}}}<0}$増加${\displaystyle w_{ij}}$減少する${\displaystyle E}$新しい${\displaystyle \Delta w_{ij}}$古い重みに加算され、学習率と勾配の積に${\displaystyle -1}$保証する${\displaystyle w_{ij}}$常に減少する形で変化する${\displaystyle E}$つまり、すぐ下の式では、${\displaystyle -\eta {\frac {\partial E}{\partial w_{ij}}}}$常に変化する${\displaystyle w_{ij}}$そのような方法で${\displaystyle E}$減少する:

${\displaystyle \Delta w_{ij}=-\eta {\frac {\partial E}{\partial w_{ij}}}=-\eta o_{i}\delta _{j}}$

誤差関数の2階微分からなるヘッセ行列を用いるレーベンバーグ・マルカート法は、特に誤差関数のトポロジーが複雑な場合、1階勾配降下法よりも速く収束することが多い。^{[ 6 ] [ 7 ]}また、他の方法では収束しないような、より少ないノード数でも解を見つけることができる。^{[ 7 ]}ヘッセ行列はフィッシャー情報行列で近似できる。^{[ 8 ]}

例として、単純なフィードフォワードネットワークを考えてみましょう。${\displaystyle l}$第 1 層では、$${\displaystyle x_{i}^{(l)},\quad a_{i}^{(l)}=f(x_{i}^{(l)}),\quad x_{i}^{(l+1)}=\sum _{j}W_{ij}a_{j}^{(l)}}$$どこ${\displaystyle x}$事前アクティベーションは、${\displaystyle a}$アクティベーションと${\displaystyle W}$は重み行列です。損失関数が与えられた場合${\displaystyle L}$一次逆伝播は次のように述べている。$${\displaystyle {\frac {\partial L}{\partial a_{j}^{(l)}}}=\sum _{j}W_{ij}{\frac {\partial L}{\partial x_{i}^{(l+1)}}},\quad {\frac {\partial L}{\partial x_{j}^{(l)}}}=f'(x_{j}^{(l)}){\frac {\partial L}{\partial a_{j}^{(l)}}}}$$そして、2次逆伝播は次のように述べている。$${\displaystyle {\frac {\partial ^{2}L}{\partial a_{j_{1}}^{(l)}\partial a_{j_{2}}^{(l)}}}=\sum _{j_{1}j_{2}}W_{i_{1}j_{1}}W_{i_{2}j_{2}}{\frac {\partial ^{2}L}{\partial x_{i_{1}}^{(l+1)}\partial x_{i_{2}}^{(l+1)}}},\quad {\frac {\partial ^{2}L}{\partial x_{j_{1}}^{(l)}\partial x_{j_{2}}^{(l)}}}=f'(x_{j_{1}}^{(l)})f'(x_{j_{2}}^{(l)}){\frac {\partial ^{2}L}{\partial a_{j_{1}}^{(l)}\partial a_{j_{2}}^{(l)}}}+\delta _{j_{1}j_{2}}f''(x_{j_{1}}^{(l)}){\frac {\partial L}{\partial a_{j_{1}}^{(l)}}}}$$どこ${\displaystyle \delta }$はディラックのデルタ記号です。

任意の計算グラフにおける任意の次数導関数はバックプロパゲーションを用いて計算できるが、高次の導関数についてはより複雑な式が必要となる。

損失関数とは、1つまたは複数の変数の値を、それらの値に関連付けられた何らかの「コスト」を直感的に表す実数にマッピングする関数です。バックプロパゲーションの場合、損失関数は、訓練データがネットワークを伝播した後、ネットワークの出力と期待される出力との差を計算します。

• バックプロパゲーションを用いた勾配降下法は、誤差関数のグローバル最小値を見つけることを保証するものではなく、ローカル最小値しか見つけられない。また、誤差関数のランドスケープにおけるプラトーを越えるのが難しい。この問題は、ニューラルネットワークにおける誤差関数の非凸性によって引き起こされ、長い間大きな欠点と考えられてきたが、Yann LeCunらは、多くの実際的な問題ではそうではないと主張している。^{[ 10 ]}
• バックプロパゲーション学習では入力ベクトルの正規化は必須ではありませんが、正規化によってパフォーマンスが向上する可能性があります。^{[ 11 ]}
• バックプロパゲーションでは、ネットワーク設計時に活性化関数の導関数が既知である必要がある。

• 人工ニューラルネットワーク
• 神経回路
• 壊滅的な干渉
• アンサンブル学習
• アダブースト
• 過学習
• ニューラルバックプロパゲーション
• 時間軸を通じた逆伝播
• 構造を通じた逆伝播
• 3つの要素の学習

• Goodfellow, Ian ; Bengio, Yoshua ; Courville, Aaron (2016). "6.5 バックプロパゲーションとその他の微分アルゴリズム" .ディープラーニング. MIT Press. pp. 200–220 . ISBN  978-0-262-03561-3。
• Nielsen, Michael A. (2015). 「バックプロパゲーションアルゴリズムの仕組み」 .ニューラルネットワークとディープラーニング. Determination Press.
• McCaffrey, James (2012年10月). 「プログラマのためのニューラルネットワークバックプロパゲーション」 . MSDN Magazine .
• Rojas, Raúl (1996). 「バックプロパゲーションアルゴリズム」(PDF) .ニューラルネットワーク：体系的入門. ベルリン：Springer. ISBN 3-540-60505-3。

• ウィキバーシティのバックプロパゲーションニューラルネットワークチュートリアル
• ベルナッキ、マリウス。ヴウォダルチク、プシェミスワフ (2004)。「バックプロパゲーションを使用した多層ニューラル ネットワークのトレーニングの原理」。
• Karpathy, Andrej (2016). "講義4：バックプロパゲーション、ニューラルネットワーク1" . CS231n . スタンフォード大学。2021年12月12日にオリジナルからアーカイブ済み– YouTube経由。
• 「バックプロパゲーションは実際には何をしているのか？」 . 3Blue1Brown . 2017年11月3日。2021年12月12日にオリジナルからアーカイブ済み– YouTube経由。
• Putta, Sudeep Raja (2022). 「行列形式でのバックプロパゲーションの別の導出」。