希釈（ニューラルネットワーク）

希釈とドロップアウト（DropConnect ^[1]とも呼ばれる）は、トレーニングデータに対する複雑な共適応を防ぐことで人工ニューラルネットワークの過剰適合を減らすための正則化手法です。これらは、ニューラルネットワークでモデルの平均化を実行する効率的な方法です。^[2]希釈は重みを薄くすることを指し、^[3]ドロップアウトは、ニューラルネットワークのトレーニングプロセス中にユニット（非表示と表示の両方）をランダムに「ドロップアウト」または省略することを指します。^{[4] [5] [2]}どちらも同じタイプの正則化をトリガーします。

希釈は通常、弱い希釈と強い希釈に分けられます。弱い希釈は、削除される接続の有限の割合が小さいプロセスを表し、強い希釈はこの割合が大きい場合を指します。強い希釈と弱い希釈の限界がどこにあるかについては明確な区別はなく、多くの場合、その区別は特定のユースケースの前例に依存し、正確なソリューションを解決する方法に影響を及ぼします。

入力に減衰ノイズを追加するために、希釈が使用されることがあります。その場合、弱い希釈は少量の減衰ノイズを追加することを意味し、強い希釈は大量の減衰ノイズを追加することを意味します。どちらも重み希釈のバリエーションとして書き直すことができます。

これらの手法は、重みのランダム プルーニングとも呼ばれますが、これは通常、非反復的な一方向操作です。ネットワークはプルーニングされ、以前のモデルよりも改善されている場合は保持されます。希釈とドロップアウトはどちらも反復プロセスを指します。重みのプルーニングは通常、ネットワークが学習を続けることを意味するものではありませんが、希釈/ドロップアウトでは、手法が適用された後もネットワークは学習を続けます。

人工ニューラルネットワークの線形ノード層からの出力は次のように記述できる。

• ${\displaystyle y_{i}}$– ノードからの出力${\displaystyle i}$
• ${\displaystyle w_{ij}}$– 希釈前の実重量、ヘブ接続強度とも呼ばれる
• ${\displaystyle x_{j}}$– ノードからの入力${\displaystyle j}$

これはベクトル表記で次のように書ける。

• ${\displaystyle \mathbf {y} }$– 出力ベクトル
• ${\displaystyle \mathbf {W} }$– 重みマトリックス
• ${\displaystyle \mathbf {x} }$– 入力ベクトル

式(1)と式(2)は以降のセクションで使用されます。

弱い希釈では、削除された接続（重み）の有限の割合が小さく、わずかな不確実性が生じます。このエッジケースは平均場理論で正確に解決できます。弱い希釈では、重みへの影響は次のように記述できます。

• ${\displaystyle {\hat {w_{ij}}}}$– 希釈重量
• ${\displaystyle w_{ij}}$– 希釈前の実重量
• ${\displaystyle P(c)}$– の確率、重みを維持する確率${\displaystyle c}$

確率の解釈も、重みを保持することから重みを削減することへと変更することができます。 ${\displaystyle P(c)}$

ベクトル表記では次のように書ける。

ここで、関数は前回の希釈を強制します。 ${\displaystyle \operatorname {g} (\cdot )}$

弱い希釈では、重みのごく一部が希釈される。和の項の数が無限大（各ノードの重み）になったとしても、それは依然として無限大（割合は固定）であり、平均場理論を適用することができる。Hertzら^[3]の表記法では、これは次のように記述される 。

• ${\displaystyle \left\langle h_{i}\right\rangle }$平均場温度
• ${\displaystyle c}$– 重量を維持する確率からの温度のスケーリング係数
• ${\displaystyle w_{ij}}$– 希釈前の実重量、ヘブ接続強度とも呼ばれる
• ${\displaystyle \left\langle S_{j}\right\rangle }$– 平均安定平衡状態

これにはいくつかの仮定が成り立つが、ここでは列挙されていない。^{[6] [7]}

希釈度が強い場合、削除された接続の有限部分 (重み) が大きくなり、大きな不確実性が生じます。

ドロップアウトは、前述の重み方程式（ 3 ）の特別なケースであり、前述の方程式は、ベクトル行列の行全体を削除するように調整され、ランダムな重みだけでなく、

• ${\displaystyle P(c)}$–重み行列の行を保持する確率${\displaystyle c}$
• ${\displaystyle \mathbf {w} _{j}}$– ドロップアウト前の重み行列の実数行
• ${\displaystyle {\hat {\mathbf {w} _{j}}}}$– 重み行列の希釈行

ドロップアウトはベクトル行列から行全体を削除するため、弱い希釈と平均場理論の使用に関する以前の（リストされていない）仮定は適用できません。

重みをゼロに設定するか、「ノードを削除する」か、またはその他の手段によってノードをゼロにするプロセスは、最終結果に影響を与えず、新しい固有のケースを作成しません。ニューラル ネットが高性能デジタル アレイ乗算器によって処理される場合、プロセス グラフの後半で値をゼロにする方が効果的である可能性があります。ネットが制約付きプロセッサ (おそらくアナログ ニューロモルフィック プロセッサ) によって処理される場合、プロセス グラフの早い段階で値をゼロにする方が電力効率の高いソリューションである可能性があります。

ニューラルネットワークのニューロン間の接続をランダムに削除してモデルを改善する例はありますが、 ^{[3]この手法は2012年に}ジェフリー・ヒントンらによってドロップアウトという名前で初めて導入されました。 ^[2]現在、 Googleがドロップアウト手法の特許を保有しています。^{[8] [注 1]}

• アレックスネット
• 畳み込みニューラルネットワーク § ドロップアウト