ニューラルネットワークの幅の制限が大きい

人工ニューラルネットワークは、機械学習で使用されるモデルの一種で、生物学的ニューラルネットワークに着想を得ています。これらは、現代の深層学習アルゴリズムの中核を成す要素です。人工ニューラルネットワークにおける計算は、通常、人工ニューロンの連続した層に組織化されます。1つの層に含まれるニューロンの数は、層幅と呼ばれます。人工ニューラルネットワークの理論的解析では、層幅が大きくなるか無限大になる極限ケースを考慮することがあります。この極限により、ニューラルネットワークの予測、学習ダイナミクス、汎化、損失曲面について、単純な解析的記述が可能になります。この広い層幅の極限は、有限幅のニューラルネットワークは層幅が大きくなるにつれて厳密に性能が向上することが多いため、実用的にも興味深いものです。^{[ 1 ] [ 2 ] [ 3 ] [ 4 ] [ 5 ] [ 6 ]}

• ニューラルネットワークガウス過程（NNGP）は、ベイズニューラルネットワークの無限幅極限、およびランダム初期化後の非ベイズニューラルネットワークによって実現される関数の分布に対応します。^{[ 7 ] [ 8 ] [ 9 ] [ 10 ]}
• NNGPカーネルを導出するために使用されるのと同じ基礎的な計算は、ディープ情報伝播においても、ディープネットワークを介した勾配と入力に関する情報の伝播を特徴付けるために使用されます。^{[ 11 ]} この特徴付けは、モデルの学習可能性がアーキテクチャと初期化ハイパーパラメータにどのように依存するかを予測するために使用されます。
• ニューラルタンジェントカーネルは、勾配降下法トレーニング中のニューラルネットワーク予測の進化を記述します。無限幅の極限では、NTKは通常一定になり、勾配降下法トレーニング全体を通して、広いニューラルネットワークによって計算される関数の閉形式表現を可能にすることがよくあります。^{[ 12 ]}トレーニングダイナミクスは本質的に線形化されます。^{[ 13 ]}
• 平均場極限解析を重みスケーリングのニューラルネットワークに適用すると、${\displaystyle \sim 1/h}$の代わりに${\displaystyle \sim 1/{\sqrt {h}}}$十分な学習率があれば、固定ニューラル接線カーネルで記述される静的な線形挙動とは質的に異なる非線形トレーニングダイナミクスを予測し、無限幅ネットワークを理解するための代替経路を示唆する。^{[ 14 ] [ 15 ]}
• カタパルトダイナミクスは、層幅を無限大に取るとロジットが無限大に発散する場合のニューラルネットワークのトレーニングダイナミクスを記述し、初期トレーニングダイナミクスの定性的な特性を記述します。^{[ 16 ]}