ニューラルネットワーク ガウス過程

ニューラルネットワークガウス過程（NNGP）は、ある種のニューラルネットワークのシーケンスの極限として得られるガウス過程（GP）です。具体的には、多種多様なネットワークアーキテクチャが、分布の意味で、無限に広い極限でGPに収束します。^{[1] [2] [3] [4] [5] [6] [7] [8]} この概念は、内包的な定義を構成します。つまり、NNGPは単なるGPですが、取得方法によって区別されます。

ベイジアンネットワークは、イベントに確率を割り当て、それによってモデルの予測の不確実性を特徴付けるモデリングツールです。ディープラーニングと人工ニューラルネットワークは、トレーニング例から学習する計算モデルを構築するために機械学習で使用されるアプローチです。ベイジアンニューラルネットワークはこれらの分野を融合したものです。これは、パラメータと予測の両方が確率的であるニューラルネットワークの一種です。^{[9] [10]}標準的なニューラルネットワークは、誤った予測にも高い信頼度を割り当てることがよくありますが、^[11]ベイジアンニューラルネットワークは、予測が正しい可能性をより正確に評価できます。

人工ニューラルネットワークの計算は通常、人工ニューロンの連続層に編成されます。層内のニューロンの数は層幅と呼ばれます。層が広くなるベイジアンニューラルネットワークのシーケンスを考えるとき（図を参照）、それらはNNGPに分布して収束します。この大きな幅の制限は実用上興味深いもので、層が広くなるにつれてネットワークが改善されることが多いためです。^{[12] [4] [13]}また、このプロセスはネットワークを評価するための閉じた形式の方法を提供する可能性があります。

NNGPは他のいくつかの文脈でも登場します。NNGPは、パラメータのランダム初期化後、トレーニング前に、幅広い非ベイジアン人工ニューラルネットワークによって行われた予測の分布を記述します。NNGPは、ニューラル接線カーネル予測方程式の用語として登場します。NNGPは、ハイパーパラメータとアーキテクチャがトレーニング可能かどうかを特徴付けるために、深層情報伝播で使用されます。^[14] これは、ニューラルネットワークの他の大きな幅の制限に関連しています。

最初の対応結果は、ラドフォード・M・ニールの1995年の博士論文^[15]で確立され、当時はトロント大学のジェフリー・ヒントンが指導していました。ニールは、ベイズ学習に取り組んでいたデビッド・J・C・マッケイにインスピレーションを受けたと述べています。

現在、対応関係は以下について証明されています。単一の隠れ層を持つベイジアンニューラルネットワーク、^[15]層あたりのユニット数を無限大にした場合のディープ^{[2] [3]} 全結合ネットワーク、チャネル数を無限大にした場合の畳み込みニューラルネットワーク、 ^{[4] [5] [6]}アテンションヘッドの数を無限大にした場合のトランスフォーマーネットワーク、^[16] ユニット数を無限大にした場合の再帰型ネットワーク。 ^[8] 実際、この NNGP 対応関係はほぼすべてのアーキテクチャに当てはまります。一般に、アーキテクチャが行列乗算と座標非線形性 (つまり、テンソルプログラム) のみで表現できる場合、そのアーキテクチャには無限幅の GP があります。^[8] これには特に、多層パーセプトロン、再帰型ニューラルネットワーク ( LSTM、GRU など)、(nD またはグラフ)畳み込み、プーリング、スキップ接続、アテンション、バッチ正規化、および/またはレイヤー正規化で構成されるすべてのフィードフォワードまたは再帰型ニューラルネットワークが含まれます。

ニューラル ネットワークのパラメータの各設定は、ニューラル ネットワークによって計算される特定の関数に対応します。したがって、ニューラル ネットワーク パラメータの事前分布は、ネットワークによって計算される関数の事前分布に対応します。ニューラル ネットワークは無限に広くなるため、関数のこの分布は、多くのアーキテクチャでガウス過程に収束します。 ${\displaystyle \theta }$${\displaystyle p(\theta )}$

このセクションで使用される表記は、NNGP と完全接続ネットワーク間の対応を導き出すために以下で使用される表記と同じであり、詳細についてはそちらを参照してください。

右の図は、2 つの入力とに対するニューラル ネットワークの1 次元出力を互いに対してプロットしたものです。黒い点は、 からパラメータをランダムに抽出して、これらの入力に対してニューラル ネットワークによって計算された関数を示しています。赤い線は、によって誘導されたネットワーク出力との結合分布の等確率等高線です。これは、パラメータ空間の分布に対応する関数空間の分布であり、黒い点はこの分布からのサンプルです。無限に広いニューラル ネットワークの場合、ニューラル ネットワークによって計算された関数の分布はガウス過程であるため、ネットワーク出力の結合分布は、ネットワーク入力の有限集合に対して多変量ガウス分布になります。 ${\displaystyle z^{L}(\cdot ;\theta )}$${\displaystyle x}$${\displaystyle x^{*}}$${\displaystyle p(\theta )}$${\displaystyle z^{L}(x;\theta )}$${\displaystyle z^{L}(x^{*};\theta )}$${\displaystyle p(\theta )}$${\displaystyle p(\theta )}$

このセクションでは、完全に接続されたアーキテクチャの特定のケースについて、無限に広いニューラルネットワークとガウス過程との対応関係を詳しく説明します。この対応関係が成り立つ理由を概説する証明スケッチを提供し、完全に接続されたネットワークのNNGPの特定の機能形式を紹介します。証明スケッチは、Novakと共著者のアプローチに密接に従っています。^[4]

入力 、ネットワーク内の各層の重みとバイアス、事前アクティベーション（事前非線形性）、アクティベーション（事後非線形性）、点ごとの非線形性、および層の幅 からなるパラメータを持つ完全に接続された人工ニューラル ネットワークを考えます。簡単にするために、読み出しベクトルの幅は 1 とします。このネットワークのパラメータには事前分布 があり、これは各重みとバイアスの等方性ガウス分布で構成され、重みの分散は層の幅に反比例します。このネットワークは右の図に示されており、次の一連の方程式で説明されます。 ${\displaystyle x}$${\displaystyle \theta }$${\displaystyle W^{l}}$${\displaystyle b^{l}}$${\displaystyle l}$${\displaystyle z^{l}}$${\displaystyle y^{l}}$${\displaystyle \phi (\cdot )}$${\displaystyle n^{l}}$${\displaystyle n^{L+1}}$${\displaystyle z^{L}}$${\displaystyle p(\theta )}$

${\displaystyle {\begin{aligned}x&\equiv {\text{input}}\\y^{l}(x)&=\left\{{\begin{array}{lcl}x&&l=0\\\phi \left(z^{l-1}(x)\right)&&l>0\end{array}}\right.\\z_{i}^{l}(x)&=\sum _{j}W_{ij}^{l}y_{j}^{l}(x)+b_{i}^{l}\\W_{ij}^{l}&\sim {\mathcal {N}}\left(0,{\frac {\sigma _{w}^{2}}{n^{l}}}\right)\\b_{i}^{l}&\sim {\mathcal {N}}\left(0,\sigma _{b}^{2}\right)\\\phi (\cdot )&\equiv {\text{nonlinearity}}\\y^{l}(x),z^{l-1}(x)&\in \mathbb {R} ^{n^{l}\times 1}\\n^{L+1}&=1\\\theta &=\left\{W^{0},b^{0},\dots ,W^{L},b^{L}\right\}\end{aligned}}}$

まず、事前活性化は、先行する活性化 を条件とするガウス過程によって記述されることに着目します。この結果は、有限幅でも当てはまります。各事前活性化は、重みとバイアスに対応するガウスランダム変数の加重和です。ここで、これらのガウス変数の係数は、先行する活性化 です。これらはゼロ平均ガウスの加重和であるため、自体もゼロ平均ガウスです (係数 を条件とします)。は、任意の のセットに対して共同ガウスであるため、先行する活性化 を条件とするガウス過程によって記述されます。このガウス過程の共分散またはカーネルは、重みとバイアスの分散と、および先行する活性化 の2 番目のモーメント行列に依存します。 ${\displaystyle z^{l}}$${\displaystyle y^{l}}$${\displaystyle z_{i}^{l}}$${\displaystyle W_{ij}^{l}}$${\displaystyle b_{i}^{l}}$${\displaystyle y_{j}^{l}}$${\displaystyle z_{i}^{l}}$${\displaystyle y_{j}^{l}}$${\displaystyle z^{l}}$${\displaystyle y^{l}}$${\displaystyle y^{l}}$${\displaystyle \sigma _{w}^{2}}$${\displaystyle \sigma _{b}^{2}}$${\displaystyle K^{l}}$${\displaystyle y^{l}}$

${\displaystyle {\begin{aligned}z_{i}^{l}\mid y^{l}&\sim {\mathcal {GP}}\left(0,\sigma _{w}^{2}K^{l}+\sigma _{b}^{2}\right)\\K^{l}(x,x')&={\frac {1}{n^{l}}}\sum _{i}y_{i}^{l}(x)y_{i}^{l}(x')\end{aligned}}}$

重みスケールの効果は、 からの共分散行列への寄与を再スケールすることですが、バイアスはすべての入力に対して共有されるため、異なるデータポイントの はより類似したものになり、共分散行列はより定数行列に似たものになります。 ${\displaystyle \sigma _{w}^{2}}$${\displaystyle K^{l}}$${\displaystyle \sigma _{b}^{2}}$${\displaystyle z_{i}^{l}}$

事前活性化は、その第2モーメント行列 を通じてのみ に依存します。このため、 はではなく に条件付けられたガウス過程であると言えます。 ${\displaystyle z^{l}}$${\displaystyle y^{l}}$${\displaystyle K^{l}}$${\displaystyle z^{l}}$${\displaystyle K^{l}}$${\displaystyle y^{l}}$

${\displaystyle {\begin{aligned}z_{i}^{l}\mid K^{l}&\sim {\mathcal {GP}}\left(0,\sigma _{w}^{2}K^{l}+\sigma _{b}^{2}\right).\end{aligned}}}$

前述のように、は の2次モーメント行列です。は非線形性 を適用した後の活性化ベクトルなので、 に置き換えることができます。その結果、について を表す修正された方程式が得られます。 ${\displaystyle K^{l}}$${\displaystyle y^{l}}$${\displaystyle y^{l}}$${\displaystyle \phi }$${\displaystyle \phi \left(z^{l-1}\right)}$${\displaystyle K^{l}}$${\displaystyle l>0}$${\displaystyle z^{l-1}}$

${\displaystyle {\begin{aligned}K^{l}(x,x')&={\frac {1}{n^{l}}}\sum _{i}\phi \left(z_{i}^{l-1}(x)\right)\phi \left(z_{i}^{l-1}(x')\right).\end{aligned}}}$

はガウス過程であると既に判定しました。これは、定義する和が、の関数であるガウス過程からのサンプルの平均であることを意味します。 ${\displaystyle z^{l-1}|K^{l-1}}$${\displaystyle K^{l}}$${\displaystyle n^{l}}$${\displaystyle K^{l-1}}$

${\displaystyle {\begin{aligned}\left\{z_{i}^{l-1}(x),z_{i}^{l-1}(x')\right\}&\sim {\mathcal {GP}}\left(0,\sigma _{w}^{2}K^{l-1}+\sigma _{b}^{2}\right).\end{aligned}}}$

層の幅が無限大になると、ガウス過程からのサンプルのこの平均は、ガウス過程の積分に置き換えることができます。 ${\displaystyle n^{l}}$${\displaystyle n^{l}}$

${\displaystyle {\begin{aligned}\lim _{n^{l}\rightarrow \infty }K^{l}(x,x')&=\int dz\,dz'\,\phi (z)\,\phi (z')\,{\mathcal {N}}\left(\left[{\begin{array}{c}z\\z'\end{array}}\right];0,\sigma _{w}^{2}\left[{\begin{array}{cc}K^{l-1}(x,x)&K^{l-1}(x,x')\\K^{l-1}(x',x)&K^{l-1}(x',x')\end{array}}\right]+\sigma _{b}^{2}\right)\end{aligned}}}$

したがって、無限幅の極限では、入力との各ペアの2次モーメント行列は、と の積の2次元ガウス積分として表すことができます。 がReLU、^[17] 、ELU、^[18]、または誤差関数^[1]非線形である場合など、これを解析的に解く状況は数多くあります。 解析的に解くことができない場合でも、2次元積分であるため、通常は数値的に効率的に計算できます。^[2] この積分は決定論的であるため、 も決定論的です。 ${\displaystyle K^{l}}$${\displaystyle x}$${\displaystyle x'}$${\displaystyle \phi (z)}$${\displaystyle \phi (z')}$${\displaystyle \phi (\cdot )}$${\displaystyle K^{l}|K^{l-1}}$

簡単に言えば、この2次元積分を入力のすべてのペアに対して計算することに対応する関数 を定義し、これを にマッピングします。 ${\displaystyle F}$${\displaystyle K^{l-1}}$${\displaystyle K^{l}}$

${\displaystyle {\begin{aligned}\lim _{n^{l}\rightarrow \infty }K^{l}&=F\left(K^{l-1}\right).\end{aligned}}}$

として決定論的である観測を再帰的に適用することにより、の決定論的関数として記述することができます。 ${\displaystyle K^{l}\mid K^{l-1}}$${\displaystyle n^{l}\rightarrow \infty }$${\displaystyle K^{L}}$${\displaystyle K^{0}}$

${\displaystyle {\begin{aligned}\lim _{\min \left(n^{1},\dots ,n^{L}\right)\rightarrow \infty }K^{L}&=F\circ F\cdots \left(K^{0}\right)=F^{L}\left(K^{0}\right),\end{aligned}}}$

ここで、関数を順番に適用することを示します。この式と、入力層の2次モーメント行列が入力の決定論的関数であり、ガウス過程であるというさらなる観察を組み合わせると、ニューラルネットワークの出力は、その入力に関してガウス過程として表すことができます。 ${\displaystyle F^{L}}$${\displaystyle F}$${\displaystyle L}$${\displaystyle K^{0}(x,x')={\tfrac {1}{n^{0}}}\sum _{i}x_{i}x'_{i}}$${\displaystyle x}$${\displaystyle z^{L}|K^{L}}$

${\displaystyle {\begin{aligned}z_{i}^{L}(x)&\sim {\mathcal {GP}}\left(0,\sigma _{w}^{2}F^{L}\left(K^{0}\right)+\sigma _{b}^{2}\right).\end{aligned}}}$

Neural Tangentsは、さまざまな一般的なANNアーキテクチャに対応するNNGPとニューラルタンジェントカーネルを使用して計算と推論を行うために使用される無料のオープンソース Pythonライブラリです。 ^[19]