プーリング層

ニューラルネットワークにおいて、プーリング層は、多数のベクトルに分散している情報をダウンサンプリングして、より少ないベクトルに集約するネットワーク層の一種です。 ^[1]プーリング層にはいくつかの用途があります。冗長な情報を削除して、必要な計算量とメモリの量を減らし、入力の小さな変化に対してモデルをより堅牢にし、ネットワークの後の層のニューロンの受容野を拡大します。

プーリングは、畳み込みニューラル ネットワーク(CNN)で最もよく使用されます。以下は、2 次元 CNN でのプーリングの説明です。n 次元への一般化はすぐに行えます。

表記として、テンソル を考えます。ここで、は高さ、は幅、 はチャネル数です。プーリング層はテンソル を出力します。 ${\displaystyle x\in \mathbb {R} ^{H\times W\times C}}$${\displaystyle H}$${\displaystyle W}$${\displaystyle C}$${\displaystyle y\in \mathbb {R} ^{H'\times W'\times C'}}$

「フィルタ サイズ」(別名「カーネル サイズ」) と「ストライド」という2 つの変数を定義します。水平方向と垂直方向で異なるフィルタ サイズとストライドを使用する必要がある場合もあります。そのような場合は、4 つの変数を定義します。 ${\displaystyle f,s}$${\displaystyle f_{H},f_{W},s_{H},s_{W}}$

出力テンソル内のエントリの受容フィールドは、そのエントリに影響を与える可能性のあるすべてのエントリです。 ${\displaystyle y}$${\displaystyle x}$

最大プーリング (MaxPool) は、特徴マップの空間次元を削減するために CNN でよく使用されます。

を定義します。ここで、 は範囲 を意味します。off -by-one エラー を避ける必要があることに注意してください。次の入力は となり、以下同様に続きます。 の受容野はであるため、一般に、水平フィルタ サイズと垂直フィルタ サイズおよびストライドが異なる場合は、一般に、 となります。より簡潔に言えば、 と書くことができます。$${\displaystyle \mathrm {MaxPool} (x|f,s)_{0,0,0}=\max(x_{0:f-1,0:f-1,0})}$$${\displaystyle 0:f-1}$${\displaystyle 0,1,\dots ,f-1}$$${\displaystyle \mathrm {MaxPool} (x|f,s)_{1,0,0}=\max(x_{s:s+f-1,0:f-1,0})}$$${\displaystyle y_{i,j,c}}$${\displaystyle x_{is+f-1,js+f-1,c}}$$${\displaystyle \mathrm {MaxPool} (x|f,s)_{i,j,c}=\mathrm {max} (x_{is:is+f-1,js:js+f-1,c})}$$$${\displaystyle \mathrm {MaxPool} (x|f,s)_{i,j,c}=\mathrm {max} (x_{is_{H}:is_{H}+f_{H}-1,js_{W}:js_{W}+f_{W}-1,c})}$$${\displaystyle y_{k}=\max(\{x_{k'}|k'{\text{ in the receptive field of }}k\})}$

が整数として表現できない場合、境界上の出力テンソルのエントリを計算するために、最大プーリングはテンソルから変数を入力として取得しようとします。この場合、存在しない変数がどのように処理されるかは、右側に示すように、 パディング条件によって異なります。${\displaystyle H}$${\displaystyle ks+f}$${\displaystyle k}$

グローバル最大プーリング (GMP) は、出力テンソルが の形状を持ち、 の受容野が のすべてである特殊な種類の最大プーリングです。つまり、各チャネル全体の最大値を取得します。これは、CNN 分類ヘッドの最後の完全接続層の直前でよく使用されます。 ${\displaystyle \mathbb {R} ^{C}}$${\displaystyle y_{c}}$${\displaystyle x_{0:H,0:W,c}}$

平均プーリング（AvgPool）も同様に定義されます。グローバル平均プーリング（GAP）はGMPと同様に定義されます。これはNetwork-in-Networkで最初に提案されました。^[2] GMPと同様に、CNN分類ヘッドの最後の完全接続層の直前で使用されることがよくあります。 $${\displaystyle \mathrm {AvgPool} (x|f,s)_{i,j,c}=\mathrm {average} (x_{is:is+f-1,js:js+f-1,c})={\frac {1}{f^{2}}}\sum _{k\in is:is+f-1}\sum _{l\in js:js+f-1}x_{k,l,c}}$$

最大プーリングと平均プーリングの補間がいくつかあります。

混合プーリングは、最大プーリングと平均プーリングの線形和である。^[3]つまり、

$${\displaystyle \mathrm {MixedPool} (x|f,s,w)=w\mathrm {MaxPool} (x|f,s)+(1-w)\mathrm {AvgPool} (x|f,s)}$$ここで、はハイパーパラメータ、学習可能なパラメータ、または毎回ランダムに新たにサンプリングされるパラメータのいずれかです。 ${\displaystyle w\in [0,1]}$

Lpプーリングは平均プーリングに似ていますが、平均の代わりにLpノルム平均を使用します。ここで、は受容野のサイズ、はハイパーパラメータです。すべての活性化が非負の場合、平均プーリングは の場合であり、最大プーリングは の場合です。平方根プーリングは の場合です。^[4]$${\displaystyle y_{k}=\left({\frac {1}{N}}\sum _{k'{\text{ in the receptive field of }}k}|x_{k'}|^{p}\right)^{1/p}}$$${\displaystyle N}$${\displaystyle p\geq 1}$${\displaystyle p=1}$${\displaystyle p\to \infty }$${\displaystyle p=2}$

確率的プーリングは受容野からランダムな活性化を確率でサンプリングする。これは期待値における平均プーリングと同じである。^[5]${\displaystyle x_{k'}}$${\displaystyle {\frac {x_{k'}}{\sum _{k''}x_{k''}}}}$

ソフトマックスプーリングはマックスプーリングに似ていますが、ソフトマックスを使用します。つまり、の場合です。平均プーリングは の場合であり、マックスプーリングは の場合です^[4]${\displaystyle {\frac {\sum _{k'}e^{\beta x_{k'}}x_{k'}}{\sum _{k''}e^{\beta x_{k''}}}}}$${\displaystyle \beta >0}$${\displaystyle \beta \downarrow 0}$${\displaystyle \beta \uparrow \infty }$

ローカル重要度ベースプーリングは、学習可能な関数であるソフトマックスプーリングを一般化します。[ 6 ^]${\displaystyle {\frac {\sum _{k'}e^{g(x_{k'})}x_{k'}}{\sum _{k''}e^{g(x_{k''})}}}}$${\displaystyle g}$

空間ピラミッドプーリングは、最大プーリング（または他の形式のプーリング）をピラミッド構造で適用します。つまり、グローバル最大プーリングを適用し、次に4等分、16等分などの画像に最大プーリングを適用します。結果は連結されます。これはグローバルプーリングの階層形式であり、グローバルプーリングと同様に、分類ヘッドの直前で使用されることがよくあります。^[7]

関心領域プーリング（RoIプーリングとも呼ばれる）は、 R-CNNで物体検出に。 ^[8]任意のサイズの入力行列を受け取り、固定サイズの出力行列を出力するように設計されています。

共分散プーリングはベクトルの共分散行列を計算し、それを次元ベクトルに平坦化します。グローバル共分散プーリングはグローバル最大プーリングと同様に使用されます。平均プーリングは平均を計算しますが、これは一次統計であり、共分散は二次統計であるため、共分散プーリングは「二次プーリング」とも呼ばれます。これは高次のプーリングに一般化できます。^{[9] [10]}$${\displaystyle \{x_{k,l,0:C-1}\}_{k\in is:is+f-1,l\in js:js+f-1}}$$${\displaystyle C^{2}}$${\displaystyle y_{i,j,0:C^{2}-1}}$

ブラープーリングとは、ダウンサンプリングの前にブラー処理を施すことを意味します。例えば、Rect-2ブラープーリングは、平均プーリングを行い、次に2つおきのピクセル（ と同一）を取ることを意味します。^[11]${\displaystyle f=2,s=1}$${\displaystyle s=2}$

Vision Transformers (ViT)には、次のような一般的な種類のプーリングがあります。

BERTのようなプーリングはダミー[CLS]トークン（「分類」）を使用します。分類の場合、出力は[CLS]分類トークンであり、 LayerNormフィードフォワードソフトマックスモジュールによって確率分布に処理され、ネットワークのクラス確率分布の予測になります。これは、オリジナルのViT ^[12]とMasked Autoencoder ^[13]で使用されているものです。

グローバル平均プーリング（GAP）はダミートークンを使用せず、単純にすべての出力トークンの平均を分類トークンとして採用します。これは元のViTでも同様に優れていると言及されていました。^[12]

マルチヘッドアテンションプーリング（MAP）は、プーリングにマルチヘッドアテンションブロックを適用します。具体的には、入力としてベクトルのリストを受け取ります。これは、ViTの層の出力ベクトルと考えることができます。次に、各ベクトルにフィードフォワード層を適用し、行列 を生成します。次に、これがマルチヘッドアテンションに送信され、 が生成されます。ここで、はトレーニング可能なパラメータの行列です。^[14]これは、Set Transformerアーキテクチャで最初に提案されました。^[15]${\displaystyle x_{1},x_{2},\dots ,x_{n}}$${\displaystyle \mathrm {FFN} }$${\displaystyle V=[\mathrm {FFN} (v_{1}),\dots ,\mathrm {FFN} (v_{n})]}$${\displaystyle \mathrm {MultiheadedAttention} (Q,V,V)}$${\displaystyle Q}$

その後の論文では、GAPとMAPはどちらもBERTのようなプーリングよりも優れたパフォーマンスを発揮することが実証されました。^{[14] [16]}

グラフ ニューラル ネットワーク(GNN)にも、グローバルとローカルの 2 つの形式のプーリングがあります。グローバル プーリングは、受容野が出力全体となるローカル プーリングに縮小できます。

1. ローカルプーリング：ローカルプーリング層は、ダウンサンプリングによってグラフを粗くします。ローカルプーリングは、畳み込みニューラルネットワークのプーリング層と同様に、GNNの受容野を拡大するために使用されます。例としては、k近傍プーリング、トップkプーリング^[17]、自己注意プーリング^{[18]などがあります。}
2. グローバルプーリング：グローバルプーリング層（読み出し層とも呼ばれる）は、グラフ全体の固定サイズの表現を提供します。グローバルプーリング層は、グラフのノードとエッジの順序の順列によって最終出力が変更されないように、順列不変である必要があります。^[19]例としては、要素ごとの合計、平均、最大値などがあります。

ローカルプーリング層は、ダウンサンプリングによってグラフを粗くします。ここでは、提案されているいくつかの学習可能なローカルプーリング戦略を紹介します。^[19]それぞれの場合、入力はノード特徴の行列で表される初期グラフと、グラフ隣接行列です。出力は、ノード特徴の新しい行列と、新しいグラフ隣接行列です。 ${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {A} }$${\displaystyle \mathbf {X} '}$${\displaystyle \mathbf {A} '}$

まず最初に

${\displaystyle \mathbf {y} ={\frac {\mathbf {X} \mathbf {p} }{\Vert \mathbf {p} \Vert }}}$

ここで、は学習可能な投影ベクトルです。投影ベクトルは、各グラフ ノードのスカラー投影値を計算します。 ${\displaystyle \mathbf {p} }$${\displaystyle \mathbf {p} }$

トップkプーリング層^[17]は以下のように形式化できる。

${\displaystyle \mathbf {X} '=(\mathbf {X} \odot {\text{sigmoid}}(\mathbf {y} ))_{\mathbf {i} }}$

${\displaystyle \mathbf {A} '=\mathbf {A} _{\mathbf {i} ,\mathbf {i} }}$

ここで、は上位k個の最高投影スコアを持つノードのサブセット、は要素ごとの行列乗算、はシグモイド関数です。言い換えれば、上位k個の最高投影スコアを持つノードは新しい隣接行列に保持されます。この操作により、投影ベクトルはバックプロパゲーションによって学習可能になります。そうでなければ、離散出力が生成されます。^[17]${\displaystyle \mathbf {i} ={\text{top}}_{k}(\mathbf {y} )}$${\displaystyle \odot }$${\displaystyle {\text{sigmoid}}(\cdot )}$${\displaystyle \mathbf {A} '}$${\displaystyle {\text{sigmoid}}(\cdot )}$${\displaystyle \mathbf {p} }$

まず最初に

${\displaystyle \mathbf {y} ={\text{GNN}}(\mathbf {X} ,\mathbf {A} )}$

ここで、は汎用順列等変 GNN レイヤー (例: GCN、GAT、MPNN) です。 ${\displaystyle {\text{GNN}}}$

自己注意プーリング層^[18]は以下のように形式化できる。

${\displaystyle \mathbf {X} '=(\mathbf {X} \odot \mathbf {y} )_{\mathbf {i} }}$

${\displaystyle \mathbf {A} '=\mathbf {A} _{\mathbf {i} ,\mathbf {i} }}$

ここで、は上位k個の最高の投影スコアを持つノードのサブセットであり、要素ごとの行列乗算を表します。 ${\displaystyle \mathbf {i} ={\text{top}}_{k}(\mathbf {y} )}$${\displaystyle \odot }$

自己注意プーリング層は、トップ k プーリング層の拡張として考えることができます。トップ k プーリングとは異なり、自己注意プーリングで計算される自己注意スコアは、グラフの特徴とグラフ トポロジの両方を考慮します。

20 世紀初頭、神経解剖学者は、複数のニューロンが同じニューロンにシナプス結合する特定のモチーフに注目しました。これは、視覚を並進不変にする「局所プーリング」として機能的に説明されました。 (Hartline、1940) ^{[20] は、}網膜神経節細胞の受容野に関する電気生理学的実験によって理論を裏付ける証拠を示しました。HubelとWiesel の実験では、猫の視覚システムは畳み込みニューラル ネットワークに似ており、一部の細胞が下層からの入力を合計していることが示されました。^{[21] : 図 19、20}これらの初期の文献の引用については、 (Westheimer、1965) ^[22]を参照してください。

1970年代には、奥行き知覚の効果を説明するために、( Julesz and Chang, 1976) ^[23]などの研究者は、視覚システムがグローバルプーリングによって視差選択メカニズムを実装し、両眼の網膜領域の対応するペアからの出力を高次の細胞にプールすることを提案しました。これらの初期の文献の引用については ^{[24]を参照してください。}

人工ニューラルネットワークでは、最大プーリングは1990年に音声処理（1次元畳み込み）に使用されました。^[25]

• 畳み込みニューラルネットワーク
• サブサンプリング
• 画像の拡大縮小
• 特徴抽出
• 関心領域
• グラフニューラルネットワーク