バロンスペース

定理の記述では、中間層は隠れ層である。${\displaystyle k}$は隠れ層にあるニューロンの数です。これらのニューロンは隠れニューロンと呼ばれます。

コンパクト集合が与えられた場合${\displaystyle X\subset \mathbb {R} ^{n}}$一般的な連続関数を精度で近似するために${\displaystyle \epsilon }$一様規範において${\displaystyle X}$、${\displaystyle O(\epsilon ^{-d})}$隠れたニューロンが必要である。これは次元の呪いの現れである。

1993年の論文で、バロンは、連続関数の大きなクラスが一般的な連続関数よりもはるかに近似しやすいことを示した。具体的には、任意のボレル確率測度が与えられたとき、ある連続関数の集合が存在し、${\displaystyle \mu }$、 のみ${\displaystyle O(\epsilon ^{-2})}$隠れたニューロンは近似するために必要です${\displaystyle f}$精度は${\displaystyle \epsilon }$で${\displaystyle L^{2}(\mu )}$規範。この意味で、これらの関数は次元の呪いに陥ることなくニューラルネットワークによって効率的に近似できるため、優れている。^{[ 2 ] [ 3 ]}

もし${\displaystyle \sigma }$はReLU関数であり、以下のように定義されます。

いかなる場合でも${\displaystyle p\in [1,\infty ]}$表現の正則化損失を定義する${\displaystyle \rho }$として$${\displaystyle \|\rho \|_{p}:=\mathbb {E} _{(a,b,c)\sim \rho }{\Big [}|c(\|a\|_{1}+|b|)|^{p}{\Big ]}^{1/p}}$$もし${\displaystyle p\in [1,\infty )}$、 そして$${\displaystyle \|\rho \|_{p}:=\sup _{(a,b,c)\in \operatorname {supp} \rho }|c(\|a\|_{1}+|b|)|}$$もし${\displaystyle p=\infty }$これはLp空間との類推に基づいて定義され、隠れニューロンの数に関する以前の結果に触発されたものである。

特別なケース${\displaystyle p=1}$パスの重みとして解釈されるため、パスノルムとも呼ばれます。${\displaystyle c(\|a\|_{1}+|b|)}$これは、ニューラルネットワークの入力から出力までのすべての経路にわたって平均化された値です。

p-バロンノルム​​${\displaystyle f}$は次のように定義される。$${\displaystyle \|f\|_{B_{p}}:=\inf _{\rho {\text{ は }}f}\|\rho \|_{p}} を表す$$p-バロン空間​${\displaystyle X\subset \mathbb {R} ^{n}}$は、型の連続関数の集合です。${\displaystyle X\to \mathbb {R} }$有限のp-バロンノルムを持つ。

もし${\displaystyle \|f\|_{B_{p}}<\infty }$一部の人にとって${\displaystyle p\in [1,\infty ]}$、 それから${\displaystyle \|f\|_{B_{p}}}$すべて同じです${\displaystyle p\in [1,\infty ]}$したがって、これらはすべて同じであり、pを削除して、すべてを と呼びます。${\displaystyle \|\cdot \|_{B_{p}}}$同じバロンノルム、そしてそれらの空間はバロン空間である。それは次のように書かれる。$\displaystyle {\mathcal {B}}}$^{[ 1 ]}

バロン空間はバナッハ空間である。^{[ 3 ]：定理2.3}

もし${\displaystyle \sigma }$ReLU関数ではない場合、p拡張バロンノルムを定義します。$${\displaystyle \|\rho \|_{p}:=\mathbb {E} _{(a,b,c)\sim \rho }{\Big [}|c(\|a\|_{1}+|b|\color {red}{+1}\color {black})|^{p}{\Big ]}^{1/p}}$$$${\displaystyle \|f\|_{{\tilde {B}}_{p}}:=\inf _{\rho {\text{ は }}f}\|\rho \|_{p}} を表します$$同様に、p拡張バロン空間を定義する。

一般的に、 pの値が異なると、それらは同じではありません。

ReLU活性化関数を用いた多層ニューラルネットワークの一般化が存在する。^{[ 4 ]}

定理^{[ 1 ]：定理1}与えられた${\displaystyle f\in {\mathcal {B}}}$すると、任意の正の整数に対して${\displaystyle k}$2層ReLUネットワークが存在し、${\displaystyle M}$隠れたニューロン$${\displaystyle f_{M}(x)={\frac {1}{M}}\sum _{i=1}^{M}c_{i}\;\operatorname {ReLU} (a_{i}\cdot x+b_{i})}$$そのため$\left\|f_{M}-f\right\|_{L^{2}(\Omega )}^{2}\leq {\frac {3\|f\|_{B}^{2}}{M}}}$、 そして$\displaystyle {\frac {1}{M}}\sum _{i=1}^{M}|c_{i}|(\|a_{i}\|_{1}+|b_{i}|)\leq 2\|f\|_{B}}$。

定理^{[ 1 ]：定理2}（前の定理の逆）任意の${\displaystyle f}$連続${\displaystyle X\subset \mathbb {R} ^{n}}$2層ReLUネットワークのシーケンスが存在する場合${\displaystyle f_{M}}$と${\displaystyle M=1,2,\dots }$隠れたニューロン、収束${\displaystyle f_{M}\to f}$ポイントごとに、そしてこれらのバロン規範${\displaystyle f_{M}}$単一の境界によって均一に区切られている${\displaystyle C}$:$${\displaystyle {\frac {1}{M}}\sum _{i=1}^{M}|c_{i}|(\|a_{i}\|_{1}+|b_{i}|)\leq C,\quad \forall M=1,2,3,\dots }$$それから${\displaystyle f\in {\mathcal {B}}}$そして${\displaystyle \|f\|_{B}\leq C}$。

定理。任意の${\displaystyle f}$連続${\displaystyle X\subset \mathbb {R} ^{n}}$、 定義する$${\displaystyle \gamma (f):=\inf _{\hat {f}}\int _{\mathbb {R} ^{n}}\|\omega \|_{1}^{2}|{\hat {f}}(\omega )|d\omega }$$どこ${\displaystyle {\hat {f}}}$すべての可能な拡張のフーリエ変換の範囲${\displaystyle f}$すべての人へ${\displaystyle \mathbb {R} ^{n}}$ならば、${\displaystyle \gamma (f)<\infty }$、 それから${\displaystyle f\in {\mathcal {B}}}$。

さらに、明示的な上限値が得られます。^{[ 1 ]：命題2}$${\displaystyle \|f\|_{\mathcal {B}}\leq 2\gamma (f)+2\|\nabla f(0)\|_{1}+2|f(0)|}$$

させて${\displaystyle S=\{z_{1},z_{2},\dots ,z_{m}\}\subseteq Z}$点のサンプルであり、関数クラスを考慮する${\displaystyle {\mathcal {F}}}$実数値関数の${\displaystyle Z}$。次に、経験的ラデマッハー複雑度は${\displaystyle {\mathcal {F}}}$与えられた${\displaystyle S}$は次のように定義されます。

${\displaystyle \operatorname {Rad} _{S}({\mathcal {F}})={\frac {1}{m}}\mathbb {E} _{\sigma }\left[\sup _{f\in {\mathcal {F}}}\left|\sum _{i=1}^{m}\sigma _{i}f(z_{i})\right|\right]}$

定理^{[ 1 ]：定理3}任意の${\displaystyle C>0}$、 させて${\displaystyle {\mathcal {F}}_{C}:=\{f\in {\mathcal {B}}:\|f\|_{B}\leq C\}}$、 それから${\displaystyle \operatorname {Rad} _{S}({\mathcal {F}}_{C})\leq 2C{\sqrt {\frac {2\ln(2n)}{|S|}}}}$念のため${\displaystyle n}$は、ドメインの次元数です。${\displaystyle f}$。

この結果は、バロンノルムで制限された関数空間のラデマッハー複雑度が低いことを示しており、統計的学習理論によれば、これは学習可能性が非常に高いことを意味します。これは、隠れニューロンの数が少ないネットワークで十分に近似できるという事実と一致します。