普遍近似定理

普遍近似定理 — ユークリッド空間のサブセットからユークリッド空間 への連続関数の集合を とします。とします。 であるため、の各要素に が適用されることを表すことに注意してください。 ${\displaystyle C(X,\mathbb {R} ^{m})}$${\displaystyle X}$${\displaystyle \mathbb {R} ^{n}}$${\displaystyle \mathbb {R} ^{m}}$${\displaystyle \sigma \in C(\mathbb {R} ,\mathbb {R} )}$${\displaystyle (\sigma \circ x)_{i}=\sigma (x_{i})}$${\displaystyle \sigma \circ x}$${\displaystyle \sigma}$${\displaystyle x}$

が多項式 で ないのは、 任意の、、コンパクトに対して、、、が存在し、ここで${\displaystyle \sigma}$ ${\displaystyle n\in \mathbb {N} }$${\displaystyle m\in \mathbb {N} }$ ${\displaystyle K\subseteq \mathbb {R} ^{n}}$${\displaystyle f\in C(K,\mathbb {R} ^{m}),\varepsilon >0}$${\displaystyle k\in \mathbb {N} }$${\displaystyle A\in \mathbb {R} ^{k\times n}}$${\displaystyle b\in \mathbb {R} ^{k}}$${\displaystyle C\in \mathbb {R} ^{m\times k}}$$${\displaystyle \sup _{x\in K}\|f(x)-g(x)\|<\varepsilon }$$${\displaystyle g(x)=C\cdot (\sigma \circ (A\cdot x+b))}$

π-シグマ ネットワークの普遍近似定理 — 任意の非定数活性化関数では、1 つの隠れ層を持つ π-シグマ ネットワークは普遍近似器です。

普遍近似定理（L1 距離、ReLU 活性化、任意の深さ、最小幅）  — 任意のボホナー・ルベーグ p 積分可能関数および任意のに対して、ちょうど の幅の完全接続ReLUネットワークが存在し、 を満たす 。 さらに、関数および何らかの が存在し、それらに対して、上記の近似境界を満たす未満の幅の完全接続ReLUネットワークは存在しない。 ${\displaystyle f:\mathbb {R} ^{n}\to \mathbb {R} ^{m}}$${\displaystyle \varepsilon >0}$ ${\displaystyle F}$${\displaystyle d_{m}=\max\{n+1,m\}}$$${\displaystyle \int _{\mathbb {R} ^{n}}\|f(x)-F(x)\|^{p}\,\mathrm {d} x<\varepsilon .}$$${\displaystyle f\in L^{p}(\mathbb {R} ^{n},\mathbb {R} ^{m})}$${\displaystyle \varepsilon >0}$ ${\displaystyle d_{m}=\max\{n+1,m\}}$

注：活性化がleaky-ReLUに置き換えられ、入力がコンパクトな領域に制限されている場合、正確な最小幅は^[20] です。 ${\displaystyle d_{m}=\max\{n,m,2\}}$

定量的な改良:、(すなわち) および がReLU活性化関数の場合、ReLU ネットワークがエラーを達成するための正確な深さと幅もわかっています。^[44] さらに、ターゲット関数が滑らかな場合は、必要な層の数とその幅は指数的に小さくなる可能性があります。^[45]が滑らか でなくても、 が追加の「構成構造」を許容する場合は、次元の呪いを破ることができます。^{[46] [47]}${\displaystyle f:[0,1]^{n}\rightarrow \mathbb {R} }$${\displaystyle m=1}$${\displaystyle \sigma }$${\displaystyle \varepsilon }$${\displaystyle f}$${\displaystyle f}$${\displaystyle f}$

普遍近似定理（一様非アフィン活性化、任意の深さ、制約付き幅）。 — を のコンパクトな部分集合とします。を、少なくとも 1 つの点で連続的に微分可能で、その点で非ゼロ導関数を持つ任意の非アフィン連続関数とします。 を、入力ニューロン、出力ニューロン、および任意の数の隠れ層と各ニューロンを持つフィードフォワードニューラルネットワークの空間とします。このネットワークでは、すべての隠れニューロンに活性化関数があり、すべての出力ニューロンにはその活性化関数と同じ恒等関数があり、入力層と出力層 を持ちます。任意のと任意のが与えられたとき、次の式が 存在することになります。${\displaystyle {\mathcal {X}}}$${\displaystyle \mathbb {R} ^{d}}$${\displaystyle \sigma :\mathbb {R} \to \mathbb {R} }$ ${\displaystyle {\mathcal {N}}_{d,D:d+D+2}^{\sigma }}$${\displaystyle d}$${\displaystyle D}$${\displaystyle d+D+2}$${\displaystyle \sigma }$${\displaystyle \phi }$${\displaystyle \rho }$${\displaystyle \varepsilon >0}$${\displaystyle f\in C({\mathcal {X}},\mathbb {R} ^{D})}$${\displaystyle {\hat {f}}\in {\mathcal {N}}_{d,D:d+D+2}^{\sigma }}$$${\displaystyle \sup _{x\in {\mathcal {X}}}\left\|{\hat {f}}(x)-f(x)\right\|<\varepsilon .}$$

言い換えると、一様収束の位相に関して、は において稠密です。 ${\displaystyle {\mathcal {N}}}$${\displaystyle C({\mathcal {X}};\mathbb {R} ^{D})}$

定量的な改良: を精度よく近似するために必要な層の数と各層の幅は既知である。^[21]さらに、およびを任意の非正曲面リーマン多様体 に置き換えた場合にも結果は真である。 ${\displaystyle f}$${\displaystyle \varepsilon }$${\displaystyle {\mathcal {X}}}$${\displaystyle \mathbb {R} ^{D}}$

普遍近似定理: ^[13]  — 解析的かつ厳密に増加し、シグモイド関数であり、次の性質を持つ活性化関数が存在する:任意の およびに対して、定数、および すべての に対してとなる ベクトルが存在する。 ${\displaystyle \sigma }$${\displaystyle f\in C[0,1]^{d}}$${\displaystyle \varepsilon >0}$${\displaystyle d_{i},c_{ij},\theta _{ij},\gamma _{i}}$${\displaystyle \mathbf {w} ^{ij}\in \mathbb {R} ^{d}}$$${\displaystyle \left\vert f(\mathbf {x} )-\sum _{i=1}^{6d+3}d_{i}\sigma \left(\sum _{j=1}^{3d}c_{ij}\sigma (\mathbf {w} ^{ij}\cdot \mathbf {x-} \theta _{ij})-\gamma _{i}\right)\right\vert <\varepsilon }$$${\displaystyle \mathbf {x} =(x_{1},...,x_{d})\in [0,1]^{d}}$

普遍近似定理: ^{[14] [15]}  — を  実数直線の有限部分とし、を 任意の正の数とする。すると、無限微分可能で、 で厳密に増加し、で-厳密に増加し、以下の性質を満たす 計算可能なシグモイド活性化関数 をアルゴリズム的に構築することができる。${\displaystyle [a,b]}$${\displaystyle s=b-a}$${\displaystyle \lambda }$${\displaystyle \sigma \colon \mathbb {R} \to \mathbb {R} }$${\displaystyle (-\infty ,s)}$${\displaystyle \lambda }$${\displaystyle [s,+\infty )}$

1. 任意のおよびに対して 、 すべてのに対してとなる 数およびが存在する 。${\displaystyle f\in C[a,b]}$${\displaystyle \varepsilon >0}$${\displaystyle c_{1},c_{2},\theta _{1}}$${\displaystyle \theta _{2}}$${\displaystyle x\in [a,b]}$ $${\displaystyle |f(x)-c_{1}\sigma (x-\theta _{1})-c_{2}\sigma (x-\theta _{2})|<\varepsilon }$$
2. 次元ボックス上の任意の連続関数およびに対して、すべての に対して不等式が成り立つ定数、、およびが存在します。ここで、重み、、は次のように固定されます。さらに、1 つを除くすべての係数は等しくなります。${\displaystyle F}$${\displaystyle d}$${\displaystyle [a,b]^{d}}$${\displaystyle \varepsilon >0}$${\displaystyle e_{p}}$${\displaystyle c_{pq}}$${\displaystyle \theta _{pq}}$${\displaystyle \zeta _{p}}$$${\displaystyle \left|F(\mathbf {x} )-\sum _{p=1}^{2d+2}e_{p}\sigma \left(\sum _{q=1}^{d}c_{pq}\sigma (\mathbf {w} ^{q}\cdot \mathbf {x} -\theta _{pq})-\zeta _{p}\right)\right|<\varepsilon }$$${\displaystyle \mathbf {x} =(x_{1},\ldots ,x_{d})\in [a,b]^{d}}$${\displaystyle \mathbf {w} ^{q}}$${\displaystyle q=1,\ldots ,d}$$${\displaystyle \mathbf {w} ^{1}=(1,0,\ldots ,0),\quad \mathbf {w} ^{2}=(0,1,\ldots ,0),\quad \ldots ,\quad \mathbf {w} ^{d}=(0,0,\ldots ,1).}$$${\displaystyle e_{p}}$