意味 させてX {\displaystyle X} 任意の集合 であり、H {\displaystyle H} 実数値 関数のヒルベルト空間 X {\displaystyle X} スカラー乗算 を備えている。関数のヒルベルト空間上の評価関数 H {\displaystyle H} x {\displaystyle x}
L x : f ↦ f （ x ） ∀ f ∈ H 。 {\displaystyle L_{x}:f\mapsto f(x){\text{ }}\forall f\in H.} すべての に対して、 が成り立つとき、Hは 再生核ヒルベルト空間 であると言う。x {\displaystyle x} X {\displaystyle X} L x {\displaystyle L_{x}} 連続し ているf {\displaystyle f} H {\displaystyle H} L x {\displaystyle L_{x}} 有界作用素 であるH {\displaystyle H} M x > 0 {\displaystyle M_{x}>0}
それでもM x < ∞ {\displaystyle M_{x}<\infty } x ∈ X {\displaystyle x\in X} すする x M x = ∞ {\textstyle \sup _{x}M_{x}=\infty }
性質（1 H {\displaystyle H} f {\displaystyle f} K x {\displaystyle K_{x}} H {\displaystyle H} 再生核である。 H {\displaystyle H} リース表現定理は、 すべてのに対して次のことを意味する。x {\displaystyle x} X {\displaystyle X} K x {\displaystyle K_{x}} H {\displaystyle H}
以来K x {\displaystyle K_{x}} X {\displaystyle X} R {\displaystyle \mathbb {R} } C {\displaystyle \mathbb {C} } K x {\displaystyle K_{x}} H {\displaystyle H}
K x （ y ） = L y （ K x ） = ⟨ K x 、 K y ⟩ H 、 {\displaystyle K_{x}(y)=L_{y}(K_{x})=\langle K_{x},\ K_{y}\rangle _{H},} どこ K y ∈ H {\displaystyle K_{y}\in H} H {\displaystyle H} L y {\displaystyle L_{y}}
これにより、再生核を定義することができます。H {\displaystyle H} K : X × X → R {\displaystyle K:X\times X\to \mathbb {R} } C {\displaystyle \mathbb {C} }
K （ x 、 y ） = ⟨ K x 、 K y ⟩ H 。 {\displaystyle K(x,y)=\langle K_{x},\ K_{y}\rangle _{H}.} この定義から、K : X × X → R {\displaystyle K:X\times X\to \mathbb {R} } C {\displaystyle \mathbb {C} } かつ正定値 である。
∑ 私 、 j = 1 n c 私 c j K （ x 私 、 x j ） = ∑ 私 = 1 n c 私 ⟨ K x 私 、 ∑ j = 1 n c j K x j ⟩ H = ⟨ ∑ 私 = 1 n c 私 K x 私 、 ∑ j = 1 n c j K x j ⟩ H = ‖ ∑ 私 = 1 n c 私 K x 私 ‖ H 2 ≥ 0 {\displaystyle \sum _{i,j=1}^{n}c_{i}c_{j}K(x_{i},x_{j})=\sum _{i=1}^{n}c_{i}\left\langle K_{x_{i}},\sum _{j=1}^{n}c_{j}K_{x_{j}}\right\rangle _{H}=\left\langle \sum _{i=1}^{n}c_{i}K_{x_{i}},\sum _{j=1}^{n}c_{j}K_{x_{j}}\right\rangle _{H}=\left\|\sum _{i=1}^{n}c_{i}K_{x_{i}}\right\|_{H}^{2}\geq 0} すべてのn ∈ N 、 x 1 、 … 、 x n ∈ X 、 そして c 1 、 … 、 c n ∈ R 。 {\displaystyle n\in \mathbb {N} ,x_{1},\dots ,x_{n}\in X,{\text{ and }}c_{1},\dots ,c_{n}\in \mathbb {R} .} [ 7 ] K {\displaystyle K} X {\displaystyle X}
例 再生核ヒルベルト空間の最も単純な例は空間である。L 2 （ X 、 μ ） {\displaystyle L^{2}(X,\mu )} X {\displaystyle X} μ {\displaystyle \mu } 尺度 はX {\displaystyle X} x ∈ X {\displaystyle x\in X} K x {\displaystyle K_{x}} 指示関数 である{ x } ⊂ X {\displaystyle \{x\}\subset X}
非自明な再生核ヒルベルト空間には解析関数が含まれることが多く、ここでは例を用いて説明します。 帯域制限された 連続関数 のヒルベルト空間を考えてみましょう。H {\displaystyle H} カットオフ周波数 を固定する0 < 1 < ∞ {\displaystyle 0<a<\infty }
H = { f ∈ L 2 （ R ） ∣ 補足 （ F ） ⊂ [ − 1 、 1 ] } {\displaystyle H=\{f\in L^{2}(\mathbb {R} )\mid \operatorname {supp} (F)\subset [-a,a]\}} どこL 2 （ R ） {\displaystyle L^{2}(\mathbb {R} )} F （ ω ） = ∫ − ∞ ∞ f （ t ） e − 私 ω t d t {\textstyle F(\omega )=\int _{-\infty }^{\infty }f(t)e^{-i\omega t}\,dt} はフーリエ変換 であるf {\displaystyle f}
⟨ f 、 g ⟩ L 2 = ∫ − ∞ ∞ f （ x ） ⋅ g （ x ） ¯ d x 。 {\displaystyle \langle f,g\rangle _{L^{2}}=\int _{-\infty }^{\infty }f(x)\cdot {\overline {g(x)}}\,dx.} これは閉部分空間であるためL 2 （ R ） {\displaystyle L^{2}(\mathbb {R} )} H {\displaystyle H} R {\displaystyle \mathbb {R} } リーマン・ルベーグ の補題による。実際、H {\displaystyle H} R {\displaystyle \mathbb {R} } ペイリー・ウィーナーの定理 により、正則関数の 全体について。
フーリエ反転定理 より、
f （ x ） = 1 2 π ∫ − 1 1 F （ ω ） e 私 x ω d ω 。 {\displaystyle f(x)={\frac {1}{2\pi }}\int _{-a}^{a}F(\omega )e^{ix\omega }\,d\omega .} コーシー・シュワルツの不等式 とプランシュレルの定理 により、すべてのx {\displaystyle x}
| f （ x ） | ≤ 1 2 π 2 1 ∫ − 1 1 | F （ ω ） | 2 d ω = 2 1 2 π ∫ − ∞ ∞ | F （ ω ） | 2 d ω = 1 π ‖ f ‖ L 2 。 {\displaystyle |f(x)|\leq {\frac {1}{2\pi }}{\sqrt {2a\int _{-a}^{a}|F(\omega )|^{2}\,d\omega }}={\frac {\sqrt {2a}}{2\pi }}{\sqrt {\int _{-\infty }^{\infty }|F(\omega )|^{2}\,d\omega }}={\sqrt {\frac {a}{\pi }}}\|f\|_{L^{2}}.} この不等式は評価関数が有界であることを示しており、H {\displaystyle H}
カーネル関数K x {\displaystyle K_{x}}
K x （ y ） = 1 π シン （ 1 π （ y − x ） ） = 罪 （ 1 （ y − x ） ） π （ y − x ） 。 {\displaystyle K_{x}(y)={\frac {a}{\pi }}\operatorname {sinc} \left({\frac {a}{\pi }}(y-x)\right)={\frac {\sin(a(y-x))}{\pi (y-x)}}.} フーリエ変換K x （ y ） {\displaystyle K_{x}(y)}
∫ − ∞ ∞ K x （ y ） e − 私 ω y d y = { e − 私 ω x もし ω ∈ [ − 1 、 1 ] 、 0 さもないと 、 {\displaystyle \int _{-\infty }^{\infty }K_{x}(y)e^{-i\omega y}\,dy={\begin{cases}e^{-i\omega x}&{\text{if }}\omega \in [-a,a],\\0&{\textrm {otherwise}},\end{cases}}} これはフーリエ変換の時間シフト特性 の結果である。したがって、プランシュレルの定理 を用いると、次のようになる。
⟨ f 、 K x ⟩ L 2 = ∫ − ∞ ∞ f （ y ） ⋅ K x （ y ） ¯ d y = 1 2 π ∫ − 1 1 F （ ω ） ⋅ e 私 ω x d ω = f （ x ） 。 {\displaystyle \langle f,K_{x}\rangle _{L^{2}}=\int _{-\infty }^{\infty }f(y)\cdot {\overline {K_{x}(y)}}\,dy={\frac {1}{2\pi }}\int _{-a}^{a}F(\omega )\cdot e^{i\omega x}\,d\omega =f(x).} こうして、核の再生性質が得られる。
K x {\displaystyle K_{x}} ディラックのデルタ関数 の「帯域制限バージョン」であり、K x （ y ） {\displaystyle K_{x}(y)} δ （ y − x ） {\displaystyle \delta (y-x)} 1 {\displaystyle a}
再生核ヒルベルト空間が、対称かつ正定値な再生核関数を定義することを見てきました。ムーア・アロンシャインの定理はこれとは逆の方向を示しており、すべての対称かつ正定値な核が、一意の再生核ヒルベルト空間を定義すると述べています。この定理は、アロンシャインの著書 『再生核の理論』 に初めて登場しましたが、彼はそれをEHムーア に帰属させています。
定理 。集合X上の対称かつ 正定値な核 K が存在するとする。このとき、 K が再生核となるような、X 上の関数のヒルベルト空間が一意に存在する。証明 。X のすべてのx に対して、K x K ( x , ⋅ ) と定義する。H 0 を{ K x x ∈ X }の線形スパン とする。H 0 上の内積を次のように定義する。
⟨ ∑ j = 1 n b j K y j 、 ∑ 私 = 1 m 1 私 K x 私 ⟩ H 0 = ∑ 私 = 1 m ∑ j = 1 n 1 私 b j K （ y j 、 x 私 ） 、 {\displaystyle \left\langle \sum _{j=1}^{n}b_{j}K_{y_{j}},\sum _{i=1}^{m}a_{i}K_{x_{i}}\right\rangle _{H_{0}}=\sum _{i=1}^{m}\sum _{j=1}^{n}{a_{i}}b_{j}K(y_{j},x_{i}),} これは、K （ x 、 y ） = ⟨ K x 、 K y ⟩ H 0 {\displaystyle K(x,y)=\left\langle K_{x},K_{y}\right\rangle _{H_{0}}} K の対称性から導かれ、非退化性はK が正定値であることから導かれる。
H を この内積に関するH 0 の完備化 とする。するとH は 次の形式の関数から構成される。
f （ x ） = ∑ 私 = 1 ∞ 1 私 K x 私 （ x ） どこ リム n → ∞ すする p ≥ 0 ‖ ∑ 私 = n n + p 1 私 K x 私 ‖ H 0 = 0. {\displaystyle f(x)=\sum _{i=1}^{\infty }a_{i}K_{x_{i}}(x)\quad {\text{where}}\quad \lim _{n\to \infty }\sup _{p\geq 0}\left\|\sum _{i=n}^{n+p}a_{i}K_{x_{i}}\right\|_{H_{0}}=0.} ここで、再生性質（2
⟨ f 、 K x ⟩ H = ∑ 私 = 1 ∞ 1 私 ⟨ K x 私 、 K x ⟩ H 0 = ∑ 私 = 1 ∞ 1 私 K （ x 私 、 x ） = f （ x ） 。 {\displaystyle \langle f,K_{x}\rangle _{H}=\sum _{i=1}^{\infty }a_{i}\left\langle K_{x_{i}},K_{x}\right\rangle _{H_{0}}=\sum _{i=1}^{\infty }a_{i}K(x_{i},x)=f(x).} 一意性を証明するために、G を K が再生核である関数の別のヒルベルト空間とする。Xのすべてのx とy に対して、( 2 。
⟨ K x 、 K y ⟩ H = K （ x 、 y ） = ⟨ K x 、 K y ⟩ G 。 {\displaystyle \langle K_{x},K_{y}\rangle _{H}=K(x,y)=\langle K_{x},K_{y}\rangle _{G}.} 線形性により、⟨ ⋅ 、 ⋅ ⟩ H = ⟨ ⋅ 、 ⋅ ⟩ G {\displaystyle \langle \cdot ,\cdot \rangle _{H}=\langle \cdot ,\cdot \rangle _{G}} { K x : x ∈ X } {\displaystyle \{K_{x}:x\in X\}} H ⊂ G {\displaystyle H\subset G} G は完全であり、H 0 を含み、したがってその完全性を含んでいるからである。
ここで、 G のすべての要素がH に含まれることを証明する必要があります。f {\displaystyle f} G の要素とする。H は G の閉部分空間であるため、 次 のように書くことができる。f = f H + f H ⊥ {\displaystyle f=f_{H}+f_{H^{\bot }}} f H ∈ H {\displaystyle f_{H}\in H} f H ⊥ ∈ H ⊥ {\displaystyle f_{H^{\bot }}\in H^{\bot }} x ∈ X {\displaystyle x\in X} Kは G とH の再生核であるため、
f （ x ） = ⟨ K x 、 f ⟩ G = ⟨ K x 、 f H ⟩ G + ⟨ K x 、 f H ⊥ ⟩ G = ⟨ K x 、 f H ⟩ G = ⟨ K x 、 f H ⟩ H = f H （ x ） 、 {\displaystyle f(x)=\langle K_{x},f\rangle _{G}=\langle K_{x},f_{H}\rangle _{G}+\langle K_{x},f_{H^{\bot }}\rangle _{G}=\langle K_{x},f_{H}\rangle _{G}=\langle K_{x},f_{H}\rangle _{H}=f_{H}(x),} ここで我々は、K x {\displaystyle K_{x}} H に属するので、その内積はf H ⊥ {\displaystyle f_{H^{\bot }}} G の値はゼロです。これは、f = f H {\displaystyle f=f_{H}} G において証明を完了する。
対称正定値カーネルを特徴づけることができる。K {\displaystyle K} マーサーの定理 を用いた積分演算子を介して、RKHSの別の視点を得る。X {\displaystyle X} 厳密に正の有限ボレル測度 を備えたコンパクト空間である。μ {\displaystyle \mu } K : X × X → R {\displaystyle K:X\times X\to \mathbb {R} } T K : L 2 （ X ） → L 2 （ X ） {\displaystyle T_{K}:L_{2}(X)\to L_{2}(X)}
[ T K f ] （ ⋅ ） = ∫ X K （ ⋅ 、 t ） f （ t ） d μ （ t ） {\displaystyle [T_{K}f](\cdot )=\int _{X}K({}\cdot {},t)f(t)\,d\mu (t)} どこL 2 （ X ） {\displaystyle L_{2}(X)} μ {\displaystyle \mu }
マーサーの定理は、積分演算子のスペクトル分解がT K {\displaystyle T_{K}} K {\displaystyle K} K {\displaystyle K} T K {\displaystyle T_{K}} K {\displaystyle K}
これらの仮定の下でT K {\displaystyle T_{K}} 正の作用素 である。自己共役作用素のスペクトル定理 によれば、減少列は高々可算個存在する。（ σ 私 ） 私 ≥ 0 {\displaystyle (\sigma _{i})_{i\geq 0}} リム 私 → ∞ σ 私 = 0 {\textstyle \lim _{i\to \infty }\sigma _{i}=0} T K φ 私 （ x ） = σ 私 φ 私 （ x ） {\displaystyle T_{K}\varphi _{i}(x)=\sigma _{i}\varphi _{i}(x)} { φ 私 } {\displaystyle \{\varphi _{i}\}} L 2 （ X ） {\displaystyle L_{2}(X)} T K 、 σ 私 > 0 {\displaystyle T_{K},\sigma _{i}>0} 私 。 {\displaystyle i.} T K {\displaystyle T_{K}} C （ X ） {\displaystyle C(X)} φ 私 ∈ C （ X ） {\displaystyle \varphi _{i}\in C(X)} 私 。 {\displaystyle i.} K {\displaystyle K}
K （ x 、 y ） = ∑ j = 1 ∞ σ j φ j （ x ） φ j （ y ） {\displaystyle K(x,y)=\sum _{j=1}^{\infty }\sigma _{j}\,\varphi _{j}(x)\,\varphi _{j}(y)} すべての人々のためにx 、 y ∈ X {\displaystyle x,y\in X}
リム n → ∞ すする u 、 v | K （ u 、 v ） − ∑ j = 1 n σ j φ j （ u ） φ j （ v ） | = 0. {\displaystyle \lim _{n\to \infty }\sup _{u,v}\left|K(u,v)-\sum _{j=1}^{n}\sigma _{j}\,\varphi _{j}(u)\,\varphi _{j}(v)\right|=0.} 上記の級数表現は、マーサーカーネルまたはマーサー表現と呼ばれます。K {\displaystyle K}
さらに、RKHSはH {\displaystyle H} K {\displaystyle K}
H = { f ∈ L 2 （ X ） | ∑ 私 = 1 ∞ ⟨ f 、 φ 私 ⟩ L 2 2 σ 私 < ∞ } {\displaystyle H=\left\{f\in L_{2}(X)\,{\Bigg \vert }\,\sum _{i=1}^{\infty }{\frac {\left\langle f,\varphi _{i}\right\rangle _{L_{2}}^{2}}{\sigma _{i}}}<\infty \right\}} ここで、H {\displaystyle H}
⟨ f 、 g ⟩ H = ∑ 私 = 1 ∞ ⟨ f 、 φ 私 ⟩ L 2 ⟨ g 、 φ 私 ⟩ L 2 σ 私 。 {\displaystyle \left\langle f,g\right\rangle _{H}=\sum _{i=1}^{\infty }{\frac {\left\langle f,\varphi _{i}\right\rangle _{L_{2}}\left\langle g,\varphi _{i}\right\rangle _{L_{2}}}{\sigma _{i}}}.} このRKHSの表現は、確率論や統計学において応用されており、例えば確率過程のカルーネン・レーヴェ表現 やカーネルPCA などに用いられています。
不動産 RKHSの有用な特性：
させて（ X 私 ） 私 = 1 p {\displaystyle (X_{i})_{i=1}^{p}} （ K 私 ） 私 = 1 p {\displaystyle (K_{i})_{i=1}^{p}} （ X 私 ） 私 = 1 p 。 {\displaystyle (X_{i})_{i=1}^{p}.} K （ （ x 1 、 … 、 x p ） 、 （ y 1 、 … 、 y p ） ） = K 1 （ x 1 、 y 1 ） ⋯ K p （ x p 、 y p ） {\displaystyle K((x_{1},\ldots ,x_{p}),(y_{1},\ldots ,y_{p}))=K_{1}(x_{1},y_{1})\cdots K_{p}(x_{p},y_{p})} カーネルはX = X 1 × ⋯ × X p 。 {\displaystyle X=X_{1}\times \dots \times X_{p}.} させてX 0 ⊂ X 、 {\displaystyle X_{0}\subset X,} K {\displaystyle K} X 0 × X 0 {\displaystyle X_{0}\times X_{0}} 正規化されたカーネルを考えてみましょうK {\displaystyle K} K （ x 、 x ） = 1 {\displaystyle K(x,x)=1} x ∈ X {\displaystyle x\in X} d K （ x 、 y ） = ‖ K x − K y ‖ H 2 = 2 （ 1 − K （ x 、 y ） ） ∀ x ∈ X 。 {\displaystyle d_{K}(x,y)=\|K_{x}-K_{y}\|_{H}^{2}=2(1-K(x,y))\qquad \forall x\in X.} コーシー・シュワルツの不等式 により、 K （ x 、 y ） 2 ≤ K （ x 、 x ） K （ y 、 y ） = 1 ∀ x 、 y ∈ X 。 {\displaystyle K(x,y)^{2}\leq K(x,x)K(y,y)=1\qquad \forall x,y\in X.} この不等式により、K {\displaystyle K} 入力間の類似性の尺度 として。x 、 y ∈ X {\displaystyle x,y\in X} K （ x 、 y ） {\displaystyle K(x,y)} x 、 y ∈ X {\displaystyle x,y\in X} K （ x 、 y ） {\displaystyle K(x,y)} 橋梁の閉鎖{ K x ∣ x ∈ X } {\displaystyle \{K_{x}\mid x\in X\}} H {\displaystyle H} 9 ]
一般的な例
多項式カーネル K （ x 、 y ） = （ α ⟨ x 、 y ⟩ + 1 ） d 、 α ∈ R 、 d ∈ N {\displaystyle K(x,y)=(\alpha \langle x,y\rangle +1)^{d},\qquad \alpha \in \mathbb {R} ,d\in \mathbb {N} }
ベクトル値関数への拡張 このセクションでは、RKHSの定義をベクトル値関数の空間に拡張します。この拡張は、マルチタスク学習 や多様体正則化 において特に重要です。主な違いは、再生核がΓ {\displaystyle \Gamma } 行列である。 x 、 y {\displaystyle x,y} X {\displaystyle X} f : X → R T {\displaystyle f:X\to \mathbb {R} ^{T}} c ∈ R T {\displaystyle c\in \mathbb {R} ^{T}} x ∈ X {\displaystyle x\in X}
Γ x c （ y ） = Γ （ x 、 y ） c ∈ H のために y ∈ X {\displaystyle \Gamma _{x}c(y)=\Gamma (x,y)c\in H{\text{ for }}y\in X} そして
⟨ f 、 Γ x c ⟩ H = f （ x ） ⊺ c 。 {\displaystyle \langle f,\Gamma _{x}c\rangle _{H}=f(x)^{\intercal }c.} この2番目の性質は、スカラー値の場合の再生性質と類似しています。この定義は、スカラー値RKHSで見たように、積分演算子、有界評価関数、および特徴マップにも関連付けることができます。vvRKHSを有界評価関数を持つベクトル値ヒルベルト空間として等価に定義し、リース表現定理により一意の再生核の存在を示すことができます。マーサーの定理もベクトル値設定に拡張でき、vvRKHSの特徴マップビューを取得できます。最後に、スパンの閉包も示すことができます。{ Γ x c : x ∈ X 、 c ∈ R T } {\displaystyle \{\Gamma _{x}c:x\in X,c\in \mathbb {R} ^{T}\}} H {\displaystyle H}
これらの空間を成分ごとの視点から捉えることで、vvRKHSに対する直感的な理解が得られます。特に、すべてのvvRKHSは、特定の入力空間上のスカラー値RKHSと等長的に同型で あることがわかります。Λ = { 1 、 … 、 T } {\displaystyle \Lambda =\{1,\dots ,T\}} X × Λ {\displaystyle X\times \Lambda }
上記のように、この再生核に関連付けられたRKHSは、次のスパンの閉包によって与えられます。{ γ （ x 、 t ） : x ∈ X 、 t ∈ Λ } {\displaystyle \{\gamma _{(x,t)}:x\in X,t\in \Lambda \}} γ （ x 、 t ） （ y 、 s ） = γ （ （ x 、 t ） 、 （ y 、 s ） ） {\displaystyle \gamma _{(x,t)}(y,s)=\gamma ((x,t),(y,s))} （ x 、 t ） 、 （ y 、 s ） ∈ X × Λ {\displaystyle (x,t),(y,s)\in X\times \Lambda }
スカラー値RKHSとの関連性は、すべての行列値カーネルが（4
Γ （ x 、 y ） （ t 、 s ） = γ （ （ x 、 t ） 、 （ y 、 s ） ） 。 {\displaystyle \Gamma (x,y)_{(t,s)}=\gamma ((x,t),(y,s)).} さらに、( 4 D : H Γ → H γ {\displaystyle D:H_{\Gamma }\to H_{\gamma }}
（ D f ） （ x 、 t ） = ⟨ f （ x ） 、 e t ⟩ R T {\displaystyle (Df)(x,t)=\langle f(x),e_{t}\rangle _{\mathbb {R} ^{T}}} どこe t {\displaystyle e_{t}} t th {\displaystyle t^{\text{th}}} R T {\displaystyle \mathbb {R} ^{T}} D {\displaystyle D} H Γ {\displaystyle H_{\Gamma }} H γ {\displaystyle H_{\gamma }}
vvRKHS のこの見方はマルチタスク学習に役立つ可能性があるが、この等長性によってベクトル値の場合の研究がスカラー値の場合の研究に縮小されるわけではない。実際、この等長性手順では、元のカーネルの特性が失われることが多いため、スカラー値カーネルと入力空間の両方を実際に扱うのが非常に難しくなる可能性がある。[ 12 ] [ 13 ] [ 14 ]
行列 値再生核の重要なクラスは、スカラー値核とT {\displaystyle T}
γ （ （ x 、 t ） 、 （ y 、 s ） ） = K （ x 、 y ） K T （ t 、 s ） {\displaystyle \gamma ((x,t),(y,s))=K(x,y)K_{T}(t,s)} すべての人々のためにx 、 y {\displaystyle x,y} X {\displaystyle X} t 、 s {\displaystyle t,s} T {\displaystyle T}
最後に、上記の理論は関数空間に値をとる関数の空間にさらに拡張できるが、これらの空間の核を得ることはより困難な作業であることを述べておく。[ 15 ]
RKHSとReLU関数との関連性 ReLU関数 は一般的に次のように定義されます。f （ x ） = 最大 { 0 、 x } {\displaystyle f(x)=\max\{0,x\}}
私たちはヒルベルト空間で作業しますH = L 2 1 （ 0 ） [ 0 、 ∞ ） {\displaystyle {\mathcal {H}}=L_{2}^{1}(0)[0,\infty )} f （ 0 ） = 0 {\displaystyle f(0)=0} L 2 {\displaystyle L_{2}}
⟨ f 、 g ⟩ H = ∫ 0 ∞ f ′ （ x ） g ′ （ x ） d x 。 {\displaystyle \langle f,g\rangle _{\mathcal {H}}=\int _{0}^{\infty }f'(x)g'(x)\,dx.} 再生核を構築するには、稠密な部分空間を考慮すれば十分である。f ∈ C 1 [ 0 、 ∞ ） {\displaystyle f\in C^{1}[0,\infty )} f （ 0 ） = 0 {\displaystyle f(0)=0}
f （ y ） = ∫ 0 y f ′ （ x ） d x = ∫ 0 ∞ G （ x 、 y ） f ′ （ x ） d x = ⟨ K y 、 f ⟩ {\displaystyle f(y)=\int _{0}^{y}f'(x)\,dx=\int _{0}^{\infty }G(x,y)f'(x)\,dx=\langle K_{y},f\rangle } どこ
G （ x 、 y ） = { 1 、 x < y 0 、 さもないと {\displaystyle G(x,y)={\begin{cases}1,&x<y\\0,&{\text{otherwise}}\end{cases}}} そしてK y ′ （ x ） = G （ x 、 y ） 、 K y （ 0 ） = 0 {\displaystyle K_{y}'(x)=G(x,y),\ K_{y}(0)=0}
K （ x 、 y ） = K y （ x ） = ∫ 0 x G （ z 、 y ） d z = { x 、 0 ≤ x < y y 、 さもないと。 = ミニ （ x 、 y ） {\displaystyle K(x,y)=K_{y}(x)=\int _{0}^{x}G(z,y)\,dz={\begin{cases}x,&0\leq x<y\\y,&{\text{otherwise.}}\end{cases}}=\min(x,y)} これは、K y = K （ ⋅ 、 y ） {\displaystyle K_{y}=K(\cdot ,y)} f {\displaystyle f}
さらに、最小関数はX × X = [ 0 、 ∞ ） × [ 0 、 ∞ ） {\displaystyle X\times X=[0,\infty )\times [0,\infty )}
ミニ （ x 、 y ） = x − ReLU （ x − y ） = y − ReLU （ y − x ） 。 {\displaystyle \min(x,y)=x-\operatorname {ReLU} (x-y)=y-\operatorname {ReLU} (y-x).} この定式化を用いることで、表現定理を RKHSに適用することができ、ニューラルネットワークの設定においてReLU活性化関数を使用することの最適性を証明できる。
注記 ↑ Alpay, D.、および TM Mills。「再生核ヒルベルト空間ではないヒルベルト空間の族」。J. Anal. Appl. 1.2 (2003): 107–111。 ↑ Z. Pasternak-Winiarski、「ベルグマン型の再生核を許容する重みについて」、 International Journal of Mathematics and Mathematical Sciences 、第15巻、第1号、1992年。 ↑ T. Ł. Żynda、「Szegő型の再生核を許容する重みについて」、現代数学解析ジャーナル （アルメニア科学アカデミー）、55、2020年。 ↑ Zaremba, S. L'équation biharmonique et une classe remarquable de fonctions Fondamentales harmoniques.クラカウアー アンツァイガー、147-196 (1907) ↑ Okutmustur ↑ ポールソン ↑ デュレット ↑ ロサスコ ↑ ロサスコ ↑ Berlinet, Alain および Thomas, Christine.『確率と統計における核ヒルベルト空間の再現』 、Kluwer Academic Publishers、2004年 ↑ Thomas-Agnan C. 統計的応用における再生核族の計算。数値アルゴリズム、13、pp. 21-32 (1996) ↑ デ・ヴィート ↑ 張 ↑ アルバレス ↑ ロサスコ
参考文献 Alvarez, Mauricio、Rosasco, Lorenzo、Lawrence, Neil、「ベクトル値関数のカーネル：レビュー」、https://arxiv.org/abs/1106.6251、2011年6月。 Aronszajn, Nachman (1950). "再生核の理論" . Transactions of the American Mathematical Society 68 (3): 337– 404. Bibcode : 1950TAMS...68..337A . doi : 10.1090/S0002-9947-1950-0051437-7 . JSTOR 1990404 . MR 0051437 . Berlinet, Alain および Thomas, Christine. 『確率と統計における核ヒルベルト空間の再現』 、Kluwer Academic Publishers、2004 年。 Cucker, Felipe; Smale, Steve (2002). 「学習の数学的基礎について」 .アメリカ数学会報 39 (1): 1– 49. doi : 10.1090/S0273-0979-01-00923-5 . MR 1864085 . De Vito, Ernest、Umanita, Veronica、および Villa, Silvia。「ベクトル値可測カーネルへのマーサー定理の拡張」arXiv : 1110.4017 、2013年6月。 Durrett, Greg. 9.520 コースノート、マサチューセッツ工科大学、https://www.mit.edu/~9.520/scribe-notes/class03_gdurett.pdf、2010年2月。 Kimeldorf, George; Wahba, Grace (1971). "チェビシェフ・スプライン関数に関するいくつかの結果" (PDF) . Journal of Mathematical Analysis and Applications . 33 (1): 82– 95. Bibcode : 1971JMAA...33...82K . doi : 10.1016/0022-247X(71)90184-3 . MR 0290013 . Okutmustur, Baver.「核ヒルベルト空間の再現」修士論文、ビルケント大学、https://users.metu.edu.tr/baver/MS.Thesis.pdf、2005年8月。 Paulsen, Vern.「再生核ヒルベルト空間の理論入門」https://citeseerx.ist.psu.edu/document?repid=rep1&type=pdf&doi=440218056738e05b5ab43679f932a9f33fccee87。 Steinwart, Ingo; Scovel, Clint (2012). "Mercer's theorem on general domains: On the interaction between measures, kernels, and RKHSs". Constr . Approx . 35 (3): 363–417 . doi : 10.1007/s00365-012-9153-3 . MR 2914365. S2CID 253885172 . Rosasco, Lorenzo および Poggio, Thomas。「機械学習の正則化ツアー – MIT 9.520 講義ノート」原稿、2014 年 12 月。 Wahba, Grace 、 「観測データのためのスプラインモデル」 、SIAM、1990年。Zhang, Haizhang; Xu, Yuesheng; Zhang, Qinghui (2012). "演算子値再生カーネルの改良" (PDF) . Journal of Machine Learning Research . 13 : 91– 136. 
![{\displaystyle H=\{f\in L^{2}(\mathbb {R} )\mid \operatorname {supp} (F)\subset [-a,a]\}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/0ad13dd82638bf1f2de99f35e2c4bebdf6cca424)
![{\displaystyle \int _{-\infty }^{\infty }K_{x}(y)e^{-i\omega y}\,dy={\begin{cases}e^{-i\omega x}&{\text{if }}\omega \in [-a,a],\\0&{\textrm {otherwise}},\end{cases}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/32c5e063487a695bfe59cc06ea9049c29b8955d5)
=\int _{X}K({}\cdot {},t)f(t)\,d\mu (t)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/365874eb322ccc3eea99386414942743986ed7f8)
