ハイパー基底関数ネットワーク

機械学習において、ハイパー基底関数ネットワーク、またはハイパーBFネットワークは、放射基底関数（RBF）ネットワークの概念を一般化したもので、ユークリッド距離の代わりにマハラノビス距離のような距離が使用されます。ハイパー基底関数ネットワークは、1990年の論文「近似と学習のためのネットワーク」でPoggioとGirosiによって初めて紹介されました。^{[ 1 ] [ 2 ]}

典型的なHyperBFネットワーク構造は、実数入力ベクトルから構成される。${\displaystyle x\in \mathbb {R} ^{n}}$活性化関数の隠れ層と線形出力層。ネットワークの出力は入力ベクトルのスカラー関数です。${\displaystyle \phi$ :\mathbb {R} ^{n}\to \mathbb {R} } は次のように与えられる。

${\displaystyle \phi (x)=\sum _{j=1}^{N}a_{j}\rho _{j}(||x-\mu _{j}||)}$

どこ${\displaystyle N}$は隠れ層のニューロンの数です。${\displaystyle \mu _{j}}$ そして${\displaystyle a_{j}}$ニューロンの中心と重み${\displaystyle j}$活性化関数${\displaystyle \rho _{j}(||x-\mu _{j}||)}$HyperBFネットワークでは、次の形式をとります。

${\displaystyle \rho _{j}(||x-\mu _{j}||)=e^{(x-\mu _{j})^{T}R_{j}(x-\mu _{j})}}$

どこ${\displaystyle R_{j}}$正定値である${\displaystyle d\times d}$行列。アプリケーションに応じて、次のタイプの行列${\displaystyle R_{j}}$通常は^{[ 3 ]と考えられている}

• ${\displaystyle R_{j}={\frac {1}{2\sigma ^{2}}}\mathbb {I} _{d\times d}}$、 どこ${\displaystyle \sigma >0}$このケースは、通常のRBFネットワークに対応します。
• ${\displaystyle R_{j}={\frac {1}{2\sigma _{j}^{2}}}\mathbb {I} _{d\times d}}$、 どこ$\displaystyle \sigma _{j}>0}$この場合、基底関数は放射状に対称ですが、幅が異なってスケーリングされています。
• ${\displaystyle R_{j}=diag\left({\frac {1}{2\sigma _{j1}^{2}}},...,{\frac {1}{2\sigma _{jz}^{2}}}\right)\mathbb {I} _{d\times d}}$、 どこ${\displaystyle \sigma _{ji}>0}$すべてのニューロンは、大きさが異なる楕円形をしている。
• 正定値行列であるが、対角行列ではない。

HyperBFネットワークのトレーニングには、重みの推定が含まれます。${\displaystyle a_{j}}$ニューロンの形状と中心${\displaystyle R_{j}}$そして${\displaystyle \mu _{j}}$ポッジョとジロシ（1990）は、移動する中心と適応可能なニューロン形状を用いたトレーニング方法について述べている。その方法の概要を以下に示す。

ネットワークの二次損失を考慮する${\displaystyle H[\phi ^{*}]=\sum _{i=1}^{N}(y_{i}-\phi ^{*}(x_{i}))^{2}}$最適解においては、以下の条件を満たす必要がある。

${\displaystyle {\frac {\partial H(\phi ^{*})}{\partial a_{j}}}=0}$、${\displaystyle {\frac {\partial H(\phi ^{*})}{\partial \mu _{j}}}=0}$、${\displaystyle {\frac {\partial H(\phi ^{*})}{\partial W}}=0}$

どこ${\displaystyle R_{j}=W^{T}W}$勾配降下法では、${\displaystyle a_{j},\mu _{j},W}$最小限に抑える${\displaystyle H[\phi ^{*}]}$以下の動的システムの安定固定点として見出すことができる。

${\displaystyle {\dot {a_{j}}}=-\omega {\frac {\partial H(\phi ^{*})}{\partial a_{j}}}}$、${\displaystyle {\dot {\mu _{j}}}=-\omega {\frac {\partial H(\phi ^{*})}{\partial \mu _{j}}}}$、${\displaystyle {\dot {W}}=-\omega {\frac {\partial H(\phi ^{*})}{\partial W}}}$

どこ${\displaystyle \omega }$収束速度を決定する。

総じて、HyperBFネットワークのトレーニングは計算的に困難を伴う可能性がある。さらに、HyperBFの高い自由度は過学習と汎化性能の低下につながる。しかし、HyperBFネットワークには、少数のニューロンで複雑な関数を学習できるという重要な利点がある。^{[ 2 ]}