正則化（数学）

検証パフォーマンスが低下した時点でトレーニングを停止し、モデルがトレーニングデータを記憶する前に停止することで過学習を防ぎます。^{[ 5 ]}

複雑なモデルを抑制するために、コスト関数にペナルティ項を追加します。

• L1正則化（LASSOとも呼ばれる）は、係数の絶対値に基づくペナルティを加えることで、スパースなモデルを生成する。
• L2正則化（リッジ回帰とも呼ばれる）は、係数の二乗に基づくペナルティを追加することで、より小さく均等に分布した重みを促します。^{[ 5 ]}

ニューラルネットワークの文脈では、ドロップアウト技術はトレーニング中にニューロンのランダムなサブセットを繰り返し無視することで、複数のニューラルネットワークアーキテクチャを同時にトレーニングすることをシミュレートし、汎化性能を向上させます。^{[ 5 ]}

正則化は、学習済みモデルの汎化性能を向上させるための手法として正当化される。

この学習問題の目標は、考えられるすべての入力とラベルに対して期待誤差を最小化する、結果（ラベル）に適合または予測する関数を見つけることです。関数の期待誤差とは、${\displaystyle f_{n}}$は： $${\displaystyle I[f_{n}]=\int _{X\times Y}V(f_{n}(x),y)\rho (x,y)\,dx\,dy}$$ どこ${\displaystyle X}$そして${\displaystyle Y}$入力データのドメインは${\displaystyle x}$そしてそれらのラベル${\displaystyle y}$それぞれ。

学習問題では、通常、入力データとラベルのサブセットのみが利用可能であり、ノイズが伴って測定されます。したがって、期待される誤差は測定不可能であり、利用可能な最良の代替手段は、経験的誤差です。${\displaystyle N}$入手可能なサンプル： $${\displaystyle I_{S}[f_{n}]={\frac {1}{n}}\sum _{i=1}^{N}V(f_{n}({\hat {x}}_{i}),{\hat {y}}_{i})}$$ 関数空間（正式には再生核ヒルベルト空間）の複雑さに制限がない場合、代理経験誤差で損失がゼロになるモデルが学習されます。測定値（例：${\displaystyle x_{i}}$ノイズを含む関数空間では、このモデルは過学習を起こし、期待誤差が悪化する可能性があります。正則化は、モデル構築に使用される関数空間の特定の領域を探索する際にペナルティを導入し、汎化性能を向上させることができます。

最小二乗損失関数とティホノフ正則化を用いた学習問題は解析的に解くことができる。行列形式で記述すると、最適な${\displaystyle w}$損失関数の勾配が${\displaystyle w}$0です。 $${\displaystyle \min _{w}{\frac {1}{n}}\left({\hat {X}}wY\right)^{\mathsf {T}}\left({\hat {X}}wY\right)+\lambda \left\|w\right\|_{2}^{2}}$$$${\displaystyle \nabla _{w}={\frac {2}{n}}{\hat {X}}^{\mathsf {T}}\left({\hat {X}}wY\right)+2\lambda w}$$$${\displaystyle 0={\hat {X}}^{\mathsf {T}}\left({\hat {X}}wY\right)+n\lambda w}$$$${\displaystyle w=\left({\hat {X}}^{\mathsf {T}}{\hat {X}}+\lambda nI\right)^{-1}\left({\hat {X}}^{\mathsf {T}}Y\right)}$$ ここで、3番目の文は一階条件です。

最適化問題の構築により、他の値は${\displaystyle w}$損失関数に大きな値を与える。これは、 2階微分を調べることで確認できる。${\displaystyle \nabla _{ww}}$。

トレーニング中、このアルゴリズムは${\displaystyle O(d^{3}+nd^{2})}$時間。これらの項は行列の逆行列計算に対応します。${\displaystyle X^{\mathsf {T}}X}$それぞれ。テストには${\displaystyle O(nd)}$時間。

可逆行列Aのノイマン級数の有限近似を考える。${\displaystyle \left\|IA\right\|<1}$: $$\displaystyle \sum _{i=0}^{T-1}\left(IA\right)^{i}\approx A^{-1}}$$

これは、ノルムが1未満になるように γを導入すれば、非正則化最小二乗法の解析解を近似するために使用できる。$${\displaystyle w_{T}={\frac {\gamma }{n}}\sum _{i=0}^{T-1}\left(I-{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {X}}\right)^{i}{\hat {X}}^{\mathsf {T}}{\hat {Y}}}$$

非正則化最小二乗学習問題の厳密解は経験誤差を最小化しますが、失敗する可能性があります。上記のアルゴリズムにおける唯一の自由パラメータであるTを制限することで、問題は時間に関して正則化され、汎化性能が向上する可能性があります。

上記のアルゴリズムは、経験的リスクに対する勾配降下法の反復回数を制限することと同等である。 $${\displaystyle I_{s}[w]={\frac {1}{2n}}\left\|{\hat {X}}w-{\hat {Y}}\right\|_{\mathbb {R} ^{n}}^{2}}$$ 勾配降下法の更新により： $${\displaystyle {\begin{aligned}w_{0}&=0\\[1ex]w_{t+1}&=\left(I-{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {X}}\right)w_{t}+{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {Y}}\end{aligned}}}$$

基本ケースは自明である。帰納的ケースは次のように証明される。 $${\displaystyle {\begin{aligned}w_{T}&=\left(I-{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {X}}\right){\frac {\gamma }{n}}\sum _{i=0}^{T-2}\left(I-{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {X}}\right)^{i}{\hat {X}}^{\mathsf {T}}{\hat {Y}}+{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {Y}}\\[1ex]&={\frac {\gamma }{n}}\sum _{i=1}^{T-1}\left(I-{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {X}}\right)^{i}{\hat {X}}^{\mathsf {T}}{\hat {Y}}+{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {Y}}\\[1ex]&={\frac {\gamma }{n}}\sum _{i=0}^{T-1}\left(I-{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {X}}\right)^{i}{\hat {X}}^{\mathsf {T}}{\hat {Y}}\end{aligned}}}$$

一方で${\displaystyle L_{1}}$ノルムはNP困難問題にはならない、${\displaystyle L_{1}}$ノルムは凸関数ですが、x = 0 で折れ曲がるため厳密には微分可能ではありません。劣微分に依存する劣勾配法を使用して解くことができます。${\displaystyle L_{1}}$正則化学習問題。ただし、近接法を用いることでより速い収束を実現できる。

問題に対して${\displaystyle \min _{w\in H}F(w)+R(w)}$そのため${\displaystyle F}$凸関数であり、連続関数であり、微分可能であり、リプシッツ連続勾配を持ち（最小二乗損失関数など）、${\displaystyle R}$が凸関​​数、連続関数、かつ適切な関数である場合、問題を解くための近接法は次のようになります。まず、近接演算子を定義します。$${\displaystyle \operatorname {prox} _{R}(v)=\mathop {\operatorname {argmin} } _{w\in \mathbb {R} ^{D}}\left\{R(w)+{\frac {1}{2}}\left\|w-v\right\|^{2}\right\},}$$ そして反復する $${\displaystyle w_{k+1}=\mathop {\operatorname {prox} } _{\gamma ,R}\left(w_{k}-\gamma \nabla F(w_{k})\right)}$$

近接法は、勾配降下を繰り返し実行し、その結果を、によって許可された空間に投影します。${\displaystyle R}$。

いつ${\displaystyle R}$はL ₁正則化子であり、近接演算子はソフト閾値演算子と同等である。 $${\displaystyle S_{\lambda }(v)f(n)={\begin{cases}v_{i}-\lambda ,&{\text{if }}v_{i}>\lambda \\0,&{\text{if }}v_{i}\in [-\lambda ,\lambda ]\\v_{i}+\lambda ,&{\text{if }}v_{i}<-\lambda \end{cases}}}$$

これにより、効率的な計算が可能になります。

特徴量のグループは、疎性制約によって正規化することができ、これは特定の事前知識を最適化問題として表現するのに役立つ。

重複しない既知のグループを持つ線形モデルの場合、正則化項を定義できます。 $${\displaystyle R(w)=\sum _{g=1}^{G}\left\|w_{g}\right\|_{2},}$$どこ$${\displaystyle \|w_{g}\|_{2}={\sqrt {\sum _{j=1}^{|G_{g}|}\left(w_{g}^{j}\right)^{2}}}}$$

これは、正則化項を誘導するものと見なすことができる。${\displaystyle L_{2}}$各グループのメンバーに対する規範に続いて、${\displaystyle L_{1}}$集団よりも規範を優先する。

これは近接法によって解決でき、近接演算子はブロック単位のソフト閾値処理関数である。

$${\displaystyle \operatorname {prox} \limits _{\lambda ,R,g}(w_{g})={\begin{cases}\left(1-{\dfrac {\lambda }{\left\|w_{g}\right\|_{2}}}\right)w_{g},&{\text{if }}\left\|w_{g}\right\|_{2}>\lambda \\[1ex]0,&{\text{if }}\|w_{g}\|_{2}\leq \lambda \end{cases}}}$$

重複のないグループの疎性について説明したアルゴリズムは、特定の状況下では、グループが重複する場合にも適用できます。その結果、すべての要素がゼロのグループと、非ゼロ要素とゼロ要素が混在するグループが生じる可能性があります。

グループ構造を維持したい場合は、新しい正則化項を定義できます。 $${\displaystyle R(w)=\inf \left\{\sum _{g=1}^{G}\|w_{g}\|_{2}:w=\sum _{g=1}^{G}{\bar {w}}_{g}\right\}}$$

各${\displaystyle w_{g}}$、${\displaystyle {\bar {w}}_{g}}$は、制限されるベクトルとして定義されます。${\displaystyle {\bar {w}}_{g}}$グループへ${\displaystyle g}$等しい${\displaystyle w_{g}}$およびその他のすべてのエントリ${\displaystyle {\bar {w}}_{g}}$はゼロです。正則化は、の最適な分解を見つけます。${\displaystyle w}$部分に分割します。これは、複数のグループに存在するすべての要素を複製するものと見なすことができます。この正則化子を用いた学習問題は、複雑な近接法でも解決できます。近接演算子は閉じた形式で計算することはできませんが、近接法の反復の中に内部反復を誘導することで、効果的に反復的に解くことができます。

$${\displaystyle R(w)=\sum _{i=1}^{D}\left\|W\right\|_{2,1}}$$

この正則化項は、各列にL2ノルムを、全列にL1ノルムを定義します。これは近接法によって解くことができます。

$${\displaystyle R(w)=\left\|\sigma (W)\right\|_{1}}$$どこ${\displaystyle \sigma (W)}$は、特異値分解における固有値です。${\displaystyle W}$。

$${\displaystyle R(f_{1}\cdots f_{T})=\sum _{t=1}^{T}\left\|f_{t}-{\frac {1}{T}}\sum _{s=1}^{T}f_{s}\right\|_{H_{k}}^{2}}$$

この正則化項は、各タスクで学習される関数が、すべてのタスクにおける関数の全体平均と類似するように制約します。これは、各タスクが他のタスクと共有することが期待される事前情報を表現するのに役立ちます。例としては、1日の異なる時間帯に測定された血中鉄濃度を予測する場合が挙げられます。この場合、各タスクは個人を表します。

$${\displaystyle R(f_{1}\cdots f_{T})=\sum _{r=1}^{C}\sum _{t\in I(r)}\left\|f_{t}-{\frac {1}{I(r)}}\sum _{s\in I(r)}f_{s}\right\|_{H_{k}}^{2}}$$どこ${\displaystyle I(r)}$タスクの集合体です。

この正則化項は、平均値制約付き正則化項に似ていますが、同じクラスタ内のタスク間の類似性を強制します。これにより、より複雑な事前情報を捉えることができます。この手法は、Netflixのおすすめ予測に用いられてきました。クラスタとは、類似した嗜好を持つ人々のグループを指します。

上記よりも一般的に言えば、タスク間の類似性は関数によって定義できる。正則化項は、類似したタスクに対して類似した関数をモデルが学習するように促す。 $${\displaystyle R(f_{1}\cdots f_{T})=\sum _{t,s=1,t\neq s}^{\mathsf {T}}\left\|f_{t}-f_{s}\right\|^{2}M_{ts}}$$与えられた対称類似度行列に対して${\displaystyle M}$。