オジャのルール

オーヤの学習則、または単にオーヤの法則は、フィンランドのコンピュータ科学者であるエルッキ・オーヤ（フィンランド語の発音： [ˈojɑ]、AW-yuh）にちなんで名付けられ、脳内または人工ニューラルネットワーク内のニューロンが時間の経過とともに接続の強度を変える、つまり学習する方法のモデルです。これは標準的なヘブの法則の修正版であり、乗法正規化を通じてすべての安定性の問題を解決し、主成分分析のアルゴリズムを生成します。これは、生物学的ニューロンで発生すると信じられている効果の計算形式です。

オジャの法則を導くには多くの簡略化が必要ですが、最終的な形はヘブの法則とは異なり、明らかに安定しています。これは、一般化ヘブビアン アルゴリズムの単一ニューロンの特殊なケースです。ただし、オジャの法則は、さまざまなレベルの安定性と成功度で他の方法で一般化することもできます。

シナプス前重みw を使用して入力xの線形結合を返すニューロンの単純化されたモデルを考えます。 ${\displaystyle y}$

${\displaystyle \,y(\mathbf {x} )~=~\sum _{j=1}^{m}x_{j}w_{j}}$

オジャの法則は、ニューロンの入力xに対する出力応答が与えられた場合のシナプス前重みwの変化を次のよう に定義する。${\displaystyle y}$

${\displaystyle \,\Delta \mathbf {w} ~=~\mathbf {w} _{n+1}-\mathbf {w} _{n}~=~\eta \,y_{n}(\mathbf {x} _{n}-y_{n}\mathbf {w} _{n}),}$

ここでηは学習率であり、これも時間とともに変化する。太字の記号はベクトルであり、nは離散時間の反復を定義することに注意されたい。この規則は連続反復に対しても適用できる。

${\displaystyle \,{\frac {d\mathbf {w} }{dt}}~=~\eta \,y(t)(\mathbf {x} (t)-y(t)\mathbf {w} (t))。}$

最も単純な学習法則として知られているのはヘブの法則であり、概念的には、同時に発火するニューロンは互いに結びつくというものである。差分方程式の成分形式では、次のように表される。

${\displaystyle \,\Delta \mathbf {w} ~=~\eta \,y(\mathbf {x} _{n})\mathbf {x} _{n}}$、

または暗黙のn依存性を持つスカラー形式では 、

${\displaystyle \,w_{i}(n+1)~=~w_{i}(n)+\eta \,y(\mathbf {x} )x_{i}}$、

ここでy ( x _n )は再び出力ですが、今回は入力ベクトルxに明示的に依存します。

ヘブの法則では、学習率が正の場合、シナプスの重みは無限大に近づきます。重みを正規化して、各重みの大きさが 0 (重みなし) から 1 (重みを持つ唯一の入力ニューロン) の間に制限されるようにすることで、この状態を阻止できます。重みベクトルを長さ 1 に正規化することでこれを実現します。

${\displaystyle \,w_{i}(n+1)~=~{\frac {w_{i}(n)+\eta \,y(\mathbf {x} )x_{i}}{\left(\sum _{j=1}^{m}[w_{j}(n)+\eta \,y(\mathbf {x} )x_{j}]^{p}\right)^{1/p}}}}$。

^{Ojaの原著論文[1]} では、p =2であり、これは求積法（平方和の平方根）に対応しており、これはよく知られた直交正規化規則である。しかし、線形正規化であっても、どのようなタイプの正規化でも、一般性を失うことなく同じ結果が得られる。

学習率が小さい場合、この式はのべき級数として展開できる。^[1]${\displaystyle |\eta |\ll 1}$${\displaystyle \eta }$

${\displaystyle \,w_{i}(n+1)~=~{\frac {w_{i}(n)}{\left(\sum _{j}w_{j}^{p}(n)\right)^{1/p}}}~+~\eta \left({\frac {yx_{i}}{\left(\sum _{j}w_{j}^{p}(n)\right)^{1/p}}}-{\frac {w_{i}(n)\sum _{j}yx_{j}w_{j}^{p-1}(n)}{\left(\sum _{j}w_{j}^{p}(n)\right)^{(1+1/p)}}}\right)~+~O(\eta ^{2})}$。

ηが小さい場合、高次の項 O ( η ² )はゼロになります。ここでも線形ニューロンの仕様を定めます。つまり、ニューロンの出力は、各入力とそのシナプス重みの積のp -1乗の合計に等しくなります。p =2の場合はシナプス重み自体になります。

${\displaystyle \,y(\mathbf {x} )~=~\sum _{j=1}^{m}x_{j}w_{j}^{p-1}}$。

また、重みが1に正規化されることを指定します。これは安定性の必要条件となるため、

${\displaystyle \,|\mathbf {w} |~=~\left(\sum _{j=1}^{m}w_{j}^{p}\right)^{1/p}~=~1}$、

これを展開式に代入すると、オジャの法則が得られる。

${\displaystyle \,w_{i}(n+1)~=~w_{i}(n)+\eta \,y(x_{i}-w_{i}(n)y)}$。

Oja の規則に従って進化する単一ニューロンの収束を分析する場合、データ セットの最初の主成分、つまり特徴を抽出します。さらに、一般化ヘブビアン アルゴリズムを使用した拡張により、必要なだけ多くの特徴を抽出できるマルチ Oja ニューラル ネットワークを作成し、主成分分析を行うことができます。

主成分a _{j は}データセットxから何らかの関連ベクトルq _j、つまりa _j = q _j ⋅ xを介して抽出され、元のデータセットを復元するには次のようにします。

${\displaystyle \mathbf {x} ~=~\sum _{j}a_{j}\mathbf {q} _{j}}$。

Ojaの規則で訓練された単一のニューロンの場合、時間または反復回数が無限大に近づくにつれて、重みベクトルはq _{1 、つまり最初の主成分に収束することがわかります。入力ベクトルのセット}X _iが与えられた場合、その相関行列R _ij = X _i X _jには、固有値λ _jを持つq _jで与えられる関連固有ベクトルがあると定義することもできます。Ojaニューロンの出力の分散σ ² ( n ) = ⟨y ² ( n )⟩は、反復回数とともに主固有値に収束します。

${\displaystyle \lim _{n\rightarrow \infty }\sigma ^{2}(n)~=~\lambda _{1}}$。

これらの結果は、リアプノフ関数解析を用いて導かれ、元の学習規則で特定の条件が満たされた場合、オジャのニューロンは必ず厳密に第1主成分に収束することを示しています。最も重要なのは、学習率ηは時間とともに変化することが許されていますが、その合計は発散しますが、その累乗の合計は収束するということです。つまり 、

${\displaystyle \sum _{n=1}^{\infty }\eta (n)=\infty ,~~~\sum _{n=1}^{\infty }\eta (n)^{p}<\infty ,~~~p>1}$。

出力活性化関数 y ( x ( n ))も非線形かつ非静的であることが許されるが、xとwの両方において連続的に微分可能であり、導関数が時間的に制限されていなければならない。^[2]

^{オージャの法則は、もともとオージャの1982年の論文[1]}で説明されましたが、それが適用される自己組織化の原理は、1952年にアラン・チューリングによって初めて提唱されました。 ^[2] PCAも、1989年にオージャの法則がネットワーク計算での使用を公式化する前から、長い使用の歴史がありました。したがって、このモデルは、自己組織化マッピングのあらゆる問題、特に特徴抽出が主な関心事である問題に適用できます。そのため、オージャの法則は画像および音声処理で重要な位置を占めています。また、処理の高次元化に簡単に拡張できるため、複数の出力をすばやく統合できるため便利です。典型的な例は、両眼視での使用です。^[3]

生物学的神経回路網における長期増強と長期抑制の両方、および入力重みとニューロン出力の両方における正規化効果の明確な証拠がある。しかし、生物学的神経回路網でオージャの法則が機能しているという直接的な実験的証拠はまだないが、この法則の一般化の生物物理学的導出は可能である。このような導出には、シナプス後ニューロンからの逆行性シグナル伝達が必要であり、これは生物学的に妥当であり（神経逆伝播を参照）、次の形をとる。

${\displaystyle \Delta w_{ij}~\propto ~\langle x_{i}y_{j}\rangle -\epsilon \left\langle \left(c_{\mathrm {pre} }*\sum _{k}w_{ik}y_{k}\right)\cdot \left(c_{\mathrm {post} }*y_{j}\right)\right\rangle ,}$

ここで、前述と同様に、w _ijはi番目の入力ニューロンとj番目の出力ニューロン間のシナプス荷重、 xは入力、yはシナプス後出力、εは学習率に類似した定数と定義し、c _preとc _{post は}、時間の経過に伴う信号の弱まりをモデル化するシナプス前関数とシナプス後関数です。山括弧は平均を表し、∗ 演算子は畳み込みであることに留意してください。シナプス前関数とシナプス後関数を周波数空間に取り込み、積分項を畳み込みと組み合わせると、Ojaの規則の任意次元一般化であるOjaの部分空間が得られることがわかります。^[4]すなわち 、

${\displaystyle \Delta w~=~Cx\cdot w-w\cdot Cy.}$^[5]

• BCM理論
• 対照的なヘブ学習
• 一般化ヘブビアンアルゴリズム
• 独立成分分析
• 主成分分析
• 自己組織化マップ
• シナプス可塑性

• Oja、Erkki: Scholarpedia の Oja 学習ルール
• オヤ、エルッキ：アールト大学