壊滅的な干渉

壊滅的干渉は壊滅的忘却としても知られ、人工ニューラルネットワークが新しい情報を学習すると、以前に学習した情報を突然大幅に忘れてしまう傾向です。 ^{[1] [2]}

ニューラルネットワークは、認知科学に対するコネクショニストアプローチの重要な部分です。コネクショニストモデルで人間の記憶をモデル化する場合の壊滅的な干渉の問題は、もともとMcCloskeyとCohen（1989）、^[1]およびRatcliff（1990）^[2]の研究によって科学界の注目を集めました。これは、「感度と安定性」のジレンマ^[3]または「安定性と可塑性」のジレンマ^[4]の根本的な現れです。具体的には、これらの問題は、新しい情報に敏感でありながら、それによって混乱しない人工ニューラルネットワークを作成するという課題を指します。

ルックアップテーブルとコネクショニストネットワークは、安定性可塑性スペクトルの反対側に位置します。^[5]前者は新しい情報があっても完全に安定していますが、一般化、つまり新しい入力から一般原則を推論する能力がありません。一方、標準的なバックプロパゲーションネットワークのようなコネクショニストネットワークは、目に見えない入力に一般化できますが、新しい情報には敏感です。バックプロパゲーションモデルは、同様の一般化能力がある限り、人間の記憶に類似していますが^[要出典]、これらのネットワークは人間の記憶よりも安定性が低いことがよくあります。特に、これらのバックプロパゲーションネットワークは壊滅的な干渉の影響を受けやすいです。これは、これらのネットワークとは異なり、人間は通常壊滅的な忘却を示さないため、人間の記憶をモデル化するときに問題になります。^[6]

壊滅的干渉という用語は、もともとマクロスキー氏とコーエン氏（1989年）によって造られたが、ラットクリフ氏（1990年）の研究によって科学界の注目を集めた。^[2]

McCloskey と Cohen (1989) は、バックプロパゲーションニューラルネットワークモデリングを使用した 2 つの異なる実験中に壊滅的な干渉の問題を指摘しました。

• 実験1: 1と2の加算法を学ぶ

最初の実験では、標準的なバックプロパゲーション ニューラル ネットワークを、17 個の 1 桁の問題 (1 + 1 から 9 + 1 まで、および 1 + 2 から 1 + 9 まで) で構成される単一のトレーニング セットで、ネットワークがそれらのすべてを適切に表現して応答できるようになるまでトレーニングしました。実際の出力と目的の出力の誤差は、トレーニング セッション全体で着実に減少しました。これは、ネットワークが試行全体でターゲット出力をより適切に表現することを学習したことを反映しています。次に、17 個の 2 桁の問題 (2 + 1 から 2 + 9 まで、および 1 + 2 から 9 + 2 まで) で構成される単一のトレーニング セットで、ネットワークがそれらのすべてを適切に表現して応答できるようになるまで、ネットワークをトレーニングしました。この手順は、子供が足し算の計算を学習する方法に似ていることを彼らは指摘しました。2 の計算の各学習試行の後、ネットワークは、1 の計算と 2 の計算の両方の足し算の計算に関する知識についてテストされました。1 の計算と同様に、2 の計算はネットワークによって容易に学習されました。しかし、マクロスキー氏とコーエン氏は、2 の加算問題で 1 回の学習試行を行った後でも、ネットワークは 1 の加算問題に正しく答えることができなくなったと指摘しました。1 の加算問題に応答して生成された出力パターンは、正しい数の出力パターンよりも、誤った数の出力パターンによく似ていました。これは、大幅なエラー量であると考えられます。さらに、両方のトレーニング セットに含まれていた問題 2+1 と 2+1 では、2 の加算問題の最初の学習試行中にも、劇的な混乱が見られました。

• 実験2：バーンズとアンダーウッド（1959）の研究の再現^[7]

2 番目のコネクショニスト モデルで、McCloskey と Cohen は、Barnes と Underwood (1959) による人間の遡及的干渉に関する研究を再現しようとしました。彼らは AB リストと AC リストでモデルをトレーニングし、入力ベクトル (入力パターン) のコンテキスト パターンを使用してリストを区別しました。具体的には、ネットワークは、A 刺激と AB コンテキスト パターンが表示されたときに正しい B 応答で応答し、A 刺激と AC コンテキスト パターンが表示されたときに正しい C 応答で応答するようにトレーニングされました。モデルが AB 項目と AC 項目で同時にトレーニングされた場合、ネットワークはすべての関連付けをすぐに正しく学習しました。順次トレーニングでは、最初に AB リストがトレーニングされ、次に AC リストがトレーニングされました。AC リストが提示されるたびに、AB リストと AC リストの両方のパフォーマンスが測定されました。Barnes と Underwood の研究で 50% の正答率につながった AC リストのトレーニング量は、バックプロパゲーション ネットワークではほぼ 0% の正答率につながることがわかりました。さらに、ネットワークが B 応答パターンを出すよう指示されたとき、ネットワークは C 応答パターンに似た応答を示す傾向があることもわかりました。これは、AC リストが明らかに AB リストを上書きしたことを示しています。これは、dog という単語を学習し、次に stool という単語を学習し、dog という単語が提示されたときに stool という単語を思い浮かべることに例えることができます。

McCloskey と Cohen は、隠れユニットの数の変更、学習率パラメータの値の変更、AB リストでのオーバートレーニング、特定の接続重みの固定、目標値を 0.1 と 0.9 から 0 と 1 に変更するなど、さまざまな操作によって干渉を軽減しようとしました。しかし、これらの操作のいずれも、ネットワークによって示された壊滅的な干渉を十分に軽減しませんでした。

全体として、マクロスキー氏とコーエン氏（1989）は次のように結論付けています。

• 新たな学習によって重みが変化するたびに、少なくとも何らかの干渉が発生する。
• 新しい学習の量が増えるほど、古い知識の混乱も大きくなる
• 学習が同時ではなく順次的である場合、バックプロパゲーションネットワークでは干渉が壊滅的であった。

ラトクリフ（1990）は、項目を順番に学習する標準的な認識記憶手順に複数のバックプロパゲーションモデルを適用した。^[2]認識パフォーマンスモデルを検査した後、彼は2つの大きな問題を発見した。

• 小規模および大規模なバックプロパゲーション ネットワークの両方で新しい情報が学習されるにつれて、十分に学習された情報が壊滅的に忘れ去られました。

新しい情報を使った学習試行を 1 回行うだけでも、古い情報が大幅に失われ、McCloskey と Cohen (1989) の調査結果と一致しています。^[1] Ratcliff は、結果として得られる出力が以前の入力と新しい入力の混合であることが多いことも発見しました。大規模なネットワークでは、グループで学習した項目 (例: AB、次に CD) は、個別に学習した項目 (例: A、次に B、次に C...) よりも忘却されにくくなっています。ただし、グループで学習した項目の忘却は依然として大きいままです。ネットワークに新しい隠れユニットを追加しても、干渉は軽減されませんでした。

• ネットワークが学習するにつれて、学習した項目と以前に見たことのない項目との区別は低下しました。

この発見は、学習によって識別力が高まることを示した人間の記憶に関する研究と矛盾しています。ラトクリフは、古い入力と新しい入力に選択的に応答する「応答ノード」を追加することでこの問題を軽減しようとしました。しかし、この方法は、これらの応答ノードがすべての入力に対してアクティブになるため、機能しませんでした。コンテキスト パターンを使用したモデルでも、新しい項目と古い項目の識別力を高めることができませんでした。

壊滅的な干渉の主な原因は、分散ニューラルネットワークの隠れ層での表現の重複であると思われる。^{[8] [9] [10]}分散表現では、各入力によって多くのノードの重みが変化する傾向がある。壊滅的な忘却は、「知識が保存されている」重みの多くが変更されると、事前の知識がそのまま維持される可能性が低いために発生する。順次学習中、入力は混合され、新しい入力が古い入力の上に重ね合わされる。^[9]これを概念化する別の方法は、学習を重み空間を通る動きとして視覚化することです。^[11]この重み空間は、ネットワークが持つ可能性のある重みのすべての可能な組み合わせの空間表現に例えることができます。ネットワークが最初に一連のパターンを表現することを学習するとき、重み空間内でそれらのパターンすべてを認識できるポイントを見つけます。^[10]しかし、ネットワークが新しいパターンのセットを学習すると、重み空間内の新しいパターンの認識のみに関心がある場所に移動します。^[10]両方のパターンのセットを認識するには、ネットワークは重み空間内で新しいパターンと古いパターンの両方を認識するのに適した場所を見つける必要があります。

以下は、バックプロパゲーション ニューラル ネットワークにおける壊滅的な干渉を効果的に削減する上で実証的に裏付けられているいくつかの手法です。

表現の重複を減らす初期の手法の多くは、入力ベクトルまたは隠れユニットの活性化パターンを互いに直交させることでした。Lewandowsky と Li (1995) ^{[12] は、}入力ベクトルが互いに直交している場合、順次学習されたパターン間の干渉が最小限に抑えられることを指摘しました。入力ベクトルは、2 つのベクトルにわたる要素のペアワイズ積の合計が 0 になる場合、互いに直交していると言われます。たとえば、パターン [0,0,1,0] と [0,1,0,0] は、(0×0 + 0×1 + 1×0 + 0×0) = 0 であるため、直交していると言われます。隠れ層で直交表現を作成できる手法の 1 つに、双極性特徴コーディング (つまり、0 と 1 ではなく -1 と 1 を使用するコーディング) があります。^[10]直交パターンは、互いに干渉を生じにくい傾向があります。しかし、すべての学習問題がこれらのタイプのベクトルを使用して表現できるわけではなく、いくつかの研究では、直交ベクトルでは干渉の程度が依然として問題であると報告されています。^[2]

French (1991) によると、^[8]フィードフォワード バックプロパゲーション ネットワークでは、隠れ層の分散表現で発生するノード活性化の相互作用、または活性化の重複により、壊滅的な干渉が発生します。非常に局所的な表現を使用するニューラル ネットワークでは、隠れ層に重複がないため、壊滅的な干渉は発生しません。そのため French は、隠れ層の活性化の重複の値を減らすと、分散ネットワークの壊滅的な干渉が軽減されると提案しました。具体的には、隠れ層の分散表現を「半分散」表現に変更することでこれが実現できると提案しました。「半分散」表現では、アクティブな隠れノードが少なくなり、各表現のこれらのノードの活性化値が低くなるため、隠れ層での異なる入力の表現の重複が少なくなります。 French 氏は、これを「アクティベーション シャープニング」によって実行できると推奨しました。これは、隠し層内の最もアクティブなノードのうち特定の数のアクティベーションをわずかに増加させ、他のすべてのユニットのアクティベーションをわずかに減少させ、次に、これらのアクティベーションの変更を反映するように入力から隠し層の重みを変更する手法です (エラー バックプロパゲーションに似ています)。

Kortge (1990) ^{[13] は}、壊滅的な干渉を軽減するために、ニューラル ネットワークをトレーニングするための学習ルール「新規性ルール」を提案しました。その名前が示すように、このルールは、ニューラル ネットワークが新しい入力のうち古い入力と異なるコンポーネントのみを学習するのに役立ちます。その結果、新規性ルールは、以前に情報を格納するために専用ではなかった重みのみを変更し、それによって隠れユニットでの表現の重複を減らします。新規性ルールを適用するには、学習中に入力パターンを、異なるコンポーネントを表す新規性ベクトルに置き換えます。新規性ルールを標準的なバックプロパゲーション ネットワークで使用すると、新しい項目が順番に提示されても古い項目が忘れられることはなく、忘れられることが少なくなります。^[13]ただし、このルールは、出力層のターゲット応答が入力パターンと同一であるオート エンコーダまたは自動連想ネットワークでのみ使用できるという制限があります。

McRae と Hetherington (1993) ^{[9] は}、人間はほとんどのニューラル ネットワークとは異なり、ランダムな重みのセットで新しい学習タスクに取り組むことはないと主張しました。むしろ、人間はタスクに豊富な事前知識を持ち込む傾向があり、これが干渉の問題を回避するのに役立ちます。彼らは、ネットワークが順次学習タスクを開始する前にランダムなデータ サンプルで事前トレーニングされている場合、この事前知識によって新しい情報を取り入れる方法が自然に制限されることを示しました。これは、英語などの高度な内部構造を持つドメインからのランダムなデータ サンプルでは、​​トレーニングによってそのドメイン内で見つかった規則性、つまり繰り返しパターンが捕捉されるためです。ドメインは規則性に基づいているため、新しく学習した項目は以前に学習した情報に類似する傾向があり、これにより、ネットワークは既存のデータにほとんど干渉することなく新しいデータを組み込むことができます。具体的には、以前にトレーニングされたデータと同じ規則性のパターンに従う入力ベクトルは、隠れ層での活性化のパターンが大幅に異なることも、重みが大幅に変更されることもありません。

Robins (1995) ^[14]は、破滅的な忘却はリハーサル メカニズムによって防止できると述べています。これは、新しい情報が追加されると、ニューラル ネットワークが以前に学習した情報の一部で再トレーニングされることを意味します。ただし、一般的に、以前に学習した情報は、このような再トレーニングに使用できない場合があります。この解決策は、「疑似リハーサル」です。これは、ネットワークが実際の以前のデータではなく、それらの表現で再トレーニングされる方法です。いくつかの方法は、この一般的なメカニズムに基づいています。

French (1997) は、疑似再帰型バックプロパゲーション ネットワークを提案しました (図 2 を参照)。^[5]このモデルでは、ネットワークは機能的に異なるが相互作用する 2 つのサブネットワークに分割されます。このモデルは生物学にヒントを得たもので、McClelland ら (1995) の研究に基づいています。^[15] McClelland らは、海馬と大脳新皮質は分離可能でありながら補完的な記憶システムとして機能し、海馬は短期記憶の保存、大脳新皮質は長期記憶の保存に使用すると示唆しました。最初に海馬に保存された情報は、再活性化または再生によって大脳新皮質に「転送」できます。疑似再帰型ネットワークでは、サブネットワークの 1 つが海馬に似た初期処理領域として機能し、新しい入力パターンを学習します。もう 1 つのサブネットワークは、大脳新皮質に似た最終記憶領域として機能します。ただし、McClelland らの研究とは異なり、大脳新皮質は、海馬に似た初期処理領域として機能し、長期記憶の保存に使用します。 (1995)モデルでは、最終記憶領域は内部で生成された表現を初期処理領域に送り返します。これにより、再帰ネットワークが作成されます。フレンチは、古い表現と新しい表現を交互に配置することが、根本的な忘却を減らす唯一の方法であると提案しました。脳は元の入力パターンにアクセスできない可能性が高いため、大脳新皮質にフィードバックされるパターンは、疑似パターンと呼ばれる内部で生成された表現になります。これらの疑似パターンは以前の入力の近似値であり^[14]、新しい入力の学習と交互に配置することができます。

^[14]に触発され、 ^[5]とは独立して、AnsとRousset (1997) ^[16]も、バックプロパゲーションによってトレーニングされた分散ネットワークで順次学習タスクが実行されるとき、壊滅的な干渉を克服する、メモリの自己リフレッシュ機能を備えた2ネットワークの人工ニューラルアーキテクチャを提案しました。原理は、以前に学習した情報を反映する内部生成された疑似パターン、つまり「疑似メモリ」と同時に、新しい外部パターンを学習することです。このモデルと、フィードフォワード多層ネットワークで古典的な疑似リハーサル^{[14] [5]を使用するモデルとの主な違いは、疑似パターンを生成するために使用される}反響プロセス^{[さらなる説明が必要]}です。単一のランダムシードからの多数のアクティビティの再注入の後、このプロセスは、疑似リハーサルで使用される単一のフィードフォワードパスのアクティビティよりも、接続重み内に分散された知識の深層構造を最適に捕捉するのに適した非線形ネットワークアトラクターに進む傾向があります。記憶の自己リフレッシュ手順は、転移プロセス^[17]や、壊滅的な忘却を伴わないパターンの時間的シーケンスの連続学習において非常に効率的であることが判明した^{[18] 。}

近年、深層生成モデルの機能の進歩により、疑似リハーサルが再び人気を集めています。このような深層生成モデルを使用してリハーサルする「疑似データ」を生成する場合、この方法は通常、生成リプレイと呼ばれます。^[19]このような生成リプレイは、特にリプレイが入力レベルではなく隠れ層で実行される場合、壊滅的な忘却を効果的に防ぐことができます。^{[20] [21]}

人間や動物の脳における睡眠過程における記憶の固定化のメカニズムに関する洞察は、他の生物学にヒントを得たアプローチにつながった。陳述記憶は、睡眠のノンレム睡眠期に海馬と大脳新皮質の対話によって固定化されるという古典的な図式で捉えられているが（上記参照）、ある種の手続き記憶は海馬に依存せず、睡眠のレム睡眠期に関与することが示唆されている（例えば、^[22]、ただしこのトピックの複雑さについては^{[23]を参照）。これは、以前の学習によって作成された内部表現（記憶）が、睡眠のような期間中にネットワーク自体で自発的に再生される（つまり、上記の生成的再生アプローチによって実行される二次ネットワークの助けを借りずに）というモデルに影響を与えた[24] [25]}。

潜在学習は、Gutstein & Stump (2015) ^[26]が転移学習を利用して壊滅的な干渉を軽減するために使用する手法です。このアプローチでは、学習する新しいクラスが既存の応答に壊滅的な干渉を及ぼす可能性が最も低くなるように、新しいクラスに最適なエンコーディングを見つけようとします。エラー訂正出力コード (ECOC) ^{[27] (} 1 ホットコードではなく) を使用して 1 セットのクラスを区別することを学習したネットワークを考えると、新しいクラスに対するネットワークの平均応答を観察することによって、新しいクラスに最適なエンコーディングが選択されます。これらの平均応答は、新しいクラスに触れることなく元のクラス セットを学習している間に発生したため、「潜在的に学習したエンコーディング」と呼ばれます。この用語は、1930年にトールマンによって導入された潜在学習の概念から借用したものです。 ^[28]実際には、この手法では転移学習を使用して、新しいクラスに対するネットワークの応答を、すでに学習したクラスに対する既存の応答と可能な限り一致させることで、壊滅的な干渉を回避します。

カークパトリックら (2017) ^[29]は、単一の人工ニューラルネットワークを複数のタスクで順次トレーニングする方法である弾性重み統合 (EWC) を提案しました。この手法では、トレーニングされたニューラルネットワークの一部の重みが、以前に学習したタスクでは他の重みよりも重要であると想定しています。ニューラルネットワークを新しいタスクでトレーニングしている間、ネットワークの重みの変更は、その重要度が高いほど起こりにくくなります。ネットワークの重みの重要性を推定するために、EWC は確率的メカニズム、特にフィッシャー情報行列を使用しますが、これは他の方法でも行うことができます。^{[30] [31] [32]}

• 幻覚（人工知能）