コネクショニズム

コネクショニズムは、コネクショニストネットワークまたは人工ニューラルネットワークとして知られる数学モデルを活用した、人間の精神プロセスと認知の研究に対するアプローチの名前です。^[1]コネクショニズムは、その始まり以来、多くの「波」を経験してきました。

最初の波は1943年に現れ、ウォーレン・スタージス・マカロックとウォルター・ピッツの両者が形式的かつ数学的なアプローチを通じて神経回路を理解することに焦点を当て、^[2]、そしてフランク・ローゼンブラットがコーネル航空研究所で働きながら、 1958年に心理学評論誌に「パーセプトロン：脳内の情報の保存と組織化のための確率モデル」という論文を発表した。 ^{[3]最初の波は、}マービン・ミンスキーとシーモア・パパート が1969年に書いた、オリジナルのパーセプトロンのアイデアの限界に関する本で終わり、これは米国の主要な資金提供機関がコネクショニスト研究に投資することを思いとどまらせることに貢献した。^[4]いくつかの注目すべき逸脱はあったものの、ほとんどのコネクショニスト研究は1980年代半ばまで休止状態に入った。コネクショニストモデルという用語は、1982年にジェローム・フェルドマンとダナ・バラードが雑誌「認知科学」に発表した論文で再導入された。

第二の波は、1987年にジェームズ・L・マクレランド、デビッド・E・ルメルハートらが並列分散処理に関する本を出版した後、1980年代後半に開花した。この本では、単純なパーセプトロンのアイデアに、中間プロセッサ（現在「隠れ層」として知られている）を入力ユニットと出力ユニットの横に配置するなど、いくつかの改良点が導入され、古い「全か無か」関数の代わりにシグモイド 活性化関数が使用されている。彼らの研究は、シグモイド活性化関数の数学的特性を研究した重要人物であるジョン・ホップフィールドの研究に基づいている。 ^[3] 1980年代後半から1990年代半ばにかけて、コネクショニズムは、シュナイダー、^[5] テレンス・ホーガン、ティエンソンが、コネクショニズムが心理学といわゆる「古き良きAI」、つまりGOFAIにおける根本的な変化を表すかどうかという疑問を提起し、ほぼ革命的な色合いを帯びるようになった。^[3]第二波コネクショニストのアプローチの利点としては、幅広い機能への適用性、生物学的ニューロンへの構造的近似、生来の構造に対する要求の低さ、そして優雅な劣化の能力などが挙げられます。^[6]欠点としては、ANNがどのように情報を処理するか、または精神的表現の構成性を説明するかを解読することが難しく、その結果、より高いレベルで現象を説明することが困難になることが挙げられます。^[7]

現在の（第3の）波は、大規模な言語モデルの作成を可能にしたディープラーニングの進歩によって特徴づけられています。^{[3]過去10年間のディープラーニングネットワークの成功により、このアプローチの人気は大幅に高まりましたが、そのようなネットワークの複雑さと規模により、}解釈可能性の問題が増加しました。^[8]

コネクショニストの中心的な原理は、精神現象は単純でしばしば均一な単位の相互接続されたネットワークによって記述できるというものである。接続と単位の形式はモデルごとに異なる。たとえば、ネットワーク内の単位はニューロンを表し、接続は人間の脳のシナプスを表すことができる。この原理は、GOFAIや記号計算に基づく古典的な心の理論に代わるものとみなされてきたが、2つのアプローチがどの程度互換性があるかは、その発端以来多くの議論の対象となってきた。^[8]

フィードフォワード ネットワークの場合はニューロンが次のニューロン層に信号を送信し、リカレント ネットワークの場合は前の層に信号を送信するため、ネットワークの内部状態は時間の経過とともに変化します。非線形活性化関数の発見により、コネクショニズムの第 2 波が可能になりました。

ニューラル ネットワークは次の 2 つの基本原則に従います。

1. あらゆる精神状態は、ネットワーク内のニューラル ユニット上の数値活性化値のn次元ベクトルとして記述できます。
2. 記憶と学習は、ニューラルユニット間の接続の「重み」を変更することによって作成され、通常はn × m 行列として表されます。重みは、ヘブビアン学習などの学習ルールまたはアルゴリズムに従って調整されます。^[9]

モデル間の多様性のほとんどは次のものから生まれます。

• ユニットの解釈: ユニットはニューロンまたはニューロンのグループとして解釈できます。
• 活性化の定義: 活性化はさまざまな方法で定義できます。たとえば、ボルツマン マシンでは、活性化は活動電位スパイクを生成する確率として解釈され、ユニットへの入力の合計に対するロジスティック関数によって決定されます。
• 学習アルゴリズム: 異なるネットワークは、接続を異なる方法で変更します。一般に、時間の経過に伴う接続の重みの数学的に定義された変化は、「学習アルゴリズム」と呼ばれます。

一般にコネクショニストの研究は生物学的に現実的である必要はない。^{[10] [11] [12] [13] [14] [15] [16]}コネクショニストモデルが生物学的に信じ難いと考えられている領域の1つは、学習をサポートするために必要な誤差伝播ネットワークに関するものである。^{[17] [18]しかし、誤差伝播は、} N400やP600などの事象関連電位で頭皮に見られる生物学的に生成された電気活動の一部を説明でき、^[19]これはコネクショニスト学習手順の重要な仮定の1つに生物学的な裏付けを与えている。多くの再帰型コネクショニストモデルは、動的システム理論も取り入れている。コネクショニストのポール・スモレンスキーなど多くの研究者は、コネクショニストモデルは完全に連続的で高次元の非線形動的システムアプローチへと進化すると主張している。

コネクショニスト原理の先駆者は、ウィリアム・ジェームズなどの心理学の初期の著作に遡ることができる。^[20]人間の脳に関する知識に基づく心理学理論は、19世紀後半に流行した。1869年には早くも、神経学者のジョン・ヒューリングス・ジャクソンが、マルチレベルの分散システムを主張した。これに続いて、ハーバート・スペンサーの『心理学原理』第3版（1872年）やジークムント・フロイトの『科学的心理学プロジェクト』（1895年執筆）では、コネクショニスト理論またはプロトコネクショニスト理論が提唱された。これらは、推測的な理論になりがちだった。しかし、20世紀初頭には、エドワード・ソーンダイクが、コネクショニスト型ネットワークを仮定した人間の学習について執筆していた。 ^[21]

ホップフィールドネットワークは、ヴィルヘルム・レンツ（1920年）とエルンスト・イジング（1925年）によるイジングモデルの先駆者であったが、彼らが考案したイジングモデルには時間が含まれていなかった。イジングモデルのモンテカルロシミュレーションには、1950年代のコンピュータの出現が必要であった。^[22]

最初の波は1943年にウォーレン・スタージス・マカロックとウォルター・ピッツの両名が形式的かつ数学的なアプローチで神経回路を理解することに着目したことから始まった。マカロックとピッツは神経系が一階論理を実装する方法を示した。彼らの代表的な論文「神経活動に内在する観念の論理的計算」（1943年）はここでの発展において重要である。彼らは1930年代のニコラス・ラシェフスキーの研究とプリンキピア・マテマティカ風の記号論理学に影響を受けた。^{[23] [3]}

ヘブは神経機能に関する推測に大きく貢献し、学習原理であるヘブ学習を提唱した。ラシュリーは、何年にもわたる損傷実験で局所的なエングラムのようなものが見つからなかったことから、分散表現を主張した。フリードリヒ・ハイエクは独自にこのモデルを考案し、最初は1920年に未発表の短い原稿で発表し、^{[24] [25]}、その後1952年に書籍にまとめた。^[26]

パーセプトロン マシンは、フランク ローゼンブラットによって提案され、構築されました。彼は、コーネル航空研究所で働いていた 1958 年に、 Psychological Review誌に「パーセプトロン: 脳内の情報の保存と組織化のための確率モデル」という論文を発表しました。彼は、主な影響源としてヘブ、ハイエク、アトリー、アシュビーを挙げています。

コネクショニスト モデルの別の形態は、1960 年代に 言語学者のシドニー ラムによって開発された関係ネットワークフレームワークです。

ウィドロウ率いる研究グループは、2層ADALINEネットワーク（MADALINE）を訓練する方法を経験的に模索したが、限られた成功しか収められなかった。^{[27] [28]}

1965年にアレクセイ・グリゴレヴィッチ・イヴァクネンコとヴァレンティン・ラパによって、任意のレベルの訓練可能な重みを持つ多層パーセプトロンを訓練する方法が発表され、グループデータ処理法と呼ばれています。この方法は、回帰分析に基づく増分層ごとの訓練を採用しており、検証セットの助けを借りて、隠れ層の不要なユニットが刈り込まれます。^{[29] [30] [31]}

確率的勾配降下法^[32]によって訓練された最初の多層パーセプトロンは、1967年に天利俊一によって発表されました。^[33]天利の学生である斎藤が行ったコンピュータ実験では、2つの変更可能な層を持つ5層のMLPが、非線形に分離可能なパターンクラスを分類するための有用な内部表現を学習しました。^[30]

1972年に天利俊一は自己組織化ネットワークの初期の例を発表しました。^[34]

人工知能研究者の間では、ニューラル ネットワークが何に役立つかについて意見の相違があった。1960 年代後半には、ニューラル ネットワークに関する研究と出版が停滞し、1970 年代まで「ニューラル ネットワークの冬」が続いた。この時期、人工知能の分野は記号的手法へと向かった。パーセプトロン(1969) の出版は、この出来事のきっかけとなったと一般的に考えられている。^{[35] [36]}

第二の波は1980年代初頭に始まりました。重要な出版物には、ホップフィールドネットワークを普及させた（ジョン・ホップフィールド、1982年）^[37]、バックプロパゲーションを普及させた1986年の論文^{[38]、そして}ジェームズ・L・マクレランド、デビッド・E・ルメルハートらによる並列分散処理（PDP）に関する1987年の2巻本などがあります。この本では、中間プロセッサ（現在「隠れ層」として知られています）を入力ユニットと出力ユニットと一緒に使用したり、古い「全か無か」関数の代わりに シグモイド活性化関数を使用したりなど、単純なパーセプトロンのアイデアにいくつかの改良を導入しました。

ホップフィールドは統計力学の観点からこの分野にアプローチし、この分野の信頼性を高める初期の数学的厳密さを提供した。^{[3]ニューラルネットワークが}普遍的な関数近似値であることを証明した重要な論文もいくつかあり、これもまた数学的な信頼性をもたらした。^[39]

この時期には、初期の人気デモプロジェクトがいくつか登場した。NETtalk（1987）は、英語の書き言葉の発音を学習した。これは人気を博し、Todayショーに登場した。^[40] TD-Gammon （1992）は、バックギャモンで人間の最高レベルに到達した。^[41]

1980年代後半にコネクショニズムの人気が高まると、一部の研究者（ジェリー・フォーダー、スティーブン・ピンカーなど）はこれに反発した。彼らは、当時発展途上のコネクショニズムは、計算主義という古典的なアプローチによって認知科学や心理学の分野でなされつつあると彼らが考えていた進歩を消し去る恐れがあると主張した。計算主義は認知主義の特殊な形態であり、精神活動は計算的である、つまり心はチューリングマシンのように記号に対して純粋に形式的な操作を実行することで機能すると主張する。一部の研究者は、コネクショニズムの傾向は連想主義への回帰と思考言語という概念の放棄を意味していると主張したが、彼らはこれを誤りだと思った。対照的に、まさにそれらの傾向がコネクショニズムを他の研究者にとって魅力的なものにした。

コネクショニズムとコンピュータリズムは必ずしも対立しているわけではありませんが、1980 年代後半から 1990 年代前半にかけての議論により、この 2 つのアプローチは対立するようになりました。議論を通じて、コネクショニズムとコンピュータリズムは完全に両立すると主張する研究者もいますが、この問題についてはまだ完全な合意には至っていません。2 つのアプローチの違いは次のとおりです。

• 計算論者は、基礎となる脳構造に構造的に類似した記号モデルを仮定しますが、コネクショニストは「低レベル」モデリングに取り組んで、モデルが神経構造に似ていることを確認しようとします。
• 一般的に、計算論者は明示的な記号（メンタルモデル）の構造とそれらの内部操作のための構文規則に焦点を当てていますが、コネクショニストは環境刺激から学習し、この情報をニューロン間の接続の形で保存することに焦点を当てています。
• 計算主義者は、内部の精神活動は明示的な記号の操作から成り立つと信じていますが、コネクショニストは、明示的な記号の操作は精神活動の不適切なモデルを提供すると信じています。
• 計算論者は、特定の認知領域（言語、意図性、数など）での学習をサポートするように設計されたドメイン固有の記号サブシステムを想定することが多いのに対し、コネクショニストは非常に一般的な学習メカニズムの 1 つまたは少数のセットを想定する。

これらの違いにもかかわらず、一部の理論家は、コネクショニスト アーキテクチャは、有機脳がたまたま記号操作システムを実装する方法にすぎないと提案しています。これは論理的に可能です。コネクショニスト モデルは、計算主義モデルで使用される種類の記号操作システムを実装できることはよく知られており、^[42]実際に、記号操作タスクを実行する人間の能力を説明するには、それが可能でなければなりません。記号操作アーキテクチャとコネクショニスト アーキテクチャの両方を組み合わせた認知モデルがいくつか提案されています。その中には、ポール スモレンスキーの統合コネクショニスト/記号認知アーキテクチャ (ICS) ^{[8] [43]}とロン サンのCLARION (認知アーキテクチャ)があります。しかし、この記号操作が一般的な認知の基礎を形成するかどうかが議論の焦点であるため、これは計算主義の潜在的な擁護ではありません。とはいえ、計算による記述は、たとえば論理の認知の高レベルの記述に役立つ場合があります。

議論は主に、コネクショニストネットワークがこの種の推論で観察される統語構造を生成できるかどうかについての論理的議論に集中した。これは後に、コネクショニストモデルで標準的に想定されているもの以外の高速変数結合能力を使用して達成された。^{[42] [44]}

計算記述の魅力の 1 つは、比較的解釈が容易で、特定の精神プロセスの理解に貢献すると考えられることです。一方、コネクショニスト モデルは、一般的にはより不透明で、非常に一般的な用語 (学習アルゴリズム、ユニット数などを指定するなど) でしか記述できないか、役に立たない低レベルの用語でしか記述できない場合があります。この意味で、コネクショニスト モデルは、モデル化されている特定のプロセスの有用な理論を示すことなく、認知の広範な理論 (つまり、コネクショニズム) を例示し、それによってその証拠を提供する場合があります。この意味で、この議論は、特定の理論が組み立てられる分析レベルの単なる違いを反映していると考えられる場合があります。一部の研究者は、分析ギャップは、コネクショニスト メカニズムが、計算用語で記述できる可能性のある出現現象を引き起こす結果であると示唆しています。^[45]

2000年代には、心の哲学における動的システムの普及により、議論に新たな視点が加わりました。^{[46] [47]}一部の著者^{[は? ]は現在、コネクショニズムと計算主義の分裂は、計算主義と}動的システムの分裂としてより決定的に特徴付けられると主張しています。

2014年、DeepMindのアレックス・グレイブスらは、テープ上の記号を読み取り、メモリに記号を保存できるニューラルチューリングマシン^[48]と呼ばれる新しいディープニューラルネットワーク構造を説明する一連の論文を発表しました。DeepMindが公開したもう1つのディープネットワークモジュールであるリレーショナルネットワークは、オブジェクトのような表現を作成し、それを操作して複雑な質問に答えることができます。リレーショナルネットワークとニューラルチューリングマシンは、コネクショニズムと計算主義が必ずしも対立するものではないことのさらなる証拠です。

スモレンスキーのサブシンボリックパラダイム^{[49] [50]}は、現代のコネクショニズムにおける説得力のある認知理論を求める古典的記号理論によって定式化されたフォダー＝ピリシンの挑戦^{[51] [52] [53] [54]}を満たさなければならない。認知の適切な代替理論となるためには、スモレンスキーのサブシンボリックパラダイムは、認知プロセスが心的表象の古典的な構成構造に因果的に敏感であるという仮定なしに、言語認知における体系性または体系的関係の存在を説明しなければならない。したがって、サブシンボリックパラダイム、または一般にコネクショニズムは、古典的な認知アーキテクチャの単なる実装に頼ることなく、体系性と構成性の存在を説明しなければならない。この挑戦はジレンマを意味する。サブシンボリックパラダイムが心的表象の体系性と構成性に何も貢献できないとしたら、それは認知の代替理論の基礎としては不十分であろう。しかし、サブシンボリックパラダイムの体系性への貢献が、古典的な精神的表象の構成構造に根ざした精神的プロセスを必要とするのであれば、それが展開する認知理論は、せいぜい、古典的なシンボル理論モデルの実装アーキテクチャであり、したがって、真の代替（コネクショニスト）認知理論ではないだろう。^[55]古典的なシンボルモデルは、（1）精神的表象の組み合わせ構文と意味論、および（2）構造に敏感なプロセスとしての精神的操作によって特徴付けられ、フォーダーの「思考の言語（LOT）」で使用されている精神的表象の構文的および意味的構成構造の基本原理に基づいています。^{[56] [57]}これは、人間の認知の次の密接に関連する特性、すなわち（1）生産性、（2）体系性、（3）構成性、および（4）推論の一貫性を説明するために使用できます。^[58]

この課題は、現代のコネクショニズムにおいて、例えばスモレンスキーの「統合コネクショニスト/シンボリック（ICS）認知アーキテクチャ」^{[59] [60]}だけでなく、ヴェルニングとマイエの「振動ネットワーク」^{[61] [62] [63]}によっても解決されている。この概要は、例えばベヒテルとアブラハムセン^[64] 、マーカス^{[65] 、マウラー[66]}によって示されている。

• フェルドマン、ジェローム、バラード、ダナ。コネクショニストモデルとその特性（1982）。認知科学。V6、第3号、pp205-254。
• Rumelhart, DE、JL McClelland および PDP 研究グループ (1986)。並列分散処理: 認知の微細構造の探究。第 1 巻: 基礎、マサチューセッツ州ケンブリッジ: MIT プレス、ISBN 978-0-262-68053-0 
• McClelland, JL、DE Rumelhart および PDP 研究グループ (1986)。並列分散処理: 認知の微細構造の探究。第 2 巻: 心理モデルと生物学的モデル、マサチューセッツ州ケンブリッジ: MIT プレス、ISBN 978-0-262-63110-5 
• ピンカー、スティーブン、メーラー、ジャック（1988）。コネクションズ・アンド・シンボルズ、ケンブリッジ、マサチューセッツ州：MITプレス、ISBN 978-0-262-66064-8 
• ジェフリー・L・エルマン、エリザベス・A・ベイツ、マーク・H・ジョンソン、アネット・カーミロフ・スミス、ドメニコ・パリシ、キム・プランケット（1996年）。『生得性の再考：発達に関するコネクショニストの視点』、ケンブリッジ、マサチューセッツ州：MITプレス、ISBN 978-0-262-55030-7 
• マーカス、ゲイリー F. (2001)。『代数的思考：コネクショニズムと認知科学の統合（学習、発達、概念の変化）』、マサチューセッツ州ケンブリッジ：MIT プレス、ISBN 978-0-262-63268-3 
• David A. Medler (1998). 「コネクショニズムの簡潔な歴史」(PDF) .ニューラルコンピューティングサーベイ. 1 : 61–101.
• マウラー、ハラルド（2021）。認知科学：現代コネクショニズムの認知神経アーキテクチャにおける統合同期メカニズム、ボカラトン/フロリダ州：CRCプレス、https: //doi.org/10.1201/9781351043526、ISBN 978-1-351-04352-6 

この記事を聞く（19分）

この音声ファイルは、2011 年 11 月 26 日付のこの記事の改訂版から作成されたもので、その後の編集は反映されていません。 ( 2011-11-26 )

(音声ヘルプ ·その他の音声記事)

• 心の哲学辞典のコネクショニズムに関する項目
• ガーソン、ジェームズ。「コネクショニズム」。ザルタ、エドワード N. (編)。スタンフォード哲学百科事典。
• インタラクティブアクティベーションと競争ネットワークのデモンストレーション 2015-07-03 にWayback Machineでアーカイブ
• 「コネクショニズム」。インターネット哲学百科事典。
• コネクショニズム批判