Loading article…
コネクショニズムは、コネクショニストネットワークまたは人工ニューラルネットワークとして知られる数学モデルを利用して、人間の精神プロセスと認知を研究するアプローチです。[ 1 ]
コネクショニズムは、その始まり以来、多くの「波」を経験してきた。最初の波は1943年にウォーレン・スタージス・マカロックとウォルター・ピッツが形式的かつ数学的なアプローチで神経回路の理解に焦点を当てたことから始まった[ 2 ] 。また、コーネル航空研究所で働いていたフランク・ローゼンブラットは、1958年にPsychological Review誌に「パーセプトロン：脳の情報貯蔵と組織化のための確率モデル」という論文を発表した[ 3 ] 。最初の波は、マービン・ミンスキーとシーモア・パパートが1969年に出版した、オリジナルのパーセプトロンのアイデアの限界についての書籍「パーセプトロン」で終わりを迎えた。この書籍は、米国の主要な資金提供機関がコネクショニズム研究に投資することを躊躇させる一因となった[ 4 ]。いくつかの注目すべき例外を除いて、ほとんどのコネクショニズム研究は1980年代半ばまで停滞期に入った。コネクショニストモデルという用語は、1982年にジェローム・フェルドマンとダナ・バラードによって学術誌『認知科学』に掲載された論文で再び導入された。
第二波は、1987 年にJames L. McClelland、David E. Rumelhartらが著したParallel Distributed Processing という本をきっかけに 1980 年代後半に花開きました。この本では、入力ユニットと出力ユニットに加えて中間プロセッサ (現在では「隠れ層」として知られています) を導入し、従来の「全か無か」の関数の代わりにシグモイド活性化関数を使用するなど、単純なパーセプトロンのアイデアにいくつかの改良を加えました。彼らの研究は、シグモイド活性化関数の数学的特性を研究した重要な人物であるJohn Hopfieldの研究に基づいています。[ 3 ] 1980 年代後半から 1990 年代半ばにかけて、コネクショニズムは、Schneider [ 5 ] 、 Terence Horgan 、Tienson らが、コネクショニズムが心理学といわゆる「古き良き AI」、 GOFAIの根本的な変化を表しているかどうかという疑問を提起したことで、ほぼ革命的な様相を呈しました。[ 3 ]第二波コネクショニストアプローチの利点としては、幅広い機能への適用性、生物学的ニューロンへの構造的近似、生得的構造に対する要求の低さ、および段階的劣化の可能性などが挙げられる。[ 6 ]一方、欠点としては、ANNがどのように情報を処理するのか、あるいは精神的表象の構成性をどのように説明するのかを解明するのが難しいこと、そして結果として高次のレベルでの現象の説明が困難になることなどが挙げられる。[ 7 ]
現在の（第3の）波は、ディープラーニングの進歩によって特徴づけられており、これにより大規模な言語モデルの作成が可能になった。[ 3 ]過去10年間のディープラーニングネットワークの成功により、このアプローチの人気は大幅に高まったが、そのようなネットワークの複雑さと規模により、解釈の問題が増加した。[ 8 ]
コネクショニズムの中心的な原理は、精神現象は単純で多くの場合均一な単位の相互接続されたネットワークによって記述できるというものである。接続と単位の形式はモデルごとに異なる。たとえば、ネットワーク内の単位はニューロンを表し、接続は人間の脳のようにシナプスを表すことができる。この原理はGOFAIや記号計算に基づく古典的な心の理論の代替案と見なされてきたが、2つのアプローチがどの程度互換性があるかは、その発案以来、多くの議論の対象となっている。[ 8 ]
フィードフォワードネットワークの場合はニューロンが次の層のニューロンに信号を送り、リカレントネットワークの場合は前の層のニューロンに信号を送ることで、ネットワークの内部状態は時間とともに変化します。非線形活性化関数の発見は、コネクショニズムの第二波を可能にしました。
ニューラルネットワークは、次の2つの基本原理に従います。
モデル間の多様性の大部分は、以下の点に起因しています。
コネクショニスト研究全般は、生物学的に現実的である必要はない。[ 10 ] [ 11 ] [ 12 ] [ 13 ] [ 14 ] [ 15 ] [ 16 ]コネクショニストモデルが生物学的にあり得ないと考えられている領域の一つは、学習を支えるために必要なエラー伝播ネットワークに関するものであるが、[ 17 ] [ 18 ]エラー伝播は、 N400やP600などの事象関連電位で頭皮に見られる生物学的に生成された電気活動の一部を説明できる[ 19 ]。これは、コネクショニスト学習手順の重要な仮定の一つに対する生物学的な裏付けとなる。多くの再帰的コネクショニストモデルは、動的システム理論も取り入れている。コネクショニストのポール・スモレンスキーなど多くの研究者は、コネクショニストモデルは、完全に連続的で高次元の非線形動的システムアプローチへと進化すると主張している。
コネクショニズムの原理の先駆者は、ウィリアム・ジェームズなどの初期の心理学の研究に遡ることができます。[ 20 ]人間の脳に関する知識に基づく心理学理論は、19 世紀後半に流行しました。1869 年という早い時期に、神経学者のジョン・ヒューリングス・ジャクソンは、多層分散システムを主張しました。この流れを受けて、ハーバート・スペンサーの『心理学原理』第 3 版 (1872 年) やジークムント・フロイトの『科学的心理学のための計画』（1895 年執筆）は、コネクショニズムまたはプロトコネクショニズム理論を提唱しました。これらは推測的な理論である傾向がありました。しかし、20 世紀初頭には、エドワード・ソーンダイクがコネクショニズム型のネットワークを想定する人間の学習について書いていました。 [ 21 ]
ホップフィールドネットワークは、ヴィルヘルム・レンツ（1920年）とエルンスト・イジング（1925年）によるイジングモデルに前身があったが、彼らが考案したイジングモデルには時間は含まれていなかった。イジングモデルのモンテカルロシミュレーションには、1950年代のコンピュータの登場が必要だった。[ 22 ]
最初の波は1943年に始まり、ウォーレン・スタージス・マカロックとウォルター・ピッツは共に形式的かつ数学的なアプローチで神経回路を理解することに焦点を当てた。マカロックとピッツは神経系が一階述語論理を実装できることを示した。彼らの古典的な論文「神経活動に内在する観念の論理計算」(1943)はこの発展において重要である。彼らは1930年代のニコラス・ラシェフスキーの研究とプリンキピア・マテマティカのスタイルの記号論理学の影響を受けた。[ 2 ] [ 3 ]
ヘッブは神経機能に関する考察に大きく貢献し、ヘッブ学習という学習原理を提唱した。ラシュレーは、長年の病変実験で局所的なエングラムのようなものを見つけることができなかったことから、分散表現を主張した。フリードリヒ・ハイエクは、1920年に未発表の短い原稿で独自にこのモデルを考案し、[ 23 ] [ 24 ] 1952年に書籍として拡張した。[ 25 ]
パーセプトロンは、コーネル航空研究所に勤務していたフランク・ローゼンブラットによって提案・製作された。彼は1958年に『心理学レビュー』誌に「パーセプトロン：脳における情報貯蔵と組織化のための確率モデル」という論文を発表した。彼は、ヘッブ、ハイエク、アトリー、アシュビーを主な影響源として挙げている。
コネクショニストモデルのもう一つの形態は、1960年代に言語学者のシドニー・ラムによって開発された関係ネットワークの枠組みである。
ウィドロー率いる研究グループは、2層ADALINEネットワーク（MADALINE）を訓練する方法を経験的に探したが、成功は限られていた。[ 26 ] [ 27 ]
1965年にアレクセイ・グリゴリエヴィチ・イヴァフネンコとヴァレンティン・ラパによって、任意のレベルの学習可能な重みを持つ多層パーセプトロンを学習させる方法が発表され、これは「データ処理のグループ法」と呼ばれています。この方法は、回帰分析に基づく層ごとの増分学習を採用しており、検証セットの助けを借りて隠れ層の不要なユニットが剪定されます。[ 28 ] [ 29 ] [ 30 ]
確率的勾配降下法[ 31 ]で学習した最初の多層パーセプトロンは、 1967年に甘利俊一によって発表された。[ 32 ]甘利の教え子である斎藤が行ったコンピュータ実験では、2つの変更可能な層を持つ5層のMLPが、非線形分離可能なパターンクラスを分類するための有用な内部表現を学習した。 [ 29 ]
1972年、甘利俊一は自己組織化ネットワークの初期の例を作成した。[ 33 ]
人工知能研究者の間では、ニューラルネットワークが何に役立つかについて意見の相違があった。1960年代後半頃には、ニューラルネットワークに関する研究や論文が広く停滞し、「ニューラルネットワークの冬」と呼ばれる時期があり、これは1970年代まで続き、その間、人工知能の分野は記号的手法へと移行した。パーセプトロン（1969年）の出版は、この出来事のきっかけとなったと一般的に考えられている。[ 34 ] [ 35 ]
第2波は1980年代初頭に始まった。主な出版物としては、ホップフィールドネットワークを普及させた（ジョン・ホップフィールド、1982年）[ 36 ]、バックプロパゲーションを普及させた1986年の論文[ 37 ] 、そしてジェームズ・L・マクレランド、デビッド・E・ルーメルハートらによる並列分散処理（PDP）に関する1987年の2巻からなる書籍が挙げられる。この書籍では、入力ユニットと出力ユニットに加えて中間プロセッサ（現在は「隠れ層」として知られている）を導入したり、従来の「全か無か」の関数の代わりにシグモイド活性化関数を使用したりするなど、単純なパーセプトロンのアイデアにいくつかの改良が加えられている。
ホップフィールドは統計力学の観点からこの分野にアプローチし、初期の数学的厳密性を提供し、この分野の信頼性を高めた。[ 3 ]また、ニューラルネットワークが普遍的な関数近似器であることを証明した一連の重要な論文も、数学的な信頼性を高めた。[ 38 ]
この時期には、初期の人気デモンストレーションプロジェクトがいくつか登場した。NETtalk （1987年）は英語の書き言葉の発音を習得した。これは人気を博し、Todayショーにも出演した。[ 39 ] TD-Gammon （1992年）はバックギャモンで人間の最高レベルに達した。[ 40 ]
1980年代後半にコネクショニズムがますます人気を集めるにつれ、ジェリー・フォダーやスティーブン・ピンカーをはじめとする一部の研究者はこれに反発した。彼らは、当時発展途上にあったコネクショニズムが、認知科学や心理学の分野で古典的な計算主義のアプローチによって達成されてきた進歩を消し去る恐れがあると主張した。計算主義は認知主義の特定の形態であり、精神活動は計算的である、つまり、心はチューリングマシンのように記号に対して純粋に形式的な操作を行うことによって機能すると主張する。一部の研究者は、コネクショニズムの傾向は連想主義への回帰であり、思考の言語という概念の放棄を意味すると主張し、それは誤りだと考えた。対照的に、まさにこうした傾向が、他の研究者にとってコネクショニズムを魅力的なものにしたのである。
コネクショニズムと計算主義は必ずしも対立するものではないが、1980年代後半から1990年代初頭にかけての議論は、両アプローチ間の対立を招いた。この議論を通して、コネクショニズムと計算主義は完全に両立可能であると主張する研究者もいたが、この点に関して完全な合意には至っていない。両アプローチの相違点は以下のとおりである。
これらの違いにもかかわらず、一部の理論家は、コネクショニスト・アーキテクチャは、有機脳がたまたま記号操作システムを実装する方法にすぎないと提唱している。これは論理的に可能であり、コネクショニスト・モデルは計算主義モデルで使用される種類の記号操作システムを実装できることがよく知られている[ 41 ]。実際、記号操作タスクを実行する人間の能力を説明するためには、それが可能でなければならない。記号操作アーキテクチャとコネクショニスト・アーキテクチャの両方を組み合わせた認知モデルがいくつか提案されている。その中には、ポール・スモレンスキーの統合コネクショニスト/記号認知アーキテクチャ（ICS）[ 8 ] [ 42 ]やロン・サンのCLARION（認知アーキテクチャ）などがある。しかし、この記号操作が認知全般の基礎を形成するかどうかが議論の焦点となっているため、これは計算主義の潜在的な正当化にはならない。とはいえ、計算論的記述は、たとえば論理の認知の高レベル記述として役立つ可能性がある。
この議論は、コネクショニストネットワークがこの種の推論で観察される構文構造を生成できるかどうかについての論理的な議論に大きく焦点を当てていた。これは後に、コネクショニストモデルで通常想定されているものとは異なる高速変数結合能力を使用して達成された。[ 41 ] [ 43 ]
計算論的記述の魅力の一つは、比較的解釈が容易であるため、特定の精神過程の理解に貢献するものと見なされる点にある。一方、コネクショニストモデルは一般的に、非常に一般的な用語（学習アルゴリズム、ユニット数などを指定するなど）でしか記述できないか、あるいは役に立たない低レベルの用語でしか記述できないという点で、より不透明である。この意味で、コネクショニストモデルは、モデル化されている特定の過程の有用な理論を表すことなく、認知の広範な理論（すなわちコネクショニズム）を具体化し、その証拠を提供する可能性がある。この意味で、この議論は、特定の理論が構築される分析レベルの単なる違いをある程度反映していると考えられるかもしれない。一部の研究者は、分析のギャップは、コネクショニストメカニズムが計算論的用語で記述できる可能性のある創発現象を生み出すことの結果であると示唆している。 [ 44 ]
2000年代には、心の哲学における動的システムの普及により、議論に新たな視点が加わりました。[ 45 ] [ 46 ]現在では、コネクショニズムと計算主義の間の分裂は、計算主義と動的システムの間の分裂としてより明確に特徴づけられると主張する著者もいます。
2014年、DeepMindのアレックス・グレイブスらは、テープ上のシンボルを読み取り、シンボルをメモリに格納できるニューラルチューリングマシン[ 47 ]と呼ばれる新しい深層ニューラルネットワーク構造を記述した一連の論文を発表した。DeepMindが発表した別の深層ネットワークモジュールであるリレーショナルネットワークは、オブジェクトのような表現を作成し、それを操作して複雑な質問に答えることができる。リレーショナルネットワークとニューラルチューリングマシンは、コネクショニズムと計算主義が必ずしも対立するものではないことを示すさらなる証拠である。
スモレンスキーのサブシンボリック・パラダイム[ 48 ] [ 49 ]は、現代のコネクショニズムにおける説得力のある認知理論のために、古典的記号理論によって定式化されたフォダー＝ピリシン課題[ 50 ] [ 51 ] [ 52 ] [ 53 ]に応えなければならない。認知の適切な代替理論となるためには、スモレンスキーのサブシンボリック・パラダイムは、認知プロセスが心的表象の古典的な構成要素構造に因果的に敏感であるという仮定なしに、言語認知における体系性または体系的関係の存在を説明しなければならない。したがって、サブシンボリック・パラダイム、あるいは一般的にコネクショニズムは、古典的な認知アーキテクチャの単なる実装に頼ることなく、体系性と構成性の存在を説明しなければならない。この課題はジレンマを示唆している。サブシンボリック・パラダイムが心的表象の体系性と構成性に何も貢献できないのであれば、認知の代替理論の基礎としては不十分である。しかし、サブシンボリック・パラダイムの体系性への貢献が、心的表象の古典的な構成要素構造に基づいた心的プロセスを必要とするのであれば、それが展開する認知理論は、せいぜい古典的な記号理論モデルの実装アーキテクチャであり、真の代替（コネクショニスト）認知理論ではないことになる。[ 54 ]古典的な記号モデルは、（1）心的表象の組み合わせ構文と意味論、および（2）フォダーの思考言語（LOT）で使用される心的表象の構文的および意味論的構成要素構造の基本原理に基づいた、構造に敏感なプロセスとしての心的操作によって特徴付けられる。[ 55 ] [ 56 ]これは、人間の認知の以下の密接に関連する特性、すなわち、（1）生産性、（2）体系性、（3）構成性、および（4）推論の一貫性を説明するために使用できます。[ 57 ]
この課題は、現代のコネクショニズムにおいて、例えばスモレンスキーの統合コネクショニスト/シンボリック（ICS）認知アーキテクチャ[ 58 ] [ 59 ]だけでなく、ワーニングとメイの振動ネットワーク[ 60 ] [ 61 ] [ 62 ]によっても解決されている。これに関する概説は、例えばベヒテルとアブラハムセン[ 63 ] 、マーカス[ 64 ] 、マウラー[ 65 ]によって示されている。
最近、Heng Zhang氏らは、主流の知識表現形式は、同等の表現力を持つ限り、実際には再帰的に同型であることを実証した。[ 66 ]この発見は、汎用人工知能（AGI）の実現において、記号的知識表現形式とコネクショニスト的知識表現形式の間には根本的な違いがないことを示唆している。さらに、再帰的同型の存在は、異なる技術的アプローチが互いに知見を引き出すことができることを示唆している。