ニューロシンボリックAI

ニューロシンボリックAIは、ニューラルAIとシンボリックAIのアーキテクチャを統合してそれぞれの弱点を克服し、推論、学習、認知モデリングが可能な堅牢なAIを提供する人工知能の一種です。レスリー・ヴァリアント^[1]ら[2]が主張しているように、^[3]リッチな計算認知モデルを効果的に構築するには、シンボリック推論と効率的な機械学習の組み合わせが必要です。ゲイリー・マーカスは、「ハイブリッドアーキテクチャ、豊富な事前知識、洗練された推論技術の3つがなければ、リッチな認知モデルを適切に自動化された方法で構築することはできません。」と主張しました。 ^[4]さらに、「堅牢で知識主導型のAIアプローチを構築するには、ツールキットにシンボル操作の仕組みが必要です。有用な知識の多くは抽象的であるため、抽象化を表現し操作するツールなしでは進めません。これまでのところ、そのような抽象的な知識を確実に操作できる唯一の既知の仕組みは、シンボル操作の装置です。」^[5]

ヘンリー・カウツ[ ^6]、 フランチェスカ・ロッシ[ ^7]、バート・セルマン^[8]も統合を主張した。彼らの主張は、ダニエル・カーネマンの著書『ファスト＆スロー』で論じられている2種類の思考に対処しようとするものである。この本では、認知は2つの要素から構成されると説明されている。システム1は高速、反射的、直観的、無意識的である。システム2はより低速で段階的、明示的である。システム1はパターン認識に使用され、システム2は計画、演繹、熟慮的思考を処理する。この見方では、ディープラーニングは最初の種類の認知を最もうまく処理し、シンボリック推論は2番目の種類の認知を最もうまく処理する。学習、推論、人間との対話を行ってアドバイスを受け入れ質問に答えることができる堅牢で信頼性の高いAIには、両方が必要である。2つの対照的なシステムを明示的に参照するこのような二重プロセスモデルは、1990年代からAIと認知科学の両方で複数の研究者によって研究されてきた。^[9]

統合のアプローチは多様です。^[10] ヘンリー・カウツの神経記号アーキテクチャの分類法^[11]といくつかの例を以下に示します。

• シンボリック ニューラル シンボリックは、自然言語処理における多くのニューラル モデルの現在のアプローチであり、単語またはサブワード トークンが大規模な言語モデルの最終的な入力と出力になります。例としては、 BERT、 RoBERTa 、GPT-3などがあります。
• Symbolic[Neural]の例としてはAlphaGoが挙げられます。ここではシンボリック手法を使用してニューラル手法を呼び出します。この場合、シンボリックアプローチはモンテカルロ木探索であり、ニューラル手法はゲームの位置を評価する方法を学習します。
• Neural | Symbolicはニューラルアーキテクチャを使用して、知覚データを記号と記号的に推論される関係として解釈します。Neural-Concept Learner ^[12]がその一例です。
• ニューラル: シンボリック → ニューラルは、シンボリック推論を利用してトレーニング データを生成またはラベル付けし、その後ディープラーニング モデルによって学習されます。たとえば、Macsymaのようなシンボリック数学システムを使用して例を作成またはラベル付けすることにより、シンボリック計算用のニューラル モデルをトレーニングします。
• Neural_{Symbolic}は、シンボリックルールから生成されたニューラルネットを使用します。例としては、知識ベースのルールと用語から生成されたAND-OR証明ツリーからニューラルネットワークを構築するNeural Theorem Prover ^[13]があります。Logic Tensor Networks ^[14]もこのカテゴリに分類されます。
• Neural[Symbolic] を使用すると、ニューラル モデルがシンボリック推論エンジンを直接呼び出して、アクションを実行したり状態を評価したりすることができます。例としては、プラグインを使用してWolfram Alpha にクエリを実行するChatGPTがあります。

これらのカテゴリは、マルチエージェントシステムを考慮していないため、網羅的ではありません。2005年に、BaderとHitzlerは、シンボルの使用にロジックが含まれているかどうか、含まれている場合はロジックが命題論理か一階論理かなどを考慮した、よりきめの細かい分類を提示しました。^[15] 2005年の分類と上記のKautzの分類法は、2021年の記事で比較対照されています。^[11]最近、Sepp Hochreiterは、グラフニューラルネットワークは「ニューラルシンボリックコンピューティングの主なモデルである」^[16]と主張しました。「分子の特性を説明したり、ソーシャルネットワークをシミュレートしたり、粒子間の相互作用を伴う物理およびエンジニアリングアプリケーションで将来の状態を予測したりするからです。」^[17]

ゲイリー・マーカスは、「学習と記号操作を組み合わせたハイブリッドアーキテクチャは、堅牢な知能には必要だが、それだけでは 十分ではない」と主張している^[18]。

堅牢な人工知能を構築するための 4 つの認知的前提条件:

• 大規模学習と記号操作の表現力および計算力を組み合わせたハイブリッドアーキテクチャ。
• 大規模な知識ベース（おそらく生来の枠組みを活用したもの）は、記号的知識と他の形式の知識を組み込んでいる。
• それらの知識ベースを扱いやすい方法で活用できる推論メカニズム、および
• これらのメカニズムと知識ベースと連携して機能する豊富な認知モデル^[19 ]

これは1990年代初頭にハイブリッドモデルを求める声を反映している。^{[20] [21]}

ガルセズとラムは、この分野の研究は少なくとも1990年代から継続していると述べています。^{[22] [23]}当時は、シンボリックAIとサブシンボリックAIという用語が一般的でした。

ニューロシンボリックAIに関する一連のワークショップは、2005年から毎年開催されている。^[24] 1990年代初頭には、このテーマに関する最初の一連のワークショップが開催された。^[20]

重要な研究課題としては^[25] 、次のようなものが挙げられます。

• ニューラルアーキテクチャとシンボリックアーキテクチャを統合する最良の方法は何ですか?
• 記号構造はニューラル ネットワーク内でどのように表現され、そこからどのように抽出されるのでしょうか?
• 常識的な知識をどのように学び、推論すればよいのでしょうか?
• 論理的にコード化するのが難しい抽象的な知識をどのように扱うことができるでしょうか?

ニューロシンボリックアプローチの実装には以下が含まれます。

• AllegroGraph：ニューロシンボリックアプリケーション開発のための統合ナレッジグラフベースのプラットフォーム。^{[26] [27] [28]}
• Scallop: Datalogをベースにした言語で、微分可能な論理的推論と関係的推論をサポートします。ScallopはPythonとPyTorch学習モジュールに統合できます。 ^[29]
• ロジック テンソル ネットワーク: 論理式をニューラル ネットワークとしてエンコードし、用語のエンコード、用語の重み、および式の重みを同時に学習します。
• DeepProbLog: ニューラル ネットワークとProbLogの確率的推論を組み合わせます。
• SymbolicAI: 構成的微分可能プログラミング ライブラリ。
• 説明可能なニューラルネットワーク（XNN）：ニューラルネットワークとシンボリックハイパーグラフを組み合わせ、バックプロパゲーションとシンボリック学習を組み合わせた帰納法でトレーニングします。^[30]

• Bader, Sebastian; Hitzler, Pascal (2005-11-10). 「神経記号統合の次元 - 構造化調査」. arXiv : cs/0511042 .
• Garcez, Artur S. d'Avila; Broda, Krysia; Gabbay, Dov M.; Gabbay (2002). Neural-Symbolic Learning Systems: Foundations and Applications . Springer Science & Business Media. ISBN 978-1-85233-512-0。
• Garcez, Artur; Besold, Tarek; De Raedt, Luc; Földiák, Peter; Hitzler, Pascal ; Icard, Thomas; Kühnberger, Kai-Uwe; Lamb, Luís; Miikkulainen, Risto; Silver, Daniel (2015). ニューラルシンボリック学習および推論: 貢献と課題。AAAI 春季シンポジウム - 知識表現および推論: シンボリックアプローチとニューラルアプローチの統合。スタンフォード、カリフォルニア州。doi : 10.13140/2.1.1779.4243。
• Garcez, Artur d'Avila; Gori, Marco; Lamb, Luis C.; Serafini, Luciano; Spranger, Michael; Tran, Son N. (2019). 「ニューラルシンボリックコンピューティング: 機械学習と推論の原理的統合のための効果的な方法論」. arXiv : 1905.06088 [cs.AI].
• ガルセズ、アルトゥール・ダビラ。ラム、ルイス C. (2020)。 「神経象徴的AI：第3の波」。arXiv : 2012.05876 [cs.AI]。
• ヒッツラー、パスカル、サーカー、Md カムルザマン (2022)。ニューロシンボリック人工知能：最先端の技術。IOS プレス。ISBN 978-1-64368-244-0。
• ヒッツラー、パスカル、サーカー、Md カムルザマン、エバーハート、アーロン (2023)。神経シンボリック人工知能大要。IOS プレス。ISBN 978-1-64368-406-2。
• Hochreiter, Sepp. 「幅広いAIに向けて」 Commun. ACM 65(4): 56–57 (2022) 幅広いAIに向けて
• Honavar, Vasant (1995)。シンボリック人工知能と数値人工ニューラルネットワーク：二分法の解決に向けて。Springer International Series In Engineering and Computer Science。Springer US。pp. 351–388。doi :10.1007/978-0-585-29599-2_11。
• Kautz, Henry (2020-02-11). 第3回AIサマー、Henry Kautz、AAAI 2020 Robert S. Engelmore Memorial Award Lecture 。 2022年7月6日閲覧。
•  Kautz, Henry (2022). 「第3回AIサマー：AAAIロバート・S・エンゲルモア記念講演」。AIマガジン。43 (1): 93–104。doi ： 10.1609 / aimag.v43i1.19122。ISSN 2371-9621。S2CID 248213051。  2022年7月12日閲覧。
• Mao, Jiayuan; Gan, Chuang; Kohli, Pushmeet; Tenenbaum, Joshua B.; Wu, Jiajun (2019). 「ニューロシンボリック概念学習者：自然な監督からのシーン、単語、文の解釈」。arXiv ：1904.12584 [ cs.CV ]。
• マーカス、ゲイリー、デイビス、アーネスト (2019) 。AI の再起動: 信頼できる人工知能の構築。ヴィンテージ。
• マーカス、ゲイリー（2020）。「AIの次の10年：堅牢な人工知能に向けた4つのステップ」arXiv：2002.06177 [cs.AI]。
• Rossi, Francesca (2022-07-06). 「AAAI2022: AIにおけるファストとスローの思考 (AAAI 2022 招待講演)」。2022-07-06に閲覧。
• セルマン、バート (2022-07-06). 「AAAI2022: 大統領演説: AIの現状」。2022-07-06閲覧。
• Serafini, Luciano; Garcez, Artur d'Avila (2016-07-07). 「ロジック テンソル ネットワーク: データと知識からのディープラーニングと論理的推論」. arXiv : 1606.04422 [cs.AI].
• サン、ロン（1995）。「ロバスト推論：ルールベース推論と類似性ベース推論の統合」人工知能75（2）：241–296。doi ：10.1016/0004-3702（94）00028-Y。
• Sun, Ron; Bookman, Lawrence (1994)。ニューラルプロセスとシンボリックプロセスを統合する計算アーキテクチャ。Kluwer。
• サン、ロン、アレクサンドル、フレデリック (1997)。コネクショニスト シンボリック統合。ローレンス アールバウム アソシエイツ。
• Sun, R (2001). 「ハイブリッドシステムとコネクショニスト実装主義」認知科学百科事典 (MacMillan Publishing Company, 2001)。

• Valiant, Leslie G (2008)。「知識の注入: 人工知能の堅牢性の追求」。ソフトウェア技術と理論計算機科学の基礎に関する IARCS 年次会議。doi : 10.4230/ LIPIcs.FSTTCS.2008.1770。

• シンボリックAI
• コネクショニストAI
• ハイブリッドインテリジェントシステム

• 人工知能: ニューラルシンボリック学習と推論に関するワークショップシリーズ