Loading article…
レイ・ソロモノフ（1926年7月25日 - 2009年12月7日）[ 1 ] [ 2 ]は、アルゴリズム確率[ 3 ]、帰納的推論の一般理論（普遍的帰納的推論とも呼ばれる）[ 4 ]を発明し、アルゴリズム情報理論の創始者でもあるアメリカの数学者です。[ 5 ]彼は、機械学習、予測、確率に基づく人工知能の分野の創始者でした。彼は1956年に非意味的機械学習に関する最初のレポートを発表しました。[ 6 ]
ソロモノフは1960年に初めてアルゴリズム的確率を記述し、コルモゴロフ複雑性とアルゴリズム的情報理論の出発点となった定理を発表しました。彼は1960年にカリフォルニア工科大学で開催された会議でこれらの結果を初めて発表し[ 7 ]、同年2月の報告書「帰納的推論の一般理論に関する予備報告」[ 8 ]でも発表しました。彼は1964年の出版物「帰納的推論の形式理論」第1部[ 9 ]および第2部[ 10 ]でこれらの考えをより完全に明らかにしました。
アルゴリズム確率は、オッカムの剃刀[ 11 ] [ 12 ] [ 13 ] [ 14 ]と多重説明の原理[ 15 ]を数学的に形式化したものです。これは、 与えられた観測結果を説明する各仮説（アルゴリズム/プログラム）に確率値を割り当てる機械に依存しない方法であり、最も単純な仮説（最も短いプログラム）が最も高い確率を持ち、複雑になるにつれて確率は小さくなっていきます。
ソロモノフは、確固たる哲学的基盤[ 4 ]に基づき、コルモゴロフ複雑性とアルゴリズム情報理論に根ざした普遍的帰納的推論の理論を創始した。この理論は、ベイズ的枠組みでアルゴリズム的確率を使用する。普遍的事前確率は、すべての計算可能な尺度のクラスに対して取られ、どの仮説も確率がゼロになることはない。これにより、ベイズの法則（因果関係）を使用して、一連の事象の中で最も可能性の高い次の事象と、その可能性を予測することができる。[ 10 ]
彼はアルゴリズム確率論と帰納的推論の一般理論で最もよく知られているが、生涯を通じて他にも多くの重要な発見をしており、そのほとんどは人工知能における彼の目標、すなわち確率的手法を用いて難問を解決できる機械を開発することに向けられていた。
レイ・ソロモノフは、1926年7月25日、オハイオ州クリーブランドで、ユダヤ系ロシア移民のフィリップ・ジュリアス・ソロモノフとサラ・マッシュマン・ソロモノフ夫妻の息子として生まれた。グレンビル高校に通い、1944年に卒業。同年、アメリカ海軍に入隊し、電子工学の教官を務めた。1947年から1951年までシカゴ大学に通い、ルドルフ・カルナップやエンリコ・フェルミなどの教授陣の下で学び、1951年に物理学の修士号を取得した。
彼は幼い頃から数学的発見の純粋な喜びと、誰も行ったことのない場所を探求したいという願望に駆り立てられていた[ 16 ]。16歳になった1942年、彼は数学の問題を解決するための一般的な方法を探し始めた。
1952年、彼はマービン・ミンスキー、ジョン・マッカーシーら機械知能に関心を持つ人々と出会った。1956年、ミンスキー、マッカーシーらはダートマス大学で人工知能に関する夏季研究会議を組織し、ソロモノフは当初の招待者10人のうちの1人となった。彼とマッカーシー、ミンスキーだけが夏の間ずっと会議に留まった。人工知能が初めて科学として命名されたのは、このグループにおいてであった。当時のコンピュータは非常に限定的な数学的問題を解くことはできたが、それ以外にはほとんど何もできなかった。ソロモノフは、機械をより汎用的に知能化する方法、そしてコンピュータがそのために確率をどのように利用できるかという、より大きな問題を追求したいと考えていた。
彼は1950年から1952年にかけて、アナトール・ラポポートと共著で2つの論文を含む3つの論文を執筆した[ 17 ]。これらはネットワークの最も初期の統計分析とみなされている。
彼は1956年のダートマス夏季人工知能研究プロジェクトに参加した10人のうちの1人だった。彼は「帰納的推論マシン」というレポートを書いて参加者に配布した。[ 6 ]このレポートでは、機械学習を確率論的と捉え、トレーニングシーケンスの重要性と、新しい問題に対する試行的解を構築する際に、問題に対する以前の解の一部を使用することに重点を置いていた。彼は1957年に研究結果のバージョンを発表した。[ 18 ] これらは確率的機械学習について書かれた最初の論文だった。
1950年代後半、彼は確率言語とその関連文法を発明した。[ 19 ] 確率言語は、考えられるすべての文字列に確率値を割り当てる。
確率文法の概念を一般化することで、彼は1960年にアルゴリズム的確率と帰納的推論の一般理論を発見した。
1960年代以前は、確率を計算する一般的な方法は頻度に基づくもので、好ましい結果の回数を試行回数で割るというものでした。ソロモノフは1960年の論文、そしてより詳細には1964年の論文において、この確率の定義を根本的に見直しました。彼はこの新しい形の確率を「アルゴリズム的確率」と呼び、帰納的推論の理論において、それを予測にどのように応用できるかを示しました。この研究の一環として、彼は予測におけるベイズの因果律の適用に関する哲学的基盤を構築しました。
後にコルモゴロフ複雑性と呼ばれるようになったものの基本定理は、彼の一般理論の一部でした。1960年に書かれた彼は、次のように書き始めています。「非常に長い記号列を考えてみましょう...このような記号列は、何らかの規定された記述方法を使用して、この列の非常に短い記述が存在する場合、『単純』であり、事前確率が高いとみなします。より正確には、記述を表現するために記号0と1のみを使用する場合、記号列の最短のバイナリ記述がN桁を含む場合、記号列に 確率2 − Nを割り当てます。」[ 20 ]
この確率は、特定の汎用チューリングマシンを基準としたものです。ソロモノフは、マシンの選択によって定数係数が加わる可能性はあるものの、確率比はそれほど大きく変化しないことを示し、1964年にそれを証明しました。これらの確率はマシンに依存しません。
1965年、ロシアの数学者コルモゴロフは独自に同様のアイデアを発表した。ソロモノフの研究を知ったコルモゴロフはソロモノフの功績を認め、その後数年間、ソロモノフの研究は西側諸国よりもソ連で広く知られるようになった。しかし、科学界の一般的な見解は、この種の複雑性を、数列のランダム性に関心を寄せていたコルモゴロフと結びつけることだった。アルゴリズム的確率と普遍的（ソロモノフ）帰納法は、予測、すなわち数列の外挿に焦点を当てていたソロモノフと関連付けられるようになった。
同じ 1960 年の出版物で、ソロモノフは、単一最短コード理論の拡張について説明しています。これがアルゴリズム的確率です。彼は、「シーケンスを記述するさまざまな方法がある場合、そのシーケンスの確率を決定する際に、これらの方法のそれぞれに何らかの重みを与えるべきであると思われる」と述べています。[ 21 ]彼は次に、このアイデアを使用して普遍的な事前確率分布を生成する方法と、それが帰納的推論でベイズの規則を使用することを可能にする方法を示しています。帰納的推論では、特定のシーケンスを記述するすべてのモデルの予測を、それらのモデルの長さに基づく適切な重みを使用して合計することにより、そのシーケンスの拡張の確率分布を取得します。この予測方法は、その後ソロモノフの帰納法として知られるようになりました。
彼は自身の理論を拡張し、1964年の論文発表に至るまでに数々の報告書を発表した。1964年の論文では、アルゴリズム的確率論とソロモノフ帰納法についてより詳細な説明がなされており、一般に普遍分布と呼ばれるモデルを含む5つの異なるモデルが提示されている。
1956年のダートマス夏季会議に参加していた他の科学者たち（ニューウェルやサイモンなど）は、if-thenルールに基づき事実に基づいて動作する機械を用いる人工知能の分野を開発していた。一方、ソロモノフは確率と予測に焦点を当てた人工知能の分野を開発していた。彼のAIに関する具体的な見解は、アルゴリズム的確率分布によって制御される機械を記述するものであった。この機械は、問題を解決するために理論とその関連確率を生成し、新たな問題や理論が生まれるにつれて、それらの理論に関する確率分布を更新する。
1968年に彼はアルゴリズム確率の有効性の証明を発見したが[ 22 ]、当時の一般的な関心の欠如が主な理由で、10年後まで発表しなかった。彼のレポートでは、収束定理の証明を発表した。
アルゴリズム確率の発見後、彼はこの確率とソロモノフ帰納法をAIにおける実際の予測や問題解決にどのように活用するかに焦点を当てた。また、この確率システムのより深い意味を理解したいとも考えていた。
アルゴリズム的確率の重要な側面の一つは、それが完全かつ計算不可能であるという点である。
1968年の報告書で、彼はアルゴリズム確率が完全であることを示しています。つまり、データ群に記述可能な規則性があれば、アルゴリズム確率は最終的にその規則性を発見し、そのデータの比較的小さなサンプルを必要とします。アルゴリズム確率は、このように完全であることが知られている唯一の確率システムです。その完全性の必然的な結果として、それは計算不可能です。計算不可能なのは、一部のアルゴリズム（部分的に再帰的なアルゴリズムのサブセット）は、時間がかかりすぎるため、完全に評価することができないからです。しかし、これらのプログラムは少なくとも可能な解として認識されます。一方、計算可能なシステムはすべて不完全です。そのシステムの探索空間外には、無限の時間をかけても認識または考慮されない記述が常に存在します。計算可能な予測モデルは、そのようなアルゴリズムを無視することでこの事実を隠蔽しています。
彼は多くの論文で問題解決の方法を解説し、1970年代から1980年代初頭にかけて、機械をアップデートする最善の方法だと彼が考える手法を開発した。
しかし、AIにおける確率の利用は、必ずしも順風満帆な道のりを辿ったわけではなかった。AI黎明期には、確率の妥当性自体が問題視されていた。AIコミュニティの多くの人々は、確率は自分たちの研究には使えないと考えていた。パターン認識の分野では確率の一形態が用いられていたものの、AIのあらゆる分野に確率を組み込むための包括的な理論が存在しなかったため、ほとんどの分野では確率は全く使われていなかった。
しかし、パールやピーター・チーズマンといった研究者たちは、確率論を人工知能に応用できると主張した。
1984年頃、米国人工知能学会（AAAI）の年次総会において、確率は人工知能とは全く無関係であると決定された。
抗議グループが結成され、翌年にはAAAI会議で「AIにおける確率と不確実性」に関するワークショップが開催された。このワークショップは毎年開催され、現在まで続いている。[ 23 ]
最初のワークショップでの抗議活動の一環として、ソロモノフはAIの問題に普遍分布を適用する方法に関する論文を発表した[ 24 ]。これは彼が当時から開発してきたシステムの初期バージョンだった。
その報告書の中で、彼は自身が開発した探索手法について説明した。探索問題において、最適な探索順序は時間である。、 どこ試験をテストするのに必要な時間とは、その試行が成功する確率です。彼はこれを問題の「概念的ジャンプサイズ」と呼びました。レヴィンの探索手法はこのオーダーに近似しており、[ 25 ]レヴィンの研究を研究していたソロモノフはこの探索手法をLsearchと呼びました。
他の論文では、彼はリソース制約付き探索について論じ、解決策を探すのに必要な時間を制限する方法を探求した。探索空間は、最小記述長などの他の予測方法のように探索空間を切り捨てるのではなく、利用可能な時間または計算コストによって制限される。
ソロモノフはキャリアを通じてAIの潜在的な利点と危険性に関心を持ち、多くの発表レポートでそれを論じてきた。1985年にはAIの進化の可能性を分析し、「無限大点」に到達する時期を予測する式を示した。[ 26 ]この研究は、技術的特異点の 可能性についての思考の歴史の一部である。
当初、アルゴリズム的帰納法は文字列の順序付きシーケンスを外挿するために用いられていた。しかし、他の種類のデータを扱うための手法が必要となった。
1999年の報告書[ 27 ]は、普遍分布と関連する収束定理を文字列の順序付けされていない集合に一般化し、2008年の報告書[ 28 ]は文字列の順序付けされていないペアに一般化しています。
1997年、[ 29 ] 2003年と2006年に彼は、計算不可能性と主観性は、あらゆる高性能誘導システムの必要かつ望ましい特性であることを示した。
1970年、彼はオックスブリッジ・リサーチという一人会社を設立し、MIT、ドイツのザールラント大学、スイスのルガーノにあるダレ・モレ人工知能研究所などの他の機関での研究期間を除き、そこで研究を続けた。2003年、彼はロンドン大学ロイヤル・ホロウェイ校のコンピュータ学習研究センター（CLRC）からコルモゴロフ賞の初代受賞者となり、同センターで第1回コルモゴロフ記念講演を行った。ソロモノフは最近までCLRCの客員教授を務めていた。
2006年、彼はダートマス大学の夏季研究会設立50周年を記念する「 AI@50：ダートマス人工知能会議：次の50年」で講演を行った。ソロモノフは、当時この会議に参加した5人のうちの1人だった。
2008年2月、彼はレバノンのノートルダム大学で開催された「コンピュータ科学の理論と応用における最新動向」（CTTACS）会議で基調講演を行った。その後、一連の短い講義を行い、アルゴリズム確率の新たな応用に関する研究を開始した。
アルゴリズム確率とソロモノフ帰納法は、人工知能にとって多くの利点があります。アルゴリズム確率は、非常に正確な確率推定値を提供します。これらの推定値は、信頼できる方法で修正できるため、引き続き許容できます。探索時間を非常に効率的に利用します。確率推定値に加えて、アルゴリズム確率は「AIにとってもう1つの重要な価値を持ちます。モデルの多様性により、データを理解するさまざまな方法が得られます。」
ソロモノフの1997年以前の経歴と業績については、「アルゴリズム的確率の発見」（Journal of Computer and System Sciences、第55巻、第1号、73～88ページ、1997年8月）に掲載されている。この論文、およびここで言及されている他のほとんどの論文は、彼のウェブサイトの出版物ページで閲覧できる。
ソロモノフの死去した年に発表された論文では、ソロモノフについて次のように述べられている。「非常に保守的な科学者は、単一の『現在のパラダイム』、つまり現在最も流行している理解方法を用いて科学を理解する。より創造的な科学者は、非常に多くの方法で科学を理解し、『現在のパラダイム』が現在のデータに合わなくなったときに、新しい理論や新しい理解方法をより容易に生み出すことができる。」[ 30 ]
2011年、アルゴリズム情報理論と人工知能に関する包括的な書籍『Randomness Through Computation: Some Answers, More Questions』[ 31 ]の一部として、グレゴリー・チャイティンやユルゲン・シュミットフーバーといったこの分野の著名な人物らと共に、アルゴリズム確率が汎用人工知能（AGI）や強力な人工知能（Strong AI）を実現する可能性について考察した最終論文を発表した。[ 32 ]
