デビッド・ウォルパート

デビッド・H・ウォルパート
デビッド・H・ウォルパート
国籍	アメリカ人
母校	プリンストン大学; カリフォルニア大学サンタバーバラ校
	科学者としてのキャリア
フィールド	数学; コンピュータサイエンス
機関	サンタフェ研究所
博士課程の指導教員	アンソニー・ジー

デビッド・ヒルトン・ウォルパートは、アメリカの物理学者であり、コンピュータ科学者です。サンタフェ研究所の教授です。著書 3 冊、特許 3 件、査読付き論文 100 本以上を執筆し、2 つの賞を受賞しています。彼の名前は、特に「ただ飯はない」として知られるコンピュータサイエンスの定理と結び付けられています。

キャリア

デビッド・ウォルパートはプリンストン大学で物理学の学士号（1984年）を取得し、その後カリフォルニア大学サンタバーバラ校に進学し、修士号（1987年）と博士号（1989年）を取得しました。

1989年から1997年にかけて、ロスアラモス国立研究所、IBM、TXN Inc.、サンタフェ研究所で研究者として勤務しました。

1997年から2011年までNASAエイムズ研究センターの上級コンピュータ科学者として働き、その後マックス・プランク研究所の客員研究員となった。2010年から2011年にかけてロスアラモスの非線形研究センターでウラム奨学生として過ごした。^[1]

彼は2011年にサンタフェ研究所の教員となり、2013年9月に教授に就任しました。^[2]彼の研究分野には、統計学、ゲーム理論、機械学習の応用、情報理論、最適化手法、複雑系理論などがあります。

「ただのランチはない」

ウォルパートの最も議論されている業績の 1 つは、探索と最適化におけるノーフリーランチです。^[3]^[4]^[5]^[6]この定理によれば、探索と最適化のすべてのアルゴリズムは、それらが処理するように設計されたクラスのすべての問題に対して平均すると同等に優れたパフォーマンスを発揮します。ただし、機械学習のコンテキストでは、定理はトレーニングデータとテストデータの間に重複がないという暗黙の人為的な仮定を立てていますが、これは実際にはほとんど当てはまりません。^[7]より一般的には、定理は、実際の生活で正確に遭遇することはめったにない特定の条件下でのみ成立します。 ^[8]^[9]^[10]ただし、条件は近似的に満たされる可能性があると主張されています。^[11]この定理はコンピューターサイエンスの領域に属しますが、ウィリアム A. デムスキーはインテリジェントデザインを支持するために「民俗的なノーフリーランチ定理」として知られるより弱いバージョンを利用しました。^{[12]この定理の使用は、ウォルパート自身}^[13]および他の人によって否定されています。^[14]^[15]

知識の限界

ウォルパートは、いかなる知性も、それが一部を形成する宇宙についてすべてを知ることは原理的に不可能であることを示す議論を形式化し、言い換えれば「ラプラスの悪魔」を反証しました。^{[16]これは、}ハイゼンベルクやゲーデルなどの20世紀の極限定理の延長と見なされてきました。 [17] 2018年にウォルパートは科学的知識の根本的な限界を明らかにする証明を発表しました。 [ ¹⁸^]

機械学習

ウォルパートは機械学習の初期の研究に多くの貢献をした。これには、分布のサンプルに基づく分布のエントロピーのベイズ推定量、 ^[19]^[20]「証拠手順」が階層ベイズと同等であるという正式な主張の反証、^[21]カイ二乗検定のベイズ代替法、^[22]ブートストラップ手順がベイズ最適となる事前条件が存在しないことを証明、 ^[23]およびバイアスプラス分散分解のベイズ拡張が含まれる。^[24]最も顕著なのは、彼が「スタック一般化」^[25]を導入したことだ。これは、データセットの保持された/保持されたパーティションを使用して、学習アルゴリズムの1つを選択するのではなく、学習アルゴリズムを組み合わせる、より洗練されたバージョンのクロスバリデーションである。この研究はブレイマン、スミス、クラークら多くの人々によってさらに発展し、特に2009年のNetflixコンペティションの上位2人の受賞者はスタック一般化（「ブレンディング」と改名）を活用しました。^[26]

学術会員

IEEEフェロー
FQXiのメンバー
アメリカン大学インフォメーションメトリックス研究所研究員
副編集長（2017年1月現在）
- 複雑系における進歩
- IEEE 進化計算トランザクション
- ACM 自律適応システムに関するトランザクション
編集委員（2017年1月現在）
- 人工知能研究ジャーナル
- 生命科学の理論
- 経済交流と調整ジャーナル
- 行動経済学のレビュー
- エントロピ
- がんの収束
NSFパネルのメンバー

受賞歴

プリンストン大学物理学科日下賞
IEEE Transactions on Evolutionary Computation、第1巻および第2巻の最優秀論文賞
1999年NASAコードIC優秀賞

出版物（書籍のみ）

Wolpert, DH, Kempes, C., Stadler, PF, Grochow, JA (編)、『生命と機械におけるコンピューティングのエネルギー論』、Santa Fe Institute Press、2019年。ISBN 1947864076
ウォルパート、DH（編）、一般化の数学、アディソン・ウェズレー、1994年。ISBN 0201409852
ウォルパート、DH「未来を計算するための不完全性定理」、SFI経済プログラム、サンタフェ研究所、1996年。
Tumer, K. および Wolpert, DH (編)、Collectives And The Design Of Complex Systems、Springer、2004 年。ISBN 0387401652
Guy, TV, Karny M., Wolpert DH (編)、Decision making with imperfect decision makers、Springer、2012年。ISBN 3642246478
ウォルパート、DH集合知の理論、NASA 技術レポートサーバー、2003 年。ISBN 1289283427

参考文献

^ “CNLS Ulam Scholar”. 2014年10月26日時点のオリジナルよりアーカイブ。2014年9月22日閲覧。
^ デビッド・ウォルパート、サンタフェ研究所
^ Wolpert, DH, Macready, WG (1995)、「検索におけるフリーランチ定理なし」、技術レポート SFI-TR-95-02-010 (サンタフェ研究所)。
^ Wolpert DH、 Macready WG (1997)。「最適化のためのフリーランチ定理はない」( PDF)。IEEE Transactions on Evolutionary Computation。1 : 67。CiteSeerX 10.1.1.138.6606。doi : 10.1109 /4235.585893。S2CID 5553697。
^ Wolpert, David (1996)、「学習アルゴリズム間の事前区別の欠如」、Neural Computation、pp. 1341–1390。
^ David H. Wolpert、「ノー・フリー・ランチ定理の本当の意味; 検索アルゴリズムの改善方法」、SFI ワーキングペーパー 2012-10-017、サンタフェ研究所 2012
^ Baxter, Jonathan (1999). 「オフトレーニングセット (OTS) エラーに関するいくつかの観察」. arXiv : 1912.05915 .
^ Streeter, M. (2003) 「No Free Lunchの結果が成立しない2つの広範な関数のクラス」遺伝的および進化的計算 – GECCO 2003、pp. 1418–1430。
^ Igel C.、Toussaint M. (2004)。「ターゲット関数の非一様分布に対するノーフリーランチ定理」。数学モデリングおよびアルゴリズムジャーナル。3 (4): 313–322。CiteSeerX 10.1.1.71.9744。doi : 10.1023 / b:jmma.0000049381.24625.f7。S2CID 195292166。
^ English, T. (2004)、「No More Lunch: Analysis of Sequential Search」、Wayback Machineに 2015-05-01 にアーカイブ、Proceedings of the 2004 IEEE Congress on Evolutionary Computation、pp. 227–234。
^ Droste S.、Jansen T.、 Wegener I. (2002)。「ランダム検索ヒューリスティックによる最適化：(A)NFL定理、現実的なシナリオ、困難な関数」。理論計算機科学。287 ( 1): 131–144。doi :10.1016/s0304-3975(02) 00094-4。hdl : 2003/5394。{{cite journal}}: CS1 maint: 複数の名前: 著者リスト (リンク)
^ デムスキー、WA (2002) No Free Lunch、Rowman & Littlefield、ISBN 0-7425-1297-5
^ Wolpert, D. (2003)、ウィリアム・デムスキーのノー・フリー・ランチ定理の扱いはジェロで書かれている、トーク・リーズン
^ Perakh, M. (2003)、「ノーフリーランチ定理と進化アルゴリズムへの応用」、Talk Reason。
^ リチャード・ウェイン (2002)、「無料のランチではなくチョコレートの箱」(第 5.3 節)、The TalkOrigins アーカイブ
^ David H. Wolpert (2008). 「推論の物理的限界」. Physica D. 237 ( 9): 1257–1281. arXiv : 0708.1362 . Bibcode :2008PhyD..237.1257W. doi :10.1016/j.physd.2008.03.040. S2CID 2033616.全文
^ グラハム・P・コリンズ、「いかなる宇宙においても、いかなる知性もすべてを知ることはできない」、サイエンティフィック・アメリカン、2009年2月16日
^ 「新たな証拠が科学的知識の根本的な限界を明らかにする」。2018年10月4日閲覧。
^ David H. Wolpert および David Wolf (1995)。「有限サンプルセットからの確率分布関数の推定」。Physical Review E。52 ( 6 ) : 6841–6854。Bibcode : 1995PhRvE..52.6841W。CiteSeerX 10.1.1.55.7122。doi : 10.1103 / physreve.52.6841。PMID 9964199。S2CID 9795679 。
^ David H. Wolpert および Simon DeDeo (2013)。「未知のサイズの空間で定義された分布の関数の推定」。エントロピー。15 (12): 4668–4699。arXiv : 1311.4548。Bibcode : 2013Entrp..15.4668W。doi : 10.3390 / e15114668。S2CID 2737117。
^ David H. Wolpert および Charles E. Strauss (1996)。「ベイズが証拠手続きについて述べていること」。最大エントロピーとベイズ法 1993 年。
^ David H. Wolpert (1996)。「2 つのデータセットが同じ分布からのものであるかどうかを判断する」最大エントロピーとベイズ法 1995 年。
^ David H. Wolpert (1996)。「ブートストラップは確率理論と矛盾する」最大エントロピーとベイズ法 1995年。
^ David H. Wolpert (1997). 「バイアスプラス分散について」。ニューラルコンピューティング。9 (6): 1211–1243。doi :10.1162/ neco.1997.9.6.1211。S2CID 15418441 。
^ David H. Wolpert (1992). 「スタックされた一般化」。ニューラルネットワーク。5 (2): 241–259。CiteSeerX 10.1.1.133.8090。doi : 10.1016 / s0893-6080 ( 05 ) 80023-1。
^ Joseph Sill; et al. (2008). 「特徴重み付け線形スタッキング」. Physica D: 非線形現象. 237 (9): 1257–1281. arXiv : 0708.1362 . Bibcode :2008PhyD..237.1257W. doi :10.1016/j.physd.2008.03.040. S2CID 2033616.

外部リンク

個人ウェブページ

[1] “CNLS Ulam Scholar”. 2014年10月26日時点のオリジナルよりアーカイブ。2014年9月22日閲覧。

[2] デビッド・ウォルパート、サンタフェ研究所

[3] Wolpert, DH, Macready, WG (1995)、「検索におけるフリーランチ定理なし」、技術レポート SFI-TR-95-02-010 (サンタフェ研究所)。

[4] ^ Wolpert DH、 Macready WG (1997)。「最適化のためのフリーランチ定理はない」( PDF)。IEEE Transactions on Evolutionary Computation。1 : 67。CiteSeerX 10.1.1.138.6606。doi : 10.1109 /4235.585893。S2CID 5553697。

[5] Wolpert, David (1996)、「学習アルゴリズム間の事前区別の欠如」、Neural Computation、pp. 1341–1390。

[6] David H. Wolpert、「ノー・フリー・ランチ定理の本当の意味; 検索アルゴリズムの改善方法」、SFI ワーキングペーパー 2012-10-017、サンタフェ研究所 2012

[7] Baxter, Jonathan (1999). 「オフトレーニングセット (OTS) エラーに関するいくつかの観察」. arXiv : 1912.05915 .

[8] Streeter, M. (2003) 「No Free Lunchの結果が成立しない2つの広範な関数のクラス」遺伝的および進化的計算 – GECCO 2003、pp. 1418–1430。

[9] ^ Igel C.、Toussaint M. (2004)。「ターゲット関数の非一様分布に対するノーフリーランチ定理」。数学モデリングおよびアルゴリズムジャーナル。3 (4): 313–322。CiteSeerX 10.1.1.71.9744。doi : 10.1023 / b:jmma.0000049381.24625.f7。S2CID 195292166。

[10] English, T. (2004)、「No More Lunch: Analysis of Sequential Search」、Wayback Machineに 2015-05-01 にアーカイブ、Proceedings of the 2004 IEEE Congress on Evolutionary Computation、pp. 227–234。

[11] ^ Droste S.、Jansen T.、 Wegener I. (2002)。「ランダム検索ヒューリスティックによる最適化：(A)NFL定理、現実的なシナリオ、困難な関数」。理論計算機科学。287 ( 1): 131–144。doi :10.1016/s0304-3975(02) 00094-4。hdl : 2003/5394。{{cite journal}}: CS1 maint: 複数の名前: 著者リスト (リンク)

[12] デムスキー、WA (2002) No Free Lunch、Rowman & Littlefield、ISBN 0-7425-1297-5

[13] Wolpert, D. (2003)、ウィリアム・デムスキーのノー・フリー・ランチ定理の扱いはジェロで書かれている、トーク・リーズン

[14] Perakh, M. (2003)、「ノーフリーランチ定理と進化アルゴリズムへの応用」、Talk Reason。

[15] リチャード・ウェイン (2002)、「無料のランチではなくチョコレートの箱」(第 5.3 節)、The TalkOrigins アーカイブ

[16] David H. Wolpert (2008). 「推論の物理的限界」. Physica D. 237 ( 9): 1257–1281. arXiv : 0708.1362 . Bibcode :2008PhyD..237.1257W. doi :10.1016/j.physd.2008.03.040. S2CID 2033616.全文

[17] グラハム・P・コリンズ、「いかなる宇宙においても、いかなる知性もすべてを知ることはできない」、サイエンティフィック・アメリカン、2009年2月16日

[18] 「新たな証拠が科学的知識の根本的な限界を明らかにする」。2018年10月4日閲覧。

[19] David H. Wolpert および David Wolf (1995)。「有限サンプルセットからの確率分布関数の推定」。Physical Review E。52 ( 6 ) : 6841–6854。Bibcode : 1995PhRvE..52.6841W。CiteSeerX 10.1.1.55.7122。doi : 10.1103 / physreve.52.6841。PMID 9964199。S2CID 9795679 。

[20] David H. Wolpert および Simon DeDeo (2013)。「未知のサイズの空間で定義された分布の関数の推定」。エントロピー。15 (12): 4668–4699。arXiv : 1311.4548。Bibcode : 2013Entrp..15.4668W。doi : 10.3390 / e15114668。S2CID 2737117。

[21] David H. Wolpert および Charles E. Strauss (1996)。「ベイズが証拠手続きについて述べていること」。最大エントロピーとベイズ法 1993 年。

[22] David H. Wolpert (1996)。「2 つのデータセットが同じ分布からのものであるかどうかを判断する」最大エントロピーとベイズ法 1995 年。

[23] David H. Wolpert (1996)。「ブートストラップは確率理論と矛盾する」最大エントロピーとベイズ法 1995年。

[24] David H. Wolpert (1997). 「バイアスプラス分散について」。ニューラルコンピューティング。9 (6): 1211–1243。doi :10.1162/ neco.1997.9.6.1211。S2CID 15418441 。

[25] David H. Wolpert (1992). 「スタックされた一般化」。ニューラルネットワーク。5 (2): 241–259。CiteSeerX 10.1.1.133.8090。doi : 10.1016 / s0893-6080 ( 05 ) 80023-1。

[26] Joseph Sill; et al. (2008). 「特徴重み付け線形スタッキング」. Physica D: 非線形現象. 237 (9): 1257–1281. arXiv : 0708.1362 . Bibcode :2008PhyD..237.1257W. doi :10.1016/j.physd.2008.03.040. S2CID 2033616.