ベイズ確率

ベイズ確率（/ ˈbeɪziən / BAY - zee -ənまたは/ ˈbeɪʒən / BAY - zhən）^{[ 1 ]}は、確率の概念の解釈であり、ある現象の頻度や傾向の代わりに、確率は知識の状態を表す合理的な期待^{[ 2 ]}、または個人的^{な信念の定量化[ 4 ]として解釈}され^ます。

ベイズ的確率解釈は、仮説を用いた推論を可能にする命題論理の拡張と見なすことができる。^{[ 5 ] [ 6 ]}つまり、真偽が不明な命題を用いた推論である。ベイズ的見解では、仮説に確率が割り当てられるが、頻度主義的推論では、通常、仮説は確率を割り当てずにテストされる。

ベイズ確率は証拠確率のカテゴリーに属します。仮説の確率を評価するために、ベイズ確率論者は事前確率を指定します。これは、新しい関連データ（証拠）に基づいて事後確率に更新されます。^{[ 7 ]}ベイズ解釈は、この計算を実行するための標準的な手順と公式を提供します。

ベイズという用語は、18世紀のイギリスの数学者で神学者のトーマス・ベイズに由来する。彼は、現在ベイズ推論として知られる手法を用いて、統計データ分析の非自明な問題に対する最初の数学的処理を行った。^{[ 8 ]： 131}数学者のピエール＝シモン・ラプラスは、現在ベイズ確率と呼ばれるものを開拓し、普及させた。^{[ 8 ]： 97-98}

ベイズ法は、以下のような概念と手順によって特徴づけられる。

• 統計モデルにおける不確実性のすべての源（情報不足に起因する不確実性を含む）をモデル化するために、ランダム変数、またはより一般的には未知の量^{[ 9 ]}を使用する（偶然的不確実性および認識的不確実性も参照）。
• 入手可能な（事前）情報を考慮して、事前確率分布を決定する必要性。
• ベイズの定理の逐次的な使用：より多くのデータが利用可能になるにつれて、ベイズの定理を使用して事後分布を計算します。その後、事後分布が次の事前分布になります。
• 頻度主義者にとって、仮説は命題（真か偽かのどちらかでなければならない）であるため、仮説が正しい頻度主義的確率は0または1であるが、ベイズ統計学では、真偽値が不確実な場合、仮説に割り当てられる確率は0から1の範囲になることもある。

概して言えば、ベイズ確率には 2 つの解釈があります。客観主義者は、確率を論理の拡張と解釈し、同じ知識を共有するすべての人 (たとえ「ロボット」であっても) がベイズ統計の規則に従って共有するであろう合理的な期待を定量化します。これはコックスの定理によって正当化できます。^{[ 3 ] [ 10 ]}主観主義者にとって、確率は個人的な信念に対応します。^{[ 4 ]}合理性と一貫性は、それらが課す制約内で大きな変動を許容します。制約は、ダッチブックの議論または決定理論とデ・フィネッティの定理によって正当化されます。^{[ 4 ]}ベイズ確率の客観的および主観的バリアントは、主に事前確率の解釈と構築において異なります。

ベイズという用語は、トーマス・ベイズ（1702～1761）が「確率論の問題解決に向けた試論」という論文で、現在ベイズの定理と呼ばれるものの特殊なケースを証明したことに由来する。 ^{[ 11 ]}その特殊なケースでは、事前分布と事後分布はベータ分布であり、データはベルヌーイ試行から得られた。ピエール＝シモン・ラプラス（1749～1827）は、この定理の一般版を導入し、天体力学、医学統計、信頼性、法学の問題に取り組むためにそれを使用した。^{[ 12 ]}ラプラスの不十分な理由の原理に従って一様事前分布を使用した初期のベイズ推論は、「逆確率」と呼ばれた（観測からパラメータへ、または結果から原因へ逆方向に推論するため）。 ^{[ 13 ]} 1920年代以降、「逆確率」は、頻度統計学と呼ばれるようになった一連の方法にほぼ取って代わられた。^{[ 13 ]}

20 世紀には、ラプラスの考え方は 2 つの方向に発展し、ベイズ実践において 客観的および主観的な流れを生み出した。ハロルド ジェフリーズの確率論(初版は 1939 年) は、確率のベイズ的見解の復活に重要な役割を果たし、その後、アブラハム ウォルド(1950 年) とレナード J. サベージ(1954 年) の著作が続いた。形容詞Bayesian自体は 1950 年代に遡り、派生語のBayesianism、neo-Bayesianismは 1960 年代に造語された。^{[ 14 ] [ 15 ] [ 16 ]}客観主義の流れでは、統計分析は想定されるモデルと分析されるデータのみに依存する。^{[ 17 ]}主観的な決定は関与する必要がない。対照的に、「主観主義的」統計学者は、一般的なケースで完全に客観的な分析を行う可能性を否定する。

1980年代には、ベイズ法の研究と応用が劇的に増加しました。これは主に、マルコフ連鎖モンテカルロ法の発見とそれに伴う多くの計算上の問題の解消、および非標準的で複雑な応用への関心の高まりによるものです。^{[ 18 ]}頻度主義統計学は依然として強力ですが（学部教育の多くがそれに基づいているという事実が示すように^{[ 19 ]} ）、ベイズ法は広く受け入れられ、機械学習の分野などで使用されています。^{[ 20 ]}

ベイズ推論の基礎としてベイズ確率を用いることは、コックスの公理、ダッチブックの議論、決定理論に基づく議論、デ・フィネッティの定理など、いくつかの議論によって支持されてきた。

ラムゼーとフォン・ノイマンの期待効用理論 の研究に続き、意思決定理論家は、エージェントの確率分布を用いて合理的な行動を説明してきた。ヨハン・プファンツァグルは、フォン・ノイマンとオスカー・モルゲンシュテルンが未完のまま残した課題、すなわち主観的確率と効用の公理化を提供することで、 『ゲーム理論と経済行動論』を完成させた。彼らの当初の理論では、便宜上、すべてのエージェントが同じ確率分布を持つと仮定していた。^{[ 31 ]}ファンツァーグルの公理化はオスカー・モルゲンシュテルンによって支持された。「フォン・ノイマンと私は、おそらくより典型的には、確率が主観的である可能性があるという問題（[確率が主観的であるかどうかという問題]）を予見し、後者の場合、望ましい数値効用と確率の数値を導出できる公理が見つかる可能性があると具体的に述べてきた（『ゲーム理論と経済行動』19ページ参照）。我々はこれを実行しなかったが、ファンツァーグルが…必要な厳密さをもって証明した」。^{[ 32 ]}

ラムジーとサベージは、個々のエージェントの確率分布は実験で客観的に研究できると指摘した。確率に関する仮説を検証する手順（有限サンプルを使用）は、ラムジー（1931）とデ・フィネッティ（1931、1937、1964、1970）によるものである。ブルーノ・デ・フィネッティ^{[ 33 ] [ 34 ]}とフランク・P・ラムジー^{[ 34 ] [ 35 ]}はともに、プラグマティズム哲学、特に（ラムジーの場合は）チャールズ・S・パースに負っていることを認めている。^{[ 34 ] [ 35 ]}

確率分布を評価するための「ラムゼイテスト」は理論的には実行可能であり、実験心理学者を半世紀にわたって悩ませてきた。^{[ 36 ]} この研究は、ベイズ確率命題が反証可能であることを示しており、ラムゼイに影響を与えたチャールズ・S・パースの経験的基準を満たしている。（この反証可能性基準はカール・ポパーによって普及した。^{[ 37 ] [ 38 ]}）

個人確率の実験的評価に関する現代の研究では、パース＝ジャストロウ実験のランダム化、盲検化、ブール決定の手順が用いられている。^{[ 39 ]}個人は異なる確率判断に基づいて行動するため、これらのエージェントの確率は「個人的」である（ただし客観的な研究が可能である）。

個人確率は、科学分野や、意思決定者が情報に基づいた確率分布（それに基づいて行動する）を指定する知識や時間がない一部の応用分野において問題となる。科学のニーズと人間の限界に対応するため、ベイズ統計学者は事前確率を指定するための「客観的な」手法を開発してきた。

実際、ベイズ主義者の中には、事前知識の状態が「通常の」統計問題（適切に定式化された問題を参照）の（一意の）事前確率分布を定義すると主張する者もいる。このような「客観的な」事前分布（適切なクラスの通常の問題に対して）を構築するための適切な方法を見つけることは、ラプラスからジョン・メイナード・ケインズ、ハロルド・ジェフリーズ、エドウィン・トンプソン・ジェインズに至るまで、統計理論家たちの探求であった。これらの理論家とその後継者たちは、「客観的な」事前分布を構築するためのいくつかの方法を提案してきた（残念ながら、これらの方法で提案された事前分布の相対的な「客観性」をどのように評価するかは必ずしも明確ではない）。

• 最大エントロピー
• 変換群分析
• 参照分析

これらの方法はそれぞれ、「通常の」1パラメータ問題に対して有用な事前分布を提供し、それぞれの事前分布は、いくつかの困難な統計モデル（「不規則性」または複数のパラメータを持つもの）を扱うことができます。これらの方法はそれぞれ、ベイズ実践において有用でした。実際、「客観的な」（あるいは「デフォルト」または「無知」）事前分布を構築する方法は、ジェームズ・バーガー（デューク大学）やホセ・ミゲル・ベルナルド（バレンシア大学）のような、自称主観的（または「個人的」）ベイズ主義者によって開発されました。これは、特に科学において、ベイズ実践にはそのような事前分布が必要だからです。^{[ 40 ]}「事前分布を構築するための普遍的な方法」の探求は、統計理論家を惹きつけ続けています。^{[ 40 ]}

したがって、ベイズ統計学者は、情報に基づいた事前分布（関連する専門知識や過去のデータを用いる）を用いるか、あるいは「客観的な」事前分布を構築するための競合する手法の中から選択する必要がある。