ベイズ確率

ベイズ確率（/ ˈ b eɪ z i ə n / BAY -zee-ənまたは/ ˈ b eɪ ʒ ən / BAY -zhən）^[1]は、確率の概念の解釈であり、ある現象の頻度や傾向の代わりに、確率を、知識の状態を表す合理的な期待値 [2] または個人的な信念の定量化 [3] として解釈します^。[ 4 ^]

ベイズ的確率解釈は、仮説[5] [6]、つまり真偽が不明な命題を用いた推論を可能にする命題論理の拡張と見ることができます。ベイズ^的見解では、確率は仮説に割り当てられますが、頻度主義的推論では、通常、仮説は確率を割り当てられることなく検証されます。

ベイズ確率は証拠確率のカテゴリーに属します。仮説の確率を評価するために、ベイズ確率論者は事前確率を指定します。これは次に、新しい関連データ（証拠）に照らして事後確率に更新されます。 ^[7]ベイズ解釈は、この計算を実行するための標準的な手順と式を提供します。

ベイズという用語は、18世紀の数学者で神学者のトーマス・ベイズに由来しています。ベイズは、現在ベイズ推論として知られているものを使用して、統計データ分析の重要な問題を初めて数学的に処理しました。^{[8] : 131}数学者ピエール・シモン・ラプラスは、現在ベイズ確率と呼ばれているものを開拓し、普及させました。^{[8] : 97–98}

ベイズ法は、次のような概念と手順によって特徴付けられます。

• ランダム変数、またはより一般的には未知の量^[9]を使用して、情報不足から生じる不確実性を含む統計モデルにおける不確実性のすべての原因をモデル化します（偶然性と認識論的不確実性も参照）。
• 利用可能な（事前の）情報を考慮して事前確率分布を決定する必要性。
• ベイズの定理の順次使用: より多くのデータが利用可能になるにつれて、ベイズの定理を使用して事後分布を計算します。その後、事後分布は次の事前分布になります。
• 頻度主義者にとって、仮説は命題（真か偽のいずれか）であるため、仮説の頻度主義的確率は 0 または 1 のいずれかになりますが、ベイズ統計では、真理値が不確かな場合は、仮説に割り当てることができる確率も 0 から 1 の範囲になります。

大まかに言えば、ベイズ確率には2つの解釈がある。確率を論理の延長として解釈する客観主義者にとって、確率は、同じ知識を共有するすべての人（「ロボット」であっても）がベイズ統計のルールに従って共有するべき合理的な期待を定量化するものであり、コックスの定理によって正当化される。^{[3] [10]}主観主義者にとって、確率は個人の信念に対応する。^[4]合理性と一貫性は、それらが課す制約内での大幅な変動を許容する。制約は、オランダ書の議論または意思決定理論とデ・フィネッティの定理によって正当化される。^[4]ベイズ確率の客観的変種と主観的変種は、主に事前確率の解釈と構築において異なる。

ベイズという用語は、トーマス・ベイズ（1702–1761）に由来しています。ベイズは、「偶然の理論における問題解決に向けた試論」という論文で、現在ベイズの定理と呼ばれているものの特殊なケースを証明しました。 ^[11]その特殊なケースでは、事前分布と事後分布はベータ分布であり、データはベルヌーイ試行から得られました。定理の一般版を導入し、天体力学、医療統計、信頼性、法学の問題に取り組むために使用したのは、ピエール・シモン・ラプラス（1749–1827）でした。^{[12]ラプラスの}不十分な理由の原理に従って一様事前分布を使用した初期のベイズ推論は、「逆確率」と呼ばれていました（観察からパラメータ、または効果から原因に逆方向に推論するため）。^{[13] 1920年代以降、「逆確率」は}頻度主義統計と呼ばれるようになった一連の方法に大きく取って代わられました。^[13]

20 世紀には、ラプラスの考えは 2 つの方向に発展し、ベイズの実践において 客観的な流れと主観的な流れが生まれました。ハロルド・ジェフリーズの確率論(1939 年に初版が出版) は、ベイズ的確率観の復活に重要な役割を果たし、その後、エイブラハム・ウォルド(1950 年) とレナード・J・サベージ(1954 年) の著作が続きました。形容詞「ベイズ主義者」自体は 1950 年代にさかのぼり、派生したベイズ主義、ネオベイズ主義は 1960 年代の造語です。^{[14] [15] [16]}客観主義の流れでは、統計分析は想定されたモデルと分析されたデータのみに依存します。^[17]主観的な決定が関与する必要はありません。対照的に、「主観主義」の統計学者は、一般的なケースで完全に客観的な分析を行う可能性を否定します。

1980年代には、ベイズ法の研究と応用が劇的に増加しましたが、これは主にマルコフ連鎖モンテカルロ法の発見とそれに伴う多くの計算問題の解消、そして非標準的で複雑な応用への関心の高まりによるものです。^[18]頻度主義統計は依然として強力ですが（学部教育の多くがそれに基づいていることからもわかるように^{[19] ）、ベイズ法は}機械学習の分野などで広く受け入れられ、使用されています。^[20]

ベイズ推論の基礎としてベイズ確率を使用することは、コックスの公理、オランダ書の議論、意思決定理論に基づく議論、およびド・フィネッティの定理など、いくつかの議論によって支持されてきました。

リチャード・T・コックスは、ベイズ更新は2つの関数方程式と微分可能性の仮説を含むいくつかの公理に従うことを示した。^{[10] [21]}微分可能性や連続性の仮定は議論の余地があるが、ハルパーンはブール代数が有限である可能性があるという観察に基づいて反例を見つけた。^[22]理論をより厳密にすることを目的として、さまざまな著者によって他の公理化が提案されている。^[9]

ブルーノ・デ・フィネッティは、賭博に基づいてダッチブック論を提唱しました。賢いブックメーカーは、ギャンブラーが賭けたイベント（例えば競馬）の結果に関係なく、ギャンブラーの犠牲のもとにブックメーカーが利益を得られるようオッズと賭け金を設定することでダッチブックを作ります。これは、オッズが示唆する確率が首尾一貫していないことと関連しています。

しかし、イアン・ハッキングは、伝統的なオランダの本の議論はベイズ更新を規定していないと指摘した。つまり、非ベイズ更新ルールがオランダの本を回避できる可能性を残していた。例えば、ハッキングは次のように書いている^{[23] [24]}。「そして、オランダの本の議論も、確率公理の証明における人格主義者の武器庫の他のどれも、動的な仮定を伴わない。どれもベイズ主義を伴わない。したがって、人格主義者は動的な仮定がベイズ的であることを要求する。一貫性を保つために、人格主義者は経験から学ぶベイズモデルを放棄することができるのは事実である。塩は風味を失う可能性がある。」

実際、オランダの書籍を回避する非ベイズ更新規則も存在します（リチャード・C・ジェフリーの規則の出版に続いて「確率運動学」^{[25]の文献で議論されているように、この規則自体もベイズ的であると見なされています[26]}）。ベイズ更新を（一意に）指定するのに十分な追加の仮説は相当なものであり^[27]、普遍的に満足できるものとは見なされていません。^[28]

ベイズ推論（およびベイズ確率）の使用の決定理論的正当性は、アブラハム・ウォルドによって示され、彼は、すべての許容される統計手順はベイズ手順またはベイズ手順の限界のいずれかであることを証明した。^[29]逆に、すべてのベイズ手順は許容される。^[30]

ラムゼーとフォン・ノイマンの期待効用 理論の研究に続いて、意思決定理論家たちは、エージェントの確率分布を用いて合理的行動を説明してきた。ヨハン・ファンツァグルは、主観的確率と効用の公理化を提供することで『ゲームと経済行動の理論』を完成させたが、これはフォン・ノイマンとオスカー・モルゲンシュテルンが未完に残した課題であった。彼らの当初の理論では、便宜上、すべてのエージェントが同じ確率分布を持つと想定されていた。^[31]ファンツァグルの公理化はオスカー・モルゲンシュテルンによって支持された。「フォン・ノイマンと私は、... [確率が、おそらくより典型的には、主観的であるかどうかという問題] を予期し、後者の場合、望ましい数値的効用と確率の数値を導き出すことができる公理を見つけることができると具体的に述べた (『ゲーム理論と経済行動』19 ページ参照)。私たちはこれを実行しなかった。それはファンツァグルによって... 必要な厳密さをすべて伴って実証された」。^[32]

ラムゼーとサベージは、個々のエージェントの確率分布は実験で客観的に研究できると指摘した。確率に関する仮説を（有限サンプルを使用して）テストする手順は、ラムゼー（1931）とデ・フィネッティ（1931、1937、1964、1970）によるものである。ブルーノ・デ・フィネッティ^{[33] [34]}とフランク・P・ラムゼー^{[34] [35]は、どちらも}プラグマティズム哲学、特に（ラムゼーの場合）チャールズ・S・パース^{[34] [35]}に負っていることを認めている。

確率分布を評価するための「ラムゼーテスト」は理論的には実行可能であり、半世紀にわたって実験心理学者を悩ませてきました。^[36] この研究は、ベイズ確率命題が反証可能であり、ラムゼーに影響を与えたチャールズ・S・パースの経験的基準を満たすことを示しています。（この反証可能性基準はカール・ポッパーによって普及しました。^{[37] [38]}）

個人的確率の実験的評価に関する現代の研究では、ピアース・ジャストロウ実験のランダム化、盲検化、ブール決定手順が使用されています。^[39]個人は異なる確率判断に従って行動するため、これらのエージェントの確率は「個人的」です（ただし、客観的な研究に適しています）。

個人的確率は、科学や、意思決定者が十分な情報に基づいた確率分布（それに基づいて行動する準備ができている）を指定するための知識や時間がない一部のアプリケーションでは問題となります。科学のニーズと人間の限界を満たすために、ベイズ統計学者は事前確率を指定するための「客観的な」方法を開発しました。

実際、ベイズ主義者の中には、事前知識の状態が「通常の」統計問題に対する（一意の）事前確率分布を定義すると主張する者もいる（適切に設定された問題を参照）。そのような「客観的な」事前分布（適切な種類の通常の問題に対して）を構築する適切な方法を見つけることは、ラプラスからジョン・メイナード・ケインズ、ハロルド・ジェフリーズ、エドウィン・トンプソン・ジェインズに至る統計理論家の探求であった。これらの理論家とその後継者は、「客観的な」事前分布を構築するためのいくつかの方法を提案している（残念ながら、これらの方法で提案された事前分布の相対的な「客観性」を評価する方法が必ずしも明確ではない）。

• 最大エントロピー
• 変換グループ分析
• 参照分析

これらの方法はいずれも、「規則的な」1パラメータ問題に有用な事前分布を提供し、各事前分布はいくつかの難しい統計モデル（「不規則性」または複数のパラメータを持つ）を扱うことができる。これらの方法はいずれもベイズの実践において有用である。実際、「客観的」（あるいは「デフォルト」または「無知」）事前分布を構築する方法は、ジェームズ・バーガー（デューク大学）やホセ・ミゲル・ベルナルド（バレンシア大学）のような自称主観的（または「個人的」）ベイズ主義者によって開発されてきたが、それは単にそのような事前分布がベイズの実践、特に科学において必要だからである。^[40]「事前分布を構築するための普遍的な方法」の探求は、統計理論家を引き付け続けている。^[40]

したがって、ベイズ統計学者は、情報に基づいた事前確率（関連する専門知識または以前のデータを使用する）を使用するか、または「客観的な」事前確率を構築するための競合する方法の中から選択する必要があります。