尤度原理

統計学において、尤度原理とは、統計モデルが与えられた場合、モデルパラメータに関連するサンプル内のすべての証拠が尤度関数に含まれるという命題です。

尤度関数は、分布パラメータ化引数の関数として考えられる確率密度関数から生じます。たとえば、観測可能なランダム変数の確率密度関数をパラメータ の関数として 与えるモデルを考えてみましょう。の特定の値に対して、関数は の尤度関数です 。つまり、が値 を持つ ことがわかっている場合、の特定の値がどの程度「ありそうか」を示す尺度を与えます。密度関数は、計数尺度に関する密度、つまり確率質量関数 である場合があります。 ${\displaystyle \;f_{X}(x\mid \theta )\;}$ ${\displaystyle \,X\,}$${\displaystyle \,\theta ~}$${\displaystyle \,x\,}$${\displaystyle \,X~}$${\displaystyle \,{\mathcal {L}}(\theta \mid x)=f_{X}(x\mid \theta )\;}$${\displaystyle \,\theta ~}$${\displaystyle \,\theta \,}$${\displaystyle \,X\,}$${\displaystyle \,x~}$

2 つの尤度関数は、一方が他方のスカラー倍数である場合に同等です。 ^[a] 尤度原理とは、モデル パラメーターの値に関する推論に関連するデータからのすべての情報は、尤度関数が属する同等クラス内にあるというものです。強い尤度原理は、利用可能なデータのサンプルが実験の早い段階での観測に停止規則を適用した結果である連続実験などのケースに、この同じ基準を適用します。 ^[1]

仮定する

• ${\displaystyle \ X\ }$は、各試行が各試行で成功する確率を持つ12の独立した ベルヌーイ試行における成功数であり、${\displaystyle \ \theta \ }$
• ${\displaystyle \ Y\ }$合計 3 回の成功を得るために必要な独立したベルヌーイ試行の数であり、各試行には各試行での成功の確率が含まれます (公平なコインであれば、各投げで表か裏のどちらかの結果になります)。${\displaystyle \ \theta \ }$${\displaystyle \ \theta ={\tfrac {\!\ 1\!\ }{2}}\ }$

そして、尤度関数を導く 観測は${\displaystyle \ X=3\ }$

${\displaystyle \ \operatorname {\mathcal {L}} \left(\ \theta \ \mid \ X=3\ \right)={\binom {12}{3}}~\theta ^{3}\ (1-\theta )^{9}=220\ \theta ^{3}\ (1-\theta )^{9}\ ,}$

尤度関数を誘導する 観測は${\displaystyle \ Y=12\ }$

${\displaystyle \ \operatorname {\mathcal {L}} \left(\ \theta \ \mid \ Y=12\ \right)={\binom {11}{2}}~\theta ^{3}\ (1-\theta )^{9}=55\ \theta ^{3}\ (1-\theta )^{9}~.}$

尤度原理によれば、どちらの場合もデータは同じなので、 の値について導かれる推論も同じになるはずです。さらに、 の値についてのデータのすべての推論内容は2 つの尤度に含まれており、それらが互いに比例している場合は同じになります。これは上記の例に当てはまり、観察と観察の違いは収集された実際のデータや実験者の行動にあるのではなく、実験の2 つの異なる設計にあるという事実を反映しています。 ${\displaystyle \ \theta \ }$${\displaystyle \ \theta \ }$${\displaystyle \ X=3\ }$${\displaystyle \ Y=12\ }$

具体的には、1 つのケースでは、結果に関係なく 12 回試行するという事前の決定が行われ、もう 1 つのケースでは、3 回の成功が観察されるまで試行を続けるという事前の決定が行われました。尤度原理を支持する場合、2 つの尤度は互いに比例するため、 についての推論は両方のケースで同じになるはずです。220 と 55 という定数の先行係数を除けば、2つの尤度関数は同じであり、互いの定数倍です。 ${\displaystyle \ \theta \ }$

しかし、この同等性は必ずしも当てはまりません。p値を含む頻度主義的方法を使用すると、上記の2つのケースで異なる推論が導かれ、^[2] 頻度主義的方法の結果は実験手順に依存し、したがって尤度原理に違反することがわかります。

関連する概念として尤度の法則があり、これはあるパラメータ値や仮説を他のパラメータ値や仮説に対してどの程度支持するかが、それらの尤度の比率、つまり尤度比によって示されるという概念である。つまり、

${\displaystyle \Lambda ={{\mathcal {L}}(a\mid X=x) \over {\mathcal {L}}(b\mid X=x)}={P(X=x\mid a) \over P(X=x\mid b)}}$

は、観測値 x がbに対してパラメータ値または仮説aを支持する度合いです。この比率が 1 の場合、証拠は中立です。1 より大きい場合、証拠はbに対して値aを支持します。1 より小さい場合、その逆になります。

ベイズ統計学では、この比率はベイズ係数として知られており、ベイズの定理は尤度の法則を推論に適用したものと見ることができます。

頻度主義的推論では、尤度比は尤度比検定で使用されますが、他の非尤度検定も使用されます。ネイマン-ピアソンの補題は、尤度比検定は、与えられた有意水準で2 つの単純な仮説を比較する最も強力な検定と同等の統計的強力であると述べており、これは尤度の法則に対する頻度主義的正当性を与えます。

尤度原理と尤度の法則を組み合わせると、尤度関数を最大化するパラメータ値が、証拠によって最も強力に裏付けられた値であるという結果が得られます。これが、広く使用されている最大尤度法の基礎です。

尤度原理は、1962年に初めて印刷物でその名前で特定されました（Barnard et al .、Birnbaum、Savage et al .）が、同じ原理（名前なし）の議論と、その原理の応用は、1920年代のRA Fisherの著作にまで遡ります。尤度の法則は、 I. Hacking （1965）によってその名前で特定されました。最近では、 AWF Edwardsによって推論の一般原理としての尤度原理が支持されています。尤度原理は、R. Royall によって科学哲学に適用されています。^[3]

バーンバウム（1962）は当初、尤度原理は条件性原理と十分性原理という2つのより原始的で一見合理的な原理から導かれると主張した。

• 条件性原理は、実験が自然の状態とは無関係なランダムプロセスによって選択された場合、実際に実行された実験のみが推論に関連するというものである。${\displaystyle \ \theta \ ,}$${\displaystyle \ \theta ~.}$
• 十分性原理によれば、 が の十分な統計量であり、とのデータを持つ 2 つの実験で である場合、 2 つの実験によって得られたについての証拠は同じになります。${\displaystyle \ T(X)\ }$${\displaystyle \ \theta \ ,}$${\displaystyle \ x_{1}\ }$${\displaystyle \ x_{2}\ }$${\displaystyle \ T(x_{1})=T(x_{2})\ ,}$${\displaystyle \ \theta \ }$

しかし、さらに検討した結果、バーンバウムは条件性原理と尤度原理の両方を否定した。^[4]バーンバウムの当初の議論の妥当性についても、他の人々によって異議が唱えられている（詳細は下記を参照）。

多くの有意性検定など、従来の統計学で広く使用されているいくつかの方法は、尤度原理と一致しません。

尤度原理に対する賛否両論を簡単に考えてみましょう。

Giere (1977) によれば、^[5] Birnbaum は自身の条件性原理と尤度原理の両方を拒絶した^[4]。なぜなら、これらは両方とも彼が「統計的証拠の信頼概念」と呼ぶものと両立しないからである。Birnbaum (1970) はこれを「ネイマン-ピアソン手法から、データの重大な誤解を招く解釈の確率 (それぞれの仮説の下で) を体系的に評価し、制限する手法」を取り入れたものと説明している ( ^[4] p. 1033)。信頼概念は尤度概念の限られた側面と条件性概念の一部の適用のみを取り入れている。Birnbaum は後に、1962 年版の条件性原理の無条件同値定式化が「尤度公理の怪物」につながったと述べている ( ^[6] p. 263)。

バーンバウムの尤度原理に関する当初の議論は、赤池^[7]、エヴァンス^[8]などの統計学者や、デボラ・メイヨー[ ^9]などの科学哲学者からも異論を唱えられてきた。 [ ^10] ダヴィドは、メイヨーとバーンバウムの条件性原理の定義の根本的な違いを指摘し、バーンバウムの議論を簡単に却下することはできないと主張している。^[11]ガンデンバーガーは、当初の証明に対する反論のいくつかに対応した尤度原理の新しい証明を提供している。^[12]

実現されていないイベントは、いくつかの一般的な統計手法で役割を果たします。たとえば、有意性検定の結果はp値、つまり観測値と同じかそれ以上に極端な結果になる確率に依存し、その確率は実験の設計に依存する場合があります。尤度原理が受け入れられる限り、そのような方法は否定されます。

古典的な有意性検定の中には、尤度に基づいていないものもあります。以下は、オプション停止問題と呼ばれるよく引用される例を使用した、それらの簡単な例とより複雑な例です。

例1 – シンプルバージョン

たとえば、私がコインを 12 回投げて、そのうち 3 回表が出たとしましょう。表が出る確率やコインが公平だったかどうかについて、何らかの推測ができるかもしれません。

今、私がコインを投げて3 回表が出るまで12 回投げたとしましょう。あなたは何か違う推論をするでしょうか?

尤度関数はどちらの場合も同じで、次の式に比例します。

${\displaystyle p^{3}(1-p)^{9}~}$。

したがって、尤度原理によれば、どちらの場合でも推論は同じになるはずです。

例2 – 同じ統計のより詳細なバージョン

数人の科学者が実験において特定の結果（ここでは「成功」と呼ぶ）の確率を評価しているとします。従来の考え方では、成功または失敗に対する偏りがなければ成功確率は半分になるはずです。科学者のアダムは 12 回の実験を行い、3 回成功、9 回失敗しました。これらの成功の 1 つは 12 回目で最後の観察でした。その後、アダムは研究室を去りました。

同じ研究室の同僚であるビルはアダムの研究を引き継ぎ、有意性検定とともにアダムの結果を発表しました。彼は、成功確率p が半分に等しいという帰無仮説と、 p < 0.5を検定しました 。3 回目の成功が 12 回目で最後の観測であるという情報を無視すると、12 回の試行のうち 3 回またはそれより少ない回数 (つまり、より極端な回数) が成功であるという観測結果の確率は、H _{0 が}真である場合、次のようになります。

${\displaystyle \left[{12 \choose 3}+{12 \choose 2}+{12 \choose 1}+{12 \choose 0}\right]\left({1 \over 2}\right)^{12}~}$、

それは⁠299/4096⁠ = 7.3%  。したがって、3 回目の成功が 12 番目の結果であったという知識を無視すると、帰無仮説は 5% の有意水準で棄却されません。

ただし、この最初の計算には、問題の説明とは逆に、末尾で終わる 12 個のトークン長シーケンスも含まれていることに注意してください。

この計算をやり直すと、帰無仮説による尤度は、11 回の試行で公平なコインが 2 回以下表になる確率と、12 回目の試行で公平なコインが表になる確率を掛け合わせたものになることがわかります。

${\displaystyle \left[{11 \choose 2}+{11 \choose 1}+{11 \choose 0}\right]\left({1 \over 2}\right)^{11}{1 \over 2}~}$、

それは⁠67/2048⁠ ⁠1/2⁠ = ⁠67/4096⁠ = 1.64%  。この結果は5%レベルで統計的に有意です。

もう一人の科学者シャーロットはビルの論文を読んで手紙を書き、アダムが3回の成功を得るまで試行を続けた可能性があり、その場合12回以上の実験を行う必要がある確率は次のように与えられると述べた。

${\displaystyle \left[{11 \choose 2}+{11 \choose 1}+{11 \choose 0}\right]\left({1 \over 2}\right)^{11}{1 \over 2}~}$、

それは⁠134/4096⁠ ⁠1/2⁠ = 1.64%  。これで、結果は5%レベルで統計的に有意になりました。後者の 2 つの正しい分析の間に矛盾がないことに注意してください。両方の計算が正しく、同じ p 値になります。

これらの科学者にとって、結果が有意であるかどうかは実験の設計ではなく、パラメータ値が有意である可能性（尤度関数の意味で）に依存します 。1/2⁠  .

図解された問題の要約

この種の結果は、尤度原理に反する議論であると考える人もいます。また、尤度原理の価値を例証し、有意性検定に反する議論であると考える人もいます。

フィッシャーの正確検定とピアソンのカイ二乗検定を比較すると、同様のテーマが現れます。

尤度原理を支持する議論は、エドワーズ氏の著書「Likelihood」で述べられています。彼は JW プラット氏の次の話を引用していますが、ここでは少し要約しています。尤度関数は実際に起こったことのみに依存し、起こり得たことに依存しないことに注意してください。

エンジニアが電子管のサンプルをランダムに抽出し、その電圧を測定します。測定値は 75 ボルトから 99 ボルトの範囲です。統計学者はサンプルの平均と真の平均の信頼区間を計算します。その後、統計学者は電圧計の読み取り値が 100 ボルトまでであることに気付きます。つまり、技術的には、母集団は「検閲」されているように見えます。統計学者が正統派であれば、新しい分析が必要になります。

しかし、エンジニアは、1000 ボルトまで測定できる別のメーターを持っていて、電圧が 100 ボルトを超えていた場合にそれを使用しただろうと言います。これは統計学者にとってほっとしました。なぜなら、それは結局、母集団が事実上検閲されていないことを意味するからです。しかし、後に統計学者は、測定が行われた時点で 2 つ目のメーターが機能していなかったことを発見します。エンジニアは、2 つ目のメーターが修理されるまで元の測定を保留しなかっただろうと統計学者に伝え、統計学者は新しい測定が必要であると伝えます。エンジニアは驚きました。「次はオシロスコープについて質問するでしょうね!」

前のセクションの例2に戻る

このストーリーは、上記のアダムの停止ルールに次のように言い換えることができます。アダムは、上司のビルから指示されたため、3 回の成功の直後に停止しました。ビルによる統計分析の発表後、アダムは、代わりに 12 回の試行を行うようにというビルからの後の指示を見逃していたこと、そしてビルの論文がこの 2 番目の指示に基づいていることに気付きました。アダムは、ちょうど 12 回の試行で 3 回の成功を得られたことを非常に喜び、友人のシャーロットに、偶然に 2 番目の指示を実行したと説明します。その後、アダムはシャーロットの手紙について聞いて驚き、結果が重要になった と説明します。

• 条件付き原則
• 尤度統計