尤度統計学

尤度統計学、または尤度主義とは、尤度関数のみ、または主に尤度関数を用いる統計学のアプローチである。尤度統計学は、ベイズ統計学や頻度統計学といった主要なアプローチに比べるとマイナーな学派ではあるが、支持者や応用例は存在する。尤度主義の中心となる考え方は尤度原理である。すなわち、データは証拠として解釈され、その証拠の強さは尤度関数によって測定される。さらに、尤度アプローチ内には大きな違いがある。「正統派」尤度主義者はデータを証拠としてのみ捉え、統計的推論の基礎として用いない一方、他の尤度主義者はベイズ推論や頻度推論を用いずに尤度に基づいて推論を行う。そのため、尤度主義は（推論ができない場合）信念や行動の根拠を提供しない、あるいは他の学派の要求を満たさないとして批判されることがある。

尤度関数はベイズ統計学や頻度統計学でも使用されますが、その使用方法は異なります。尤度論者の中には、尤度の使用を他のアプローチの代替手段と考える人もいれば、他のアプローチを補完し、互換性があると考える人もいます。§ 「 他の理論との関係」を参照してください。

尤度主義は統計的推論における独自のアプローチではあるものの、統計学における他の理論や方法論と関連付けたり、対比させたりすることができる。以下に、注目すべき関連性をいくつか示す。

1. ベイズ統計学：ベイズ統計学は、事前情報を組み込み、観測データを用いて事後確率を更新することで事後確率を求める、統計的推論の代替手法です。尤度主義とベイズ統計学は、どちらも尤度関数を用いるという点で共通していますが、事前情報の扱い方が異なります。ベイズ統計学は事前の信念を分析に明示的に組み込むのに対し、尤度主義は事前分布を指定せずに尤度関数のみに焦点を当てます。
2. 頻度主義統計学：頻度主義統計学は、古典的推論または頻度主義的推論とも呼ばれ、統計分析におけるもう一つの主要な枠組みです。頻度主義的手法は、繰り返しサンプリングの特性を重視し、不偏性、一貫性、仮説検定といった概念に焦点を当てます。尤度主義は、尤度関数を統計的推論の中核に据えるため、従来の頻度主義的手法からの逸脱と見なすことができます。尤度に基づく手法は、仮説検定や信頼区間の構築に尤度比を用いることで、尤度主義的視点と頻度主義的アプローチの間の橋渡しをします。
3. フィッシャー統計学：尤度主義は、ロナルド・フィッシャーの統計哲学と深い繋がりがある。^{[ 1 ]}フィッシャーは、パラメータを推定するための基準として尤度とその最大化の概念を導入した。フィッシャーのアプローチは、十分性の概念と最尤推定（MLE）を重視した。尤度主義は、統計的推論における尤度の使用を洗練し拡張したフィッシャー統計学の拡張と見なすことができる。
4. 情報理論：クロード・シャノンによって開発された情報理論は、情報量と情報伝達を定量化するための数学的枠組みを提供する。情報理論におけるエントロピーの概念は、尤度関数およびAIC基準と関連している。モデルの複雑さに対するペナルティ項を組み込んだAICは、モデル選択に対する情報理論的アプローチと見なすことができ、モデルの適合性と複雑さのバランスを取る。
5. 意思決定理論：意思決定理論は、統計的推論と不確実性下での意思決定を組み合わせたものです。意思決定プロセスにおけるリスクと潜在的な損失のトレードオフを考慮します。尤度主義は意思決定理論と統合することができ、尤度関数に基づいて意思決定を行うことができます。例えば、最も尤度の高いモデルを選択したり、関連する尤度に基づいてさまざまな意思決定オプションを評価したりすることができます。

尤度に基づく統計手法は広く用いられ、多くの利点がある一方で、批判がないわけではない。以下に、尤度統計に対する一般的な批判をいくつか挙げる。

1. モデル依存性：尤度に基づく推論は、特定の統計モデルの選択に大きく依存します。^{[ 2 ]}選択したモデルが真のデータ生成プロセスを正確に表していない場合、結果として得られる推定値や推論は偏っていたり、誤解を招く可能性があります。モデルの誤指定は、特に真のモデルが不明であったり、把握が困難な複雑な現実世界のシナリオにおいて、誤った結論につながる可能性があります。
2. 解釈の難しさ：尤度に基づく統計手法は、尤度関数を最適化してパラメータを推定することに重点を置いていますが、直感的で容易に解釈できる推定値が得られるとは限りません。推定されたパラメータは、研究対象の問題の文脈において、直接的かつ意味のある解釈ができない場合があります。そのため、実務家が結果を非専門家に伝えたり、推定値に基づいて実用的な意思決定を行ったりすることが困難になる可能性があります。
3. サンプルサイズへの感度：尤度に基づく手法は、データのサンプルサイズに影響を受けやすい場合があります。サンプルサイズが小さい場合、尤度関数は大きく変動し、推定値が不安定になる可能性があります。この不安定性はモデル選択プロセスにも影響を及ぼし、サンプルサイズが小さい場合、尤度比検定や情報量規準が適切に機能しない可能性があります。
4. 独立性の仮定：尤度に基づく推論では、観測データが独立かつ同一分布（IID）であると仮定されることが多い。しかし、現実世界の多くのシナリオでは、データポイント間に依存関係や相関関係が存在する可能性がある。この依存関係を無視すると、推定値に偏りが生じたり、仮説検定が不正確になったりする可能性がある。
5. 頑健性の欠如：尤度に基づく手法は、モデルの仮定違反やデータ中の外れ値に対して必ずしも頑健ではありません。データが想定された分布から逸脱したり、極端な観測値が存在する場合、推定値はこれらの外れ値に大きく影響され、信頼性の低い結果につながる可能性があります。
6. 計算の複雑さ: 尤度関数に基づいてパラメータを推定することは、特に複雑なモデル、大規模なデータセット、または高度に非線形なシステムの場合、計算負荷が高くなる可能性があります。^{[ 3 ]}尤度関数を最大化するために使用される最適化アルゴリズムは、相当な計算リソースを必要とする場合や、グローバル最大値に収束せず、最適ではない推定値につながる場合があります。
7. 不確実性の定量化の欠如：尤度に基づく推論では、不確実性を明示的に定量化することなく、パラメータの点推定値が得られることが多い。信頼区間や標準誤差などの手法を用いて不確実性を近似することは可能であるが、それらは必ずしも成り立たない仮定に基づいている。一方、ベイズ法は、不確実性の定量化のためのより形式的で一貫性のある枠組みを提供する。

尤度主義が独立した学派として確立されたのはエドワーズ（1972）の著作に遡り、彼は尤度に基づいて統計学を体系的に扱った。これはそれ以前の重要な研究に基づいている。現代的な概説についてはデンプスター（1972）を参照されたい。

確率の比率を比較する手法は、1700年代後半にピエール＝シモン・ラプラスによって開発されたベイズ推論をはじめとする初期の統計学や確率論にまで遡るが、尤度という概念が独立した概念として確立されたのは、ロナルド・フィッシャーの著書『 Fisher (1921)』によるものである。尤度はフィッシャーの統計学において重要な役割を果たしたが、彼は尤度に基づかない頻度主義的な手法も数多く開発し、活用した。彼の後期の著作、特に『Fisher (1955)』では尤度がより強く強調されており、尤度主義の体系的な理論の先駆けとみなすことができる。

尤度原理は、 1962年にバーナード、ジェンキンス、ウィンステン（1962）、バーンバウム（1962）、サベージ（1962）をはじめとする複数の著者によって提唱され、ハッキング（1965）による尤度の法則へと発展しました。これらが尤度主義の基礎を築きました。初期の歴史については、 「尤度原理 §歴史」を参照してください。 

エドワーズの尤度主義は尤度を唯一の証拠とみなしており、ロイヤル（1997）もそれに倣ったが、他の研究者たちは尤度のみに基づく推論を提案しており、特に最尤推定の拡張として挙げられる。注目すべきはジョン・ネルダーで、ネルダー（1999 、p. 264）は次のように述べている。 

年に一度は、会議で「推論には頻度論とベイズ論の2種類がある」という発言を耳にする。このようなナンセンスがこれほど頻繁に広まっているということは、我々がまだやるべきことが山積していることを示している。まず、私が属する尤度推論の学派は隆盛を極めている。

尤度論的アプローチを採用した教科書としては、Kalbfleisch (1985)、Azzalini (1996)、Pawitan (2001)、Rohde (2014)、Held & Sabanés Bové (2014)などがある。関連論文集はTaper & Lele (2004)に掲載されている。

• 赤池情報量規準
• 統計学の基礎
• 尤度比検定

• 「尤度比、尤度主義、尤度の法則」。スタンフォード哲学百科事典。2019年3月14日取得。