許容決定ルール

統計的意思決定理論において、許容される意思決定ルールとは、意思決定を行うためのルールであり、そのルールよりも常に「優れている」 ^[1] （または少なくとも時には優れているが決して劣ることはない）他のルールが存在しないようなルールであり、以下に定義される「優れている」という正確な意味でそうである。この概念はパレート効率に類似している。

集合 、、 を定義します。ここで は自然の状態、可能な観測値、および実行される可能性のあるアクションです。 の観測値は として分布しているため、自然の状態についての証拠となります。決定ルールは関数であり、 を観測すると、アクション を取ることを選択します。 ${\displaystyle \Theta \,}$${\displaystyle {\mathcal {X}}}$${\displaystyle {\mathcal {A}}}$${\displaystyle \Theta \,}$${\displaystyle {\mathcal {X}}}$${\displaystyle {\mathcal {A}}}$${\displaystyle x\in {\mathcal {X}}\,\!}$${\displaystyle F(x\mid \theta )\,\!}$${\displaystyle \theta \in \Theta \,\!}$ ${\displaystyle \delta :{\mathcal {X}}\rightarrow {\mathcal {A}}}$${\displaystyle x\in {\mathcal {X}}}$${\displaystyle \delta (x)\in {\mathcal {A}}\,\!}$

また、損失関数 も定義します。これは、真の自然状態が であるときに行動を起こすことで発生する損失を指定します。通常、この行動はデータ を観測した後に取るため、損失は になります。(非従来的ですが、損失の負の値である 効用関数という観点から次の定義を書き直すことも可能です。)${\displaystyle L:\Theta \times {\mathcal {A}}\rightarrow \mathbb {R} }$${\displaystyle a\in {\mathcal {A}}}$${\displaystyle \theta \in \Theta }$${\displaystyle x\in {\mathcal {X}}}$${\displaystyle L(\theta ,\delta (x))\,\!}$

リスク関数を期待値として定義する

${\displaystyle R(\theta ,\delta )=\operatorname {E} _{F(x\mid \theta )}[{L(\theta ,\delta (x))]}.\,\!}$

決定規則のリスクが低いかどうかは、真の自然状態に依存します。 決定規則が決定規則に優位性を持つのは、すべて に対してであり、一部の に対して不等式が厳密である場合のみです。 ${\displaystyle \delta \,\!}$${\displaystyle \theta \,\!}$${\displaystyle \delta ^{*}\,\!}$ ${\displaystyle \delta \,\!}$${\displaystyle R(\theta ,\delta ^{*})\leq R(\theta ,\delta )}$${\displaystyle \theta \,\!}$${\displaystyle \theta \,\!}$

決定ルールは、他のルールがそれよりも優位にならない場合にのみ（損失関数に関して）許容され、そうでない場合は許容されません。したがって、許容される決定ルールは、上記の部分順序に関して最大​​の要素です。定義により、すべての に対して同等またはより低いリスクを実現する他のルールが存在するため、許容されないルールは好まれません（単純さや計算効率上の理由を除く）。ただし、ルールが許容されるからといって、それが使用に適したルールであるとは限りません。許容されるということは、常に同等またはより優れた単一のルールが存在しないことを意味しますが、他の許容されるルールは、実際に発生するほとんどの に対してより低いリスクを実現する可能性があります。（以下で説明するベイズリスクは、実際に発生するものを明示的に考慮する方法です。） ${\displaystyle \theta \,\!}$${\displaystyle \delta \,\!}$${\displaystyle \theta \,\!}$${\displaystyle \theta \,\!}$

を自然の状態に関する確率分布とします。ベイズの観点からは、これを事前分布と見なします。つまり、これはデータを観察する前の自然の状態に関する我々の信じる確率分布です。頻度主義者にとって、これは単にそのような特別な解釈のない の関数です。に関する決定規則のベイズリスクは期待値です。 ${\displaystyle \pi (\theta )\,\!}$${\displaystyle \Theta \,\!}$${\displaystyle \delta \,\!}$${\displaystyle \pi (\theta )\,\!}$

${\displaystyle r(\pi ,\delta )=\operatorname {E} _{\pi (\theta )}[R(\theta ,\delta )].\,\!}$

を最小化する決定規則は、に関する ベイズ規則と呼ばれます。このようなベイズ規則は複数存在する場合があります。ベイズリスクがすべての に対して無限大である場合、ベイズ規則は定義されません。 ${\displaystyle \delta \,\!}$${\displaystyle r(\pi ,\delta )\,\!}$${\displaystyle \pi (\theta )\,\!}$${\displaystyle \delta \,\!}$

ベイズ的アプローチによる意思決定理論では、観測値は固定されているとみなされる。頻度主義的アプローチ（すなわちリスク）では可能なサンプルを平均化するのに対し、ベイズ的アプローチでは観測サンプルを固定し、仮説を平均化する。したがって、ベイズ的アプローチでは、観測値に対して期待損失を考慮する。${\displaystyle x\,\!}$${\displaystyle x\in {\mathcal {X}}\,\!}$${\displaystyle x\,\!}$${\displaystyle \theta \in \Theta \,\!}$${\displaystyle x\,\!}$

${\displaystyle \rho (\pi ,\delta \mid x)=\operatorname {E} _{\pi (\theta \mid x)}[L(\theta ,\delta (x))].\,\!}$

ここで、期待値は与えられたの事後分布（ベイズの定理 から得られ、ベイズの定理を使用して得られる）に対するものである。 ${\displaystyle \theta \,\!}$${\displaystyle x\,\!}$${\displaystyle \pi (\theta )\,\!}$${\displaystyle F(x\mid \theta )\,\!}$

それぞれについて期待損失を明示的に与えて、それぞれについて期待損失を最小化するアクションを指定することにより、決定ルールを定義できます。これは、に関する一般化ベイズ規則として知られています。同じ期待損失を達成する の選択肢が複数ある場合があるため、一般化ベイズ規則は複数存在する可能性があります。 ${\displaystyle x\,\!}$${\displaystyle \delta \,\!}$${\displaystyle x\,\!}$${\displaystyle \delta (x)\,\!}$${\displaystyle \pi (\theta )\,\!}$${\displaystyle \delta (x)\,\!}$

一見、これは前のセクションのベイズ則のアプローチとはかなり異なっており、一般化ではないように見えるかもしれません。ただし、ベイズリスクはベイズ流に にわたって平均化されており、ベイズリスクは期待損失の にわたる期待値として回復できることに注意してください (ここで、および)。大まかに言えば、は、 の期待損失を個別に最小化する場合に限り、この期待損失の期待値を最小化します (つまり、 はベイズ則です) (つまり、 は一般化されたベイズ則です)。 ${\displaystyle \Theta \,\!}$${\displaystyle {\mathcal {X}}}$${\displaystyle x\sim \theta \,\!}$${\displaystyle \theta \sim \pi \,\!}$${\displaystyle \delta \,\!}$${\displaystyle x\in {\mathcal {X}}}$

それでは、なぜ一般化ベイズ規則の概念は改善なのでしょうか。ベイズ規則が存在し、すべてが正の確率を持つ場合、それは確かにベイズ規則の概念と同等です。しかし、ベイズリスクが無限大（すべての に対して）である場合、ベイズ規則は存在しません。この場合でも、少なくとも有限期待損失アクションが存在するものに対して最小期待損失アクションを選択する一般化ベイズ規則 を定義することは有用です。さらに、一般化ベイズ規則はすべてのに対して最小期待損失アクションを選択する必要があるため、望ましい場合があります。一方、ベイズ規則は、ベイズリスクに影響を与えることなく、測度 0 のセットでこのポリシーから逸脱することが許可されます。 ${\displaystyle x\,\!}$${\displaystyle \delta \,\!}$${\displaystyle \delta \,\!}$${\displaystyle \delta (x)\!\,}$${\displaystyle x\,\!}$${\displaystyle \delta (x)\,\!}$ ${\displaystyle x\,\!}$${\displaystyle X\subseteq {\mathcal {X}}}$

さらに重要なのは、不適切な事前分布 を使用すると便利な場合があることです。この場合、ベイズリスクは明確に定義されておらず、 上の明確に定義された分布も存在しません。ただし、事後分布、つまり期待損失は各 に対して明確に定義される可能性があり、そのため一般化されたベイズ規則を定義することは依然として可能です。 ${\displaystyle \pi (\theta )\,\!}$${\displaystyle x\,\!}$${\displaystyle \pi (\theta \mid x)\,\!}$${\displaystyle x\,\!}$

完全クラス定理によれば、穏やかな条件下では、許容されるすべてのルールは（一般化された）ベイズルールです（そのルールが低リスクを達成する分布を支持する何らかの事前条件（不適切な事前条件である可能性もあります）に関して）。したがって、頻度主義決定理論では、（一般化された）ベイズルールのみを考慮すれば十分です。 ${\displaystyle \pi (\theta )\,\!}$${\displaystyle \theta \,\!}$

逆に、適切な事前分布に関するベイズ規則は事実上常に許容されるが、不適切な事前分布に対応する一般化されたベイズ規則は、必ずしも許容される手順を生み出すわけではない。スタインの例は、そのような有名な状況の 1 つである。

ジェームズ・スタイン推定量は、ガウス分布のランダムベクトルの平均の非線形推定量であり、平均二乗誤差損失関数に関して通常の最小二乗法よりも優れていることが示されています。 ^{[2]したがって、最小二乗推定は、この文脈では許容される推定手順ではありません。}正規分布に関連する他のいくつかの標準的な推定値も許容されません。たとえば、母平均と分散が不明な場合の分散のサンプル推定値などです。^[3]

• Cox, DR; Hinkley, DV (1974).理論統計学. Wiley. ISBN 0-412-12420-3。
• バーガー、ジェームズ・O. (1980)。統計的決定理論とベイズ分析（第2版）。シュプリンガー出版。ISBN 0-387-96098-8。
• デグルート、モリス(2004) [初版 1970]。最適な統計的決定。ワイリークラシックスライブラリ。ISBN 0-471-68029-X。
• ロバート、クリスチャン P. (1994)。ベイズの選択。シュプリンガー・フェアラーク。ISBN 3-540-94296-3。