ベイズ実験計画

ベイズ実験計画は、実験計画に関する他の理論を導き出すための一般的な確率理論的枠組みを提供します。ベイズ推論に基づいて、実験中に取得された観察/データを解釈します。これにより、決定するパラメータに関する事前知識と観察の不確実性の両方を考慮に入れることができます。

^{ベイズ実験計画法[1]}の理論は、ある程度、不確実性の下で最適な決定を下すための理論に基づいています。実験を計画する際の目的は、実験結果の期待効用を最大化することです。効用は、実験によって提供される情報の正確さの尺度（シャノン情報量や分散の負の値など）によって定義されるのが最も一般的ですが、実験を実行するための費用などの要因も含まれる場合があります。最適な実験計画は、選択された特定の効用基準によって異なります。

モデルが線形で、事前確率密度関数 (PDF) が同次であり、観測誤差が正規分布している場合、理論は古典的な最適実験計画理論に簡略化されます。

ベイズ実験計画に関する多数の出版物では、すべての事後確率がほぼ正規分布であると（多くの場合暗黙的に）想定されています。これにより、線形理論を使用して、モデルパラメータの空間を平均化することで、期待効用を計算できます。^[2]ただし、この方法を適用する場合は注意が必要です。観測誤差が正規分布で事前確率が均一な場合でも、すべての可能な事後確率のおおよその正規性を検証することは困難だからです。

多くの場合、事後分布は閉じた形式では利用できないため、数値的手法を使用して近似する必要があります。最も一般的なアプローチは、マルコフ連鎖モンテカルロ法を使用して事後分布からサンプルを生成し、それを使用して期待効用を近似することです。

もう 1 つのアプローチは、事後確率の変分ベイズ近似を使用することです。これは、多くの場合、閉じた形式で計算できます。このアプローチには、モンテ カルロ法よりも計算効率が高いという利点がありますが、近似値があまり正確でない可能性があるという欠点があります。

一部の著者は、事後予測分布を使用して新しい測定値が予測の不確実性に与える影響を評価するアプローチを提案しました。 ^{[3] [4]}一方、他の著者は、パラメータ、予測、および潜在的な新しい実験間の相互情報量を最大化することを提案しています。^[5]

決定すべきパラメータのベクトル、それらのパラメータの事前確率、観測を行う尤度、パラメータ値と実験設計が与えられれば、事後確率はベイズの定理を使用して計算できる。${\displaystyle \theta}$${\displaystyle p(\theta )}$ ${\displaystyle p(y\mid \theta ,\xi )}$${\displaystyle y}$${\displaystyle \theta}$${\displaystyle \xi}$

${\displaystyle p(\theta \mid y,\xi )={\frac {p(y\mid \theta ,\xi )p(\theta )}{p(y\mid \xi )}}\,,}$

観測空間における周辺確率密度は どこにあるか${\displaystyle p(y\mid \xi )}$

${\displaystyle p(y\mid \xi )=\int p(\theta )p(y\mid \theta ,\xi )\,d\theta \,.}$

設計実験の期待効用は次のように定義できる。 ${\displaystyle \xi}$

${\displaystyle U(\xi )=\int p(y\mid \xi )U(y,\xi )\,dy,}$

ここで、 は実験設計を使用して観測を行った後の事後確率の実数値関数です。 ${\displaystyle U(y,\xi )}$${\displaystyle p(\theta \mid y,\xi )}$${\displaystyle y}$${\displaystyle \xi}$

効用はシャノン情報における事前事後利得として定義される。

${\displaystyle U(y,\xi )=\int \log(p(\theta \mid y,\xi ))\,p(\theta |y,\xi )\,d\theta -\int \log(p(\theta ))\,p(\theta )\,d\theta \,.}$

もう一つの可能​​性は、効用を次のように定義することです。

${\displaystyle U(y,\xi )=D_{KL}(p(\theta \mid y,\xi )\|p(\theta ))\,,}$

事前分布と事後分布のカルバック・ライブラーダイバージェンス。リンドリー（1956）は、期待効用は座標に依存しないことを指摘し、2つの形式で記述できる。

${\displaystyle {\begin{alignedat}{2}U(\xi )&=\int \int \log(p(\theta \mid y,\xi ))\,p(\theta ,y\mid \xi )\,d\theta \,dy-\int \log(p(\theta ))\,p(\theta )\,d\theta \\&=\int \int \log(p(y\mid \theta ,\xi ))\,p(\theta ,y\mid \xi )\,dy\,d\theta -\int \log(p(y\mid \xi ))\,p(y\mid \xi )\,dy,\end{alignedat}}\,}$

後者は、すべての可能な観測値に対する個々の事後確率を評価する必要なく評価できる。^[6]観測不確実性が依存しない限り、2番目の方程式の2番目の項は設計に依存しないことは注目に値する。一方、最初の形式の の積分はすべての に対して一定であるため、目標が最高の効用を持つ設計を選択することである場合、項を計算する必要はまったくない。いくつかの著者は、この基準 を評価および最適化するための数値的手法を検討した。^{[7] [8]}${\displaystyle p(\theta \mid y,\xi )}$${\displaystyle y}$${\displaystyle \xi}$${\displaystyle p(\theta )\log p(\theta )}$${\displaystyle \xi}$

${\displaystyle U(\xi )=I(\theta ;y)\,,}$

期待される情報ゲインは、 パラメータθと観測値yの間の相互情報量とまったく同じです。線形動的モデル識別のためのベイズ設計の例は、Bania (2019) に示されています。^{[9] は}計算が困難であったため、その下限が効用関数として使用されてきました。下限は、信号エネルギー制約の下で最大化されます。提案されたベイズ設計は、古典的な平均 D 最適設計とも比較されています。ベイズ設計が D 最適設計よりも優れていることが示されました。 ${\displaystyle I(\theta ;y)\,,}$

ケリー基準は、ギャンブルや情報理論で使用される、利益を最大化しようとするギャンブラーの効用関数も表します。ケリーの状況は前述と同一ですが、実験の代わりに副次情報、つまり「プライベート ワイヤ」が使用されています。

• ベイズ最適化
• 最適な設計
• アクティブラーニング
• サンプル情報の期待値

• DasGupta, A. (1996)、「最適なベイズ設計のレビュー」(PDF)、Ghosh, S.、Rao, CR (編)、『実験の設計と分析』、統計ハンドブック、第 13 巻、North-Holland、pp. 1099–1148、ISBN 978-0-444-82061-7
• レインフォース、トム; et al. (2023)、現代ベイジアン実験デザイン、arXiv : 2302.14545