ハイパープライアー

まず、ハイパー事前分布を用いることで、ハイパーパラメータの不確実性を表現できます。固定の事前分布を取ることは仮定であり、事前分布のハイパーパラメータを変化させることで、この仮定に対する感度分析を行うことができます。また、このハイパーパラメータに分布を設定することで、この仮定の不確実性を表現できます。「事前分布はこの形式（このパラメータ族）であると仮定するが、パラメータの値が具体的にどうあるべきかは不確実である」というように表現できます。

より抽象的に言えば、ハイパー事前分布を用いる場合、（基礎となるモデルのパラメータに関する）事前分布自体が混合密度となります。これは、（異なるハイパーパラメータに関する）様々な事前分布の加重平均であり、ハイパー事前分布が重みとなります。これにより、（使用しているパラメトリック分布族以外にも）追加の分布が可能になります。なぜなら、分布のパラメトリック分布族は一般に凸集合ではないからです。混合密度は分布の凸結合であるため、一般に分布族の外に位置します。例えば、2つの正規分布の混合は正規分布ではありません。異なる平均値（十分に離れた値）を取り、それぞれを50%ずつ混合すると、二峰性分布が得られますが、これは正規分布ではありません。実際、正規分布の凸包はすべての分布において稠密であるため、場合によっては、適切なハイパー事前分布を持つ分布族を用いることで、与えられた事前分布を任意に近似することができます。

このアプローチが特に有用なのは、共役事前分布を使用する場合です。個々の共役事前分布は容易に計算できる事後分布を持つため、共役事前分布の混合は事後分布の混合と同じになります。つまり、各共役事前分布がどのように変化するかを知るだけでよいのです。単一の共役事前分布を使用すると制約が大きすぎる可能性がありますが、共役事前分布の混合を使用すると、計算しやすい形式で目的の分布が得られる場合があります。これは、関数を固有関数で分解することに似ています（「共役事前分布：固有関数との類似性」を参照）。

ハイパー事前分布とは、可能なハイパーパラメータの空間における分布のことです。共役事前分布を用いる場合、事後分布に移行することでこの空間は維持されます。つまり、データが到着すると分布は変化しますが、この空間上に留まります。データが到着するにつれて、分布は動的システムとして進化し（ハイパーパラメータ空間の各点が更新されたハイパーパラメータへと進化する）、事前分布自体が収束するのと同様に、時間とともに収束していきます。