加算平滑化

統計学において、加法平滑化（ラプラス平滑化^{[ 1 ]}またはリッドストーン平滑化とも呼ばれる）は、カウントデータを平滑化し、特定の値が0回出現することによって生じる問題を解消するために使用される手法である。観測カウントのセットが与えられた場合、${\displaystyle \mathbf {x} =\langle x_{1},x_{2},\ldots ,x_{d}\rangle }$から${\displaystyle d}$次元多項分布${\displaystyle N}$試行では、カウントの「平滑化」バージョンが推定器に

${\displaystyle {\hat {\theta }}_{i}={\frac {x_{i}+\alpha }{N+\alpha d}}\qquad (i=1,\ldots ,d),}$

平滑化されたカウント${\displaystyle {\hat {x}}_{i}=N{\hat {\theta }}_{i}}$また、「擬似カウント」α  >  0 は平滑化パラメータであり、α  =  0 は平滑化なしに対応します (このパラメータについては、以下の§ 擬似カウントで説明します)。加法平滑化は収縮推定量の一種であり、結果として得られる推定値は経験的確率(相対頻度)と の間になります。${\displaystyle x_{i}/N}$および一様確率${\displaystyle 1/d.}$αの一般的な選択肢は0 (平滑化なし)、+ 1 ⁄ 2 (ジェフリーズ事前分布)、または 1 (ラプラスの継承規則) ですが、^{[ 2 ] [ 3 ]}パラメータは観測データに基づいて経験的に設定することもできます。

ベイズの観点から見ると、これは、パラメータαを持つ対称ディリクレ分布を事前分布として使用した場合の事後分布の期待値に相当します。カテゴリ数が2の特殊なケースでは、これは二項分布のパラメータの共役事前分布としてベータ分布を使用することと同等です。

ラプラスはこの平滑化手法を、明日太陽が昇る確率を推定しようとした際に考案しました。彼の論理は、太陽が昇る日のサンプルが多数与えられたとしても、明日太陽が昇るかどうかを完全に確信することはできない（日の出問題として知られている）というものでした。^{[ 4 ]}

擬似カウントとは、観測されたケース数に加算される量（その名前にもかかわらず、一般的には整数ではない）であり、そのデータがゼロでない場合に、そのデータのモデルにおける期待確率を変更するために使用されます。擬似カウントは、おおまかに言えば、値が 1 のときに、その値が 1 のときに、その値${\displaystyle \alpha }$各カテゴリが追加のカウントを持つのと同様に、事後分布に重み付けされます。${\displaystyle \alpha }$各項目の出現回数${\displaystyle i}$は${\displaystyle x_{i}}$から${\displaystyle N}$サンプル、イベントの経験的確率${\displaystyle i}$は

${\displaystyle p_{i,{\text{empirical}}}={\frac {x_{i}}{N}},}$

しかし、加法的に平滑化した場合の事後確率は

${\displaystyle p_{i,\alpha {\text{-smoothed}}}={\frac {x_{i}+\alpha }{N+\alpha d}},}$

それぞれのカウントを増やすかのように${\displaystyle x_{i}}$による${\displaystyle \alpha }$先験的に。

事前知識（時には主観的な値）に応じて、擬似カウントは任意の非負の有限値をとることができます。定義上不可能な場合（例えば、πの10進数桁が文字である可能性）、またはπの有効なプログラムを実行したときにコンピュータが文字を出力するなど、物理的に拒否されてカウントされない可能性、あるいは0と1のみに関心がある場合など、関心がないため除外されてカウントされない場合にのみ、擬似カウントはゼロ（または可能性が無視される）になります。一般に、有限時間内に計算または観測可能な値がない可能性もあります（停止問題を参照）。しかし、少なくとも1つの可能性はゼロ以外の擬似カウントを持つ必要があります。そうでなければ、最初の観測前に予測を計算することはできません。擬似カウントの相対値は、それらの可能性の相対的な事前期待確率を表します。擬似カウントの合計（非常に大きくなる可能性があります）は、期待確率を決定する際に、すべての実際の観測（それぞれ1つずつ）と比較した事前知識の推定重みを表します。

観測されたデータセットやサンプルには、特に発生確率の低い事象やデータセットが小さい場合、起こりうる事象が発生しない可能性があります。そのため、観測された頻度はゼロとなり、確率もゼロであるように見えます。しかし、このような単純化は不正確であり、特に人工ニューラルネットワークや隠れマルコフモデルなどの確率ベースの機械学習手法においては、しばしば役に立ちません。まれな（ただし不可能ではない）事象の確率を人為的に調整し、その確率が厳密にはゼロにならないようにすることで、ゼロ頻度の問題を回避できます。クロムウェルのルールも参照してください。

• ベイズ平均
• 部分一致による予測
• カテゴリ分布

• SF Chen、J Goodman (1996)「言語モデリングのための平滑化手法の実証的研究」。第34回計算言語学会年次大会議事録。
• 擬似カウント
  • 擬似カウント正則化のベイズ解釈
• ナイーブベイズ分類器における加法平滑化の使用方法を説明するビデオ