加法的スムージング

統計学において、加法平滑化はラプラス平滑化^[1]またはリドストン平滑化とも呼ばれ、カウントデータを平滑化し、特定の値が0回発生することによって引き起こされる問題を排除するために使用される手法である。試行回数を含む次元多項式分布からの観測カウントのセットが与えられた場合、カウントの「平滑化」バージョンは推定値を与える。${\displaystyle \mathbf {x} =\langle x_{1},x_{2},\ldots ,x_{d}\rangle }$${\displaystyle d}$${\displaystyle N}$

${\displaystyle {\hat {\theta }}_{i}={\frac {x_{i}+\alpha }{N+\alpha d}}\qquad (i=1,\ldots ,d),}$

ここで、平滑化カウントであり、「疑似カウント」α  > 0 は平滑化パラメータであり、α  = 0 は平滑化なしに対応します（このパラメータについては、以下の § 疑似カウントで説明します）。加法平滑化は、結果として得られる推定値が経験的確率（相対頻度）と一様確率の間になるため、収縮推定量の一種です。ラプラスの継承則を引用して、一部の著者は^{[引用が必要]} α は1 であるべきであると主張していますが（この場合、add-one 平滑化^{[2] [3]}という用語も使用されます）^{[さらなる説明が必要]}が、実際にはより小さい値が通常選択されます。 ${\displaystyle {\hat {x}}_{i}=N{\hat {\theta}}_{i}}$${\displaystyle x_{i}/N}$ ${\displaystyle 1/d.}$

ベイズの観点から見ると、これは、事前分布としてパラメータαを持つ対称ディリクレ分布を使用した事後分布の期待値に対応します。カテゴリ数が 2 である特殊なケースでは、これは二項分布のパラメータの共役事前分布としてベータ分布を使用することと同等です。

ラプラスは、明日太陽が昇る可能性を推定しようとしたときに、この平滑化手法を思いつきました。彼の理論は、たとえ太陽が昇る日の大きなサンプルが与えられたとしても、明日も太陽が昇るかどうかを完全に確信することはできないというものでした（日の出問題として知られています）。^[4]

擬似カウントとは、観測されたケースの数に追加される量（名前にもかかわらず、通常は整数ではない）であり、そのデータがゼロでないことがわかっている場合に、それらのデータのモデルにおける期待確率を変更するために追加されます。大まかに言えば、擬似カウントの値は、各カテゴリが追加のカウントを持つのと同様に事後分布に重み付けされるため、このように呼ばれています。各項目の頻度がサンプル外である場合、イベントの経験的確率は ${\displaystyle \alpha}$${\displaystyle \alpha}$${\displaystyle i}$${\displaystyle x_{i}}$${\displaystyle N}$${\displaystyle i}$

${\displaystyle p_{i,{\text{empirical}}}={\frac {x_{i}}{N}},}$

しかし、加法的に平滑化された場合の事後確率は

${\displaystyle p_{i,\alpha {\text{-smoothed}}}={\frac {x_{i}+\alpha }{N+\alpha d}},}$

あたかも各カウントを事前 に増やすかのように。${\displaystyle x_{i}}$${\displaystyle \alpha}$

事前知識（主観的な値になることもある）に応じて、疑似カウントは負でない有限値を持つことがあります。定義上不可能な場合にのみ、疑似カウントはゼロ（または可能性が無視される）になります。たとえば、πの 10 進数が文字である可能性、または拒否されるためカウントされない物理的な可能性（πの有効なプログラムを実行するとコンピューターが文字を印刷するなど）や、関心がないため除外されカウントされない可能性（0 と 1 のみに関心がある場合など）です。一般に、有限時間内に計算または観測可能な値が存在しない可能性もあります（停止問題を参照）。ただし、少なくとも 1 つの可能性にゼロ以外の疑似カウントが必要です。そうしないと、最初の観測の前に予測を計算できません。疑似カウントの相対値は、それらの可能性の相対的な事前期待確率を表します。疑似カウントの合計は非常に大きくなる可能性があり、期待確率を決定する際に、事前知識と実際のすべての観測（それぞれ 1 つ）を比較した推定重みを表します。

観測されたデータ セットまたはサンプルには、特に低確率のイベントや小規模なデータ セットの場合、起こり得るイベントが発生しない可能性があります。したがって、その観測頻度はゼロであり、明らかに確率がゼロであることを意味します。この過度の単純化は不正確であり、特に人工ニューラル ネットワークや隠れマルコフ モデルなどの確率ベースの機械学習技術では役に立たないことがよくあります。まれな (しかし不可能ではない) イベントの確率を人工的に調整してそれらの確率が正確にゼロにならないようにすることで、ゼロ頻度の問題を回避します。クロムウェルの規則も参照してください。

最も単純なアプローチは、ゼロカウントの可能性も含め、観測されたイベントの数ごとに1 を加算することです。これは、ラプラスの継承則と呼ばれることもあります。このアプローチは、起こり得る各イベントの確率に対して均一な事前分布を仮定することと同じです (各確率が 0 から 1 の間で、その合計がすべて 1 になる単体にまたがります)。

Jeffreys の事前アプローチを使用する場合、各可能な結果に 1/2 の疑似カウントを追加する必要があります。

事前の知識がまったくない場合にのみ、疑似カウントを 1 に設定する必要があります (無差別の原則を参照) 。ただし、適切な事前知識がある場合は、反証があるにもかかわらず事前確率が正しいと見なす期待に比例して合計を調整する必要があります (詳細な分析を参照)。真の値が事前にわかっている場合は (新品同様のコインなど)、高い値が適切です。偏りがある可能性があるが、その程度が不明な場合は (曲がったコインなど)、低い値が適切です。

より複雑なアプローチは、他の要因からイベントの 確率を推定し、それに応じて調整することです。

疑似カウント、特に二項分布データに対する疑似カウントの根拠となる方法の1つは、区間推定値の中間点、特に二項分布信頼区間の式を利用することである。最もよく知られているのは、エドウィン・ビッドウェル・ウィルソンによるウィルソン（1927）である。ウィルソンスコア区間の中間点は、両側の標準偏差 に${\displaystyle z}$対応する。

${\displaystyle {\frac {n_{S}+z}{n+2z}}.}$

標準偏差を使用して95% 信頼区間 ( ⁠ ⁠ ) を近似すると、結果ごとに疑似カウントが 2 になり、合計で 4 になります。これは俗に「プラス 4 ルール」と呼ばれます。 ${\displaystyle z=2}$${\displaystyle z\approx 1.96}$

${\displaystyle {\frac {n_{S}+2}{n+4}}.}$

これは、 Agresti-Coull 区間の中間点でもあります(Agresti & Coull 1998)。

多くの場合、未知の試験集団のバイアスは、既知のパラメータ（発生率）を持つ対照集団に対してテストされます。この場合、均一確率を対照集団の既知の発生率に置き換えて、平滑化された推定値を計算する必要があります。 ${\displaystyle {\boldsymbol {\mu }}=\langle \mu _{1},\mu _{2},\ldots ,\mu _{d}\rangle .}$${\displaystyle 1/d}$${\displaystyle \mu _{i}}$

${\displaystyle {\hat {\theta }}_{i}={\frac {x_{i}+\mu _{i}\alpha d}{N+\alpha d}}\qquad (i=1,\ldots ,d).}$

一貫性チェックとして、経験的推定値が偶然発生率と等しい場合、つまり平滑化推定値は発生率から独立しており、発生率と等しくなります。 ${\displaystyle \mu _{i}=x_{i}/N,}$${\displaystyle \alpha }$

加法平滑化は、一般的に、単純ベイズ分類器の構成要素です。

自然言語処理と情報検索のバッグオブワードモデルでは、データは文書内の各単語の出現回数で構成されます。加法平滑化により、サンプルに出現しない単語にゼロ以外の確率を割り当てることができます。最近の研究では、言語モデルベースの疑似関連性フィードバックやレコメンデーションシステムなどのいくつかの検索タスクにおいて、加法平滑化が他の確率平滑化方法よりも効果的であることが証明されています。^{[5] [6]}

• ベイズ平均
• 部分一致による予測
• カテゴリ分布

• SF Chen、J Goodman (1996)。「言語モデリングのためのスムージング手法の実証的研究」。計算言語学会第 34 回年次会議の議事録。
• 擬似カウント
  • 擬似カウント正規化子のベイズ解釈
• ナイーブベイズ分類器における加法スムージングの使用法を説明するビデオ