平均1依存推定量

平均一依存推定量（AODE）は確率的分類学習技術である。これは、一般的なナイーブベイズ分類器の属性独立性問題を解決するために開発された。計算量がわずかに増加するという代償を払って、ナイーブベイズよりも大幅に正確な分類器を頻繁に開発する。^[1]

AODEは、指定された特徴セットx ₁ , ... x _n , P( y | x ₁ , ... x _{n )を与えられた各クラス}yの確率を推定します。そのためには、次の式を使用します。

${\displaystyle {\hat {P}}(y\mid x_{1},\ldots x_{n})={\frac {\sum _{i:1\leq i\leq n\wedge F(x_{i})\geq m}{\hat {P}}(y,x_{i})\prod _{j=1}^{n}{\hat {P}}(x_{j}\mid y,x_{i})}{\sum _{y^{\prime }\in Y}\sum _{i:1\leq i\leq n\wedge F(x_{i})\geq m}{\hat {P}}(y^{\prime },x_{i})\prod _{j=1}^{n}{\hat {P}}(x_{j}\mid y^{\prime },x_{i})}}$

ここで、は の推定値、はサンプル データ内での引数の出現頻度、m は外部合計で使用するために項が出現する必要があるユーザー指定の最小頻度です。最近では、m は通常 1 に設定されています。 ${\displaystyle {\hat {P}}(\cdot )}$${\displaystyle P(\cdot )}$${\displaystyle F(\cdot )}$

P( y | x ₁ , ... x _n )を推定します。条件付き確率の定義により、

${\displaystyle P(y\mid x_{1},\ldots x_{n})={\frac {P(y,x_{1},\ldots x_{n})}{P(x_{1},\ldots x_{n})}}.}$

いずれの場合も、 ${\displaystyle 1\leq i\leq n}$

${\displaystyle P(y,x_{1},\ldots x_{n})=P(y,x_{i})P(x_{1},\ldots x_{n}\mid y,x_{i}).}$

x ₁ , ... x _{n は}yとx _{i が}与えられたときに独立であるという仮定の下では、

${\displaystyle P(y,x_{1},\ldots x_{n})=P(y,x_{i})\prod _{j=1}^{n}P(x_{j}\mid y,x_{i}).}$

この式は、1 つの従属推定量 (ODE) の特別な形式を定義します。これは、ナイーブベイズの独立性仮定よりも弱い (したがって、潜在的に害が少ない) 上記の独立性仮定を行うナイーブ ベイズ分類器の変形です。結果として、各 ODE はナイーブ ベイズよりも偏りの少ない推定量を作成するはずです。ただし、基本確率推定値はそれぞれ 1 つの変数ではなく 2 つの変数によって条件付けられるため、より少ないデータ (両方の変数を満たすトレーニング例) から作成され、したがって分散が大きくなる可能性があります。AODE は、このようなすべての ODE の推定値を平均化することで、この分散を減らします。

AODE は、ナイーブ ベイズと同様に、モデル選択を実行せず、調整可能なパラメータも使用しません。その結果、分散が低くなります。増分学習をサポートしているため、分類器は新しい例が利用可能になると、その情報を使用して効率的に更新されます。単一のクラスを予測するのではなく、クラス確率を予測するため、ユーザーは各分類を行う信頼性を判断できます。その確率モデルは、一部のデータが欠落している状況を直接処理できます。

AODE は、トレーニング時と分類時に計算が複雑になります。ここで、 nは特徴の数、l はトレーニング例の数、k はクラスの数です。このため、高次元データへの適用は不可能です。ただし、その制限内では、トレーニング例の数に対して線形であるため、多数のトレーニング例を効率的に処理できます。 ${\displaystyle O(ln^{2})}$${\displaystyle O(kn^{2})}$

無料のWeka機械学習スイートには AODE の実装が含まれています。

• クラスター重み付けモデリング