エントロピー推定

独立成分分析^{[ 1 ]} 、画像解析^{[ 2 ]} 、遺伝子解析^{[ 3 ]} 、音声認識^{[ 4 ]} 、多様体学習^{[ 5 ]}、時間遅延推定^{[ 6 ]}などのさまざまな科学/工学アプリケーションでは、いくつかの観測に基づいてシステムまたはプロセスの微分エントロピーを推定することが有用です。

最も単純で一般的なアプローチはヒストグラムに基づく推定を使用するが、他のアプローチも開発され使用されており、それぞれに利点と欠点がある。^{[ 7 ]}方法を選択する際の主な要因は、多くの場合、推定値のバイアスと分散のトレードオフであるが、^{[ 8 ]}データの（疑われる）分布の性質も要因となる可能性があり、^{[ 7 ]}サンプルサイズと確率分布のアルファベットのサイズも要因となる。^{[ 9 ]}

ヒストグラムアプローチは、確率分布の微分エントロピーが${\displaystyle f(x)}$連続確率変数${\displaystyle x}$、

${\displaystyle h(X)=-\int _{\mathbb {X} }f(x)\log f(x)\,dx}$

まず近似することで近似できます${\displaystyle f(x)}$観測値のヒストグラムを用いて、量子化の離散エントロピーを求める。${\displaystyle x}$

${\displaystyle H(X)=-\sum _{i=1}^{n}f(x_{i})\log \left({\frac {f(x_{i})}{w(x_{i})}}\right)}$

そのヒストグラムによって与えられるビン確率を持つ。ヒストグラム自体は、離散化された頻度分布の最尤推定値（ML）である。${\displaystyle w}$幅は${\displaystyle i}$番目のビン。ヒストグラムは計算が速く、単純なので、このアプローチには魅力があります。しかし、生成される推定値は偏っており、推定値に修正を加えることはできますが、必ずしも満足のいく結果が得られるとは限りません。^{[ 10 ]}

多次元確率密度関数（pdf）に適した方法は、まず何らかの方法でpdfを推定し、次にその推定値からエントロピーを計算することです。有用なpdf推定方法の例としては、ガウス混合モデル（GMM）があります。これは、期待値最大化（EM）アルゴリズムを使用して、データpdfを近似するガウスpdfの重み付き和の最尤推定値を求めるものです。

データが一次元の場合、すべての観測値をその値の順に並べることを想像できます。ある値と次の値の間の間隔は、その領域の確率密度（の逆数）のおおよその目安となります。値が近いほど、確率密度は高くなります。これは分散の大きい非常に大まかな推定ですが、例えば、ある値とそこからm離れた値の間の間隔を考えることで改善できます。ここでmは固定された数です。^{[ 7 ]}

このようにして推定された確率密度は、ヒストグラムの場合と同様の方法で、ただし若干の調整を加えることで、エントロピー推定値を計算するために使用できます。

このアプローチの主な欠点の 1 つは、1 次元を超えることです。データ ポイントを順番に並べるという考え方は、1 次元を超えると破綻します。しかし、類似の方法を使用して、いくつかの多次元エントロピー推定器が開発されています。^{[ 11 ] [ 12 ]}

データセット内の各点について、その最近傍点までの距離を求めることができます。実際、データ点の最近傍点までの距離の分布からエントロピーを推定することができます。^{[ 7 ]}（一様分布ではこれらの距離はすべてかなり似た値になりますが、非常に不均一な分布では大きく変動する可能性があります。）

サンプリング不足の条件下では、分布に事前分布があると推定に役立つことがあります。そのようなベイズ推定量の1 つは、神経科学の文脈で NSB ( Nemenman –Shafee– Bialek ) 推定量として提案されました。^{[ 13 ] [ 14 ]} NSB 推定量は、エントロピーに対する誘導事前分布がほぼ一様になるように選択されたディリクレ事前分布の混合を使用します。

エントロピー評価の問題に対する新しいアプローチは、ランダムシーケンスのサンプルの期待エントロピーとサンプルの計算されたエントロピーを比較することです。この方法は非常に正確な結果をもたらしますが、バイアスと相関の値が小さい一次マルコフ連鎖としてモデル化されたランダムシーケンスの計算に限定されます。これは、サンプルシーケンスのサイズとそれがエントロピーの計算の精度に与える影響を考慮した、既知の最初の方法です。^{[ 15 ] [ 16 ]}

深層ニューラルネットワーク (DNN) は、結合エントロピーを推定するために使用でき、ニューラル結合エントロピー推定器 (NJEE) と呼ばれます。^{[ 17 ]}実際には、DNN は、入力ベクトルまたは行列 X を、入力 X が与えられたときの確率変数 Y の可能なクラスに対する出力確率分布にマッピングする分類器としてトレーニングされます。たとえば、画像分類タスクでは、NJEE はピクセル値のベクトルを、可能な画像クラスに対する確率にマッピングします。実際には、Y の確率分布は、Y のアルファベットサイズに等しいノード数を持つ Softmax 層によって得られます。NJEE は、普遍近似定理の条件が満たされるように、連続的に微分可能な活性化関数を使用します。この方法は、強く一貫性のある推定器を提供し、アルファベットサイズが大きい場合に他の方法よりも優れていることが示されています。^{[ 17 ] [ 9 ]}