エントロピー率

確率論の数学理論において、確率過程のエントロピー率または情報源率は、非公式には、確率過程における平均情報の時間密度である。可算インデックスを持つ確率過程の場合、エントロピー率は${\displaystyle H(X)}$結合エントロピーの極限は${\displaystyle n}$プロセスのメンバー${\displaystyle X_{k}}$で割った${\displaystyle n}$、 として${\displaystyle n}$無限大に近づく：

${\displaystyle H(X)=\lim _{n\to \infty }{\frac {1}{n}}H(X_{1},X_{2},\dots X_{n})}$

極限が存在する場合。関連する別の量は次のとおりです。

${\displaystyle H'(X)=\lim _{n\to \infty }H(X_{n}|X_{n-1},X_{n-2},\dots X_{1})}$

強定常確率過程の場合、${\displaystyle H(X)=H'(X)}$エントロピー率は確率的ソースの一般的な特性と考えることができます。これは漸近等分配特性です。

エントロピー率は、確率過程の複雑さを推定するために使用できます。言語の複雑さの特性評価、ブラインドソース分離から、量子化器やデータ圧縮アルゴリズムの最適化まで、さまざまなアプリケーションで使用されています。たとえば、最大エントロピー率基準は、機械学習における特徴選択に使用できます。^{[ 1 ]}

プロセス${\displaystyle X}$可算インデックスを持つと、その結合エントロピーのシーケンスが生じる。${\displaystyle H_{n}(X_{1},X_{2},\dots X_{n})}$限界が存在する場合、エントロピー率は次のように定義される。

${\displaystyle H(X):=\lim _{n\to \infty }{\tfrac {1}{n}}H_{n}.}$

任意のシーケンスが与えられた場合、${\displaystyle (a_{n})_{n}}$と${\displaystyle a_{0}=0}$そして${\displaystyle \Delta a_{k}:=a_{k}-a_{k-1}}$伸縮することで${\displaystyle a_{n}={\textstyle \sum _{k=1}^{n}}\Delta a_{k}}$エントロピー率は、最初の平均を計算します。${\displaystyle n}$このようなエントロピー変化は、${\displaystyle n}$無限に続く。${\displaystyle n}$エントロピー変化はそれ自体が条件付きエントロピーである${\displaystyle H(X_{n}|X_{n-1},X_{n-2},...)}$エントロピー率は、分布の平均エントロピーである。${\displaystyle n}$前の変数がわかれば、次の変数もわかります。 1 つのインデックスから次のインデックスへの結合エントロピーの挙動も、エントロピーのいくつかの特徴付けにおいて明示的に対象となります。

その間${\displaystyle X}$ランダム変数のシーケンスとして理解できるエントロピー率${\displaystyle H(X)}$これは、長期的に見て、1つの確率変数あたりの平均エントロピー変化を表します。

これは確率的ソースの一般的な性質と考えることができます。これは漸近等分配性の性質の対象です。

• 情報源（数学）
• マルコフ情報源
• 漸近等分配特性
• 最大エントロピーランダムウォーク- エントロピー率を最大化するように選択

• Cover, T. および Thomas, J. 『情報理論の基礎』 John Wiley and Sons, Inc. 第 2 版、2006 年。