ハートレー関数

ハートレー関数は、1928年にラルフ・ハートレーによって導入された不確実性の尺度です。有限集合Aから一様に無作為にサンプルを抽出した場合、結果が判明した後に明らかになる情報量は、ハートレー関数によって与えられます。

${\displaystyle H_{0}(A):=\mathrm {log} _{b}\vert A\vert ,}$

ここで、| A |はAの濃度を表します。

対数の底が2の場合、不確実性の単位はシャノン（一般的にはビットと呼ばれる）です。自然対数の場合は、単位はナットです。ハートレーは10を底とする対数を使用しており、この底では、彼の功績を称えて情報単位はハートレー（別名バンまたはディット）と呼ばれています。これはハートレーエントロピーまたは最大エントロピーとも呼ばれます。

ハートレー関数は、一様確率分布の場合、シャノンエントロピー（およびすべての次数のレニーエントロピー）と一致します。これは、レニーエントロピーの特殊なケースです。

${\displaystyle H_{0}(X)={\frac {1}{1-0}}\log \sum _{i=1}^{|{\mathcal {X}}|}p_{i}^{0}=\log |{\mathcal {X}}|.}$

しかし、ハートレー関数は確率の概念を導入することなく定義できるため、これは原始的な構成と見なすこともできる（ジョージ・J・クリール著『不確実性と情報』 423ページ参照）。 

ハートレー関数は集合の要素数のみに依存するため、自然数上の関数とみなすことができる。レニは、2 を基数とするハートレー関数が、自然数を実数に写像する関数の中で、次の条件を満たす唯一の関数であることを示した。

1. ${\displaystyle H(mn)=H(m)+H(n)}$（加法性）
2. ${\displaystyle H(m)\leq H(m+1)}$（単調性）
3. ${\displaystyle H(2)=1}$（正規化）

条件1は、 2つの有限集合AとBの直積の不確実性は、AとBの不確実性の合計に等しいと述べている。条件2は、集合が大きいほど不確実性も大きくなると述べている。

_{ハートレー関数 log 2} ( n ) が、自然数を実数に写像する唯一の関数であり、以下の条件を満たすことを示したい。

1. ${\displaystyle H(mn)=H(m)+H(n)\,}$（加法性）
2. ${\displaystyle H(m)\leq H(m+1)\,}$（単調性）
3. ${\displaystyle H(2)=1\,}$（正規化）

fを上記の 3 つの性質を満たす正の整数上の関数とする。加法性から、任意の整数nとkに対して、

${\displaystyle f(n^{k})=kf(n).\,}$

a、b、tを任意の正の整数とする。によって決定される一意の整数sが存在する。

${\displaystyle a^{s}\leq b^{t}\leq a^{s+1}.\qquad (1)}$

したがって、

${\displaystyle s\log _{2}a\leq t\log _{2}b\leq (s+1)\log _{2}a\,}$

そして

$\displaystyle {\frac {s}{t}}\leq {\frac {\log _{2}b}{\log _{2}a}}\leq {\frac {s+1}{t}}.}$

一方、単調性により、

${\displaystyle f(a^{s})\leq f(b^{t})\leq f(a^{s+1}).\,}$

式（1）を用いると、

${\displaystyle sf(a)\leq tf(b)\leq (s+1)f(a),\,}$

そして

$\displaystyle {\frac {s}{t}}\leq {\frac {f(b)}{f(a)}}\leq {\frac {s+1}{t}}.}$

したがって、

$\left\vert {\frac {f(b)}{f(a)}}-{\frac {\log _{2}(b)}{\log _{2}(a)}}\right\vert \leq {\frac {1}{t}}.}$

tは任意に大きくすることができるので、上記の不等式の左辺の差はゼロでなければならない。

${\displaystyle {\frac {f(b)}{f(a)}}={\frac {\log _{2}(b)}{\log _{2}(a)}}.}$

それで、

${\displaystyle f(a)=\mu \log _{2}(a)\,}$

正規化の性質により、μは1に等しくなければならない定数μである。

• レニーエントロピー
• 最小エントロピー

• この記事は、PlanetMathの Hartley 関数からの資料を組み込んでおり、Creative Commons Attribution-Share-Alike Licenseの下でライセンスされています。
• この記事は、 PlanetMathの「ハートレー関数の導出」からの内容を取り入れており、クリエイティブ・コモンズ表示-継承ライセンスの下でライセンスされています。