シャノン（ユニット）

シャノン（記号：Sh）は、情報理論の創始者であるクロード・シャノンにちなんで名付けられた情報の単位です。IEC 80000-13では、シャノンを、イベントが発生する確率が⁠であるときのイベントに関連付けられた情報量と定義しています。1/2⁠ 。これは情報理論の領域内でそのように理解されており、データ処理とストレージでバイナリ信号の単一のインスタンスを表すために使用される用語であるビットとは概念的に異なります。n個のバイナリ シンボルのシーケンス(コンピューター メモリまたはバイナリ データ伝送に含まれるものなど)は、 nビットで構成されると適切に説明されますが、それらのn 個のシンボルの情報内容は、実際のシンボル シーケンスの事前確率に応じて、nシャノンよりも多いか少ない場合があります。^[1]

シャノンは、イベントの情報エントロピーの単位としても機能します。これは、イベントの情報コンテンツの期待値(つまり、すべての潜在的なイベントの情報コンテンツの確率加重平均) として定義されます。情報コンテンツとは異なり、可能な結果の数を考えると、エントロピーには上限があり、可能な結果が等確率であるときに上限に達します。nビットの最大エントロピーは n Sh です。 シャノンが使用されるもう 1 つの量は、チャネル容量です。これは通常、無視できるエラー確率で転送できるチャネルでエンコードされた情報コンテンツの期待値の最大値であり、通常は情報レートの形式で表されます。

しかし、情報や通信理論の分野でさえ、シャノンよりも情報ビットまたは単にビットという用語の方がよく聞かれます。したがって、単にビットと言うだけでは曖昧になることがあります。シャノンという単位の使用は、情報量、情報エントロピー、またはチャネル容量を明示的に参照しており、バイナリデータに限定されません。^[2]一方、「ビット」は、データ処理などの分野で使用される用語のように、関係するバイナリシンボルの数を指すこともできます。

シャノンは比例定数を介して他の2つの情報単位と関連している: ^[3]

めったに使われない単位であるハートリーは、通信チャネルの容量に関心を持っていた電子工学者のラルフ・ハートリーにちなんで名付けられました。より限定的な性質のものでしたが、シャノンに先立つ彼の初期の研究により、彼は情報理論の先駆者としても認められています。シャノンがバイナリシンボルの最大情報容量を説明するのと同じように、ハートリーは10進シンボル、つまり各値の事前確率が⁠であるときの0から9の範囲の数字の値に含めることができる情報を説明します。1/10⁠ . 上記の変換係数はlog ₁₀（2）で与えられます。

数学的表現では、NAT はより自然な情報単位ですが、シャノンやハートレーとは異なり、1 NAT はすべての可能性が等確率である場合に対応しません。いずれの場合も、情報容量またはエントロピーを定量化する式には、確率を含む式の対数を取ることが含まれます。底が 2 の対数を使用する場合、結果はシャノンで表され、底が 10 (常用対数) の場合はハートレーで、自然対数(底がe ) の場合は NAT で表されます。たとえば、16 ビット シーケンスの情報容量 (65536 個の可能なシーケンスすべてが等確率である場合に達成される) は log(65536) で与えられるため、log ₁₀ (65536) Hart ≈ 4.82 Hart、log _e (65536) nat ≈ 11.09 nat、またはlog ₂ (65536) Sh = 16 Shとなります。

情報理論や、符号理論などの派生分野では、文脈から外れた単一のメッセージ（シンボルのシーケンス）の「情報」を定量化することはできませんが、チャネルのモデル（ビットエラー率など）や情報源の基礎となる統計を参照します。したがって、情報に関するさまざまな尺度や情報に関連する尺度があり、それらはすべてシャノンを単位として使用できます。^[要出典]

たとえば、上記の例では、16 ビット チャネルのチャネル容量は 16 Sh であると言えますが、8 つの可能なメッセージのうち 1 つだけを送信する特定の情報源に接続すると、その出力のエントロピーは 3 Sh 以下と計算されます。また、サイド チャネルを通じて、メッセージが 4 つの可能なメッセージのセットのどれに含まれるかをすでに知らされている場合は、新しいメッセージ (8 つの可能な状態を持つ) の相互情報量を2 Sh 以下と計算できます。0から 1 の間で選択される実数には無限の可能性がありますが、いわゆる微分エントロピーを使用して、信号対雑音比の向上や仮説検定の信頼性などに関連するアナログ信号の情報内容を定量化できます。^{[引用が必要]}