加法性白色ガウスノイズ

インデックスが から の範囲のメッセージをチャネルを通して送信していると仮定します。${\displaystyle 1}$に${\displaystyle M}$異なるメッセージの数。${\displaystyle M}$メッセージ${\displaystyle n}$ビット、次にレートを定義します${\displaystyle R}$として：

${\displaystyle R={\frac {\log M}{n}}\,\!}$

あるレートが達成可能であるとは、エラーの最大確率がゼロに近づくようなコードのシーケンスが存在する場合をいう。${\displaystyle n}$無限大に近づく。容量${\displaystyle C}$これは達成可能な最高率です。

長さのコードワードを考えてみましょう${\displaystyle n}$ノイズレベルがAWGNチャネルを通して送信される${\displaystyle N}$受信時の符号語ベクトルの分散は次のようになります。${\displaystyle N}$、そしてその平均値が送信されたコードワードです。このベクトルは半径の球内に含まれる可能性が非常に高いです。${\textstyle {\sqrt {n(N+\varepsilon )}}}$送信された符号語の周囲。受信したすべてのメッセージをこの球の中心にある符号語にマッピングして復号すると、受信ベクトルがこの球の外側にある場合にのみエラーが発生しますが、これは非常にまれです。

各符号語ベクトルには、復号化される受信符号語ベクトルの関連付けられた球体があり、そのような各球体は一意に符号語にマッピングされなければなりません。したがって、これらの球体は交差してはならないため、球体パッキングの問題に直面します。いくつの異なる符号語を球体に詰め込むことができるでしょうか。${\displaystyle n}$-ビット符号語ベクトル？受信ベクトルの最大エネルギーは${\displaystyle n(P+N)}$したがって、半径の球体を占める必要がある${\textstyle {\sqrt {n(P+N)}}}$各コードワード球の半径は${\displaystyle {\sqrt {nN}}}$n次元球の体積は、${\displaystyle r^{n}}$したがって、送信電力Pを持つ球体に詰め込むことができる、一意に解読可能な球体の最大数は次のとおりです。

${\displaystyle {\frac {(n(P+N))^{n/2}}{(nN)^{n/2}}}=2^{(n/2)\log \left(1+P/N\right)}\,\!}$

この議論によれば、レートRは以下${\displaystyle {\frac {1}{2}}\log \left(1+{\frac {P}{N}}\right)}$。

このセクションでは、前のセクションで示したレートの上限が達成可能であることを示します。

エンコーダとデコーダの両方に知られているコードブックは、長さnの符号語を選択することによって生成され、分散は の iid ガウス分布に従います。${\displaystyle P-\varepsilon }$そして平均はゼロとなる。nが大きい場合、コードブックの経験的分散はその分布の分散に非常に近くなり、確率的に検出力制約違反を回避する。

受信メッセージは、コードブック内の一意に共通するメッセージに復号されます。そのようなメッセージが存在しない場合、または電力制約に違反している場合は、復号エラーが宣言されます。

させて${\displaystyle X^{n}(i)}$メッセージの符号語を表す${\displaystyle i}$、 その間${\displaystyle Y^{n}}$は、以前と同様に受信ベクトルです。次の3つのイベントを定義します。

1. イベント${\displaystyle U}$受信メッセージのパワーは、${\displaystyle P}$。
2. イベント${\displaystyle V}$送信された符号語と受信された符号語は、共通して典型的ではない。
3. イベント${\displaystyle E_{j}}$:${\displaystyle (X^{n}(j),Y^{n})}$は${\displaystyle A_{\varepsilon }^{(n)}}$典型的なセットでは${\displaystyle i\neq j}$つまり、誤った符号語は受信ベクトルと共通して典型的であるということである。

したがって、次のような場合にエラーが発生します。${\displaystyle U}$、${\displaystyle V}$または${\displaystyle E_{i}}$起こる。大数の法則により、${\displaystyle P(U)}$nが無限大に近づくとゼロになり、漸近等分配特性により、同じことがにも適用されます。${\displaystyle P(V)}$したがって、十分に大きい${\displaystyle n}$、 両方${\displaystyle P(U)}$そして${\displaystyle P(V)}$それぞれが以下${\displaystyle \varepsilon }$。 以来${\displaystyle X^{n}(i)}$そして${\displaystyle X^{n}(j)}$独立している${\displaystyle i\neq j}$我々はそれを持っている${\displaystyle X^{n}(i)}$そして${\displaystyle Y^{n}}$また、独立しています。したがって、共同AEPにより、${\displaystyle P(E_{j})=2^{-n(I(X;Y)-3\varepsilon )}}$これにより、計算が可能になります。${\displaystyle P_{e}^{(n)}}$エラーの確率は以下のとおりです。

${\displaystyle {\begin{aligned}P_{e}^{(n)}&\leq P(U)+P(V)+\sum _{j\neq i}P(E_{j})\\&\leq \varepsilon +\varepsilon +\sum _{j\neq i}2^{-n(I(X;Y)-3\varepsilon )}\\&\leq 2\varepsilon +(2^{nR}-1)2^{-n(I(X;Y)-3\varepsilon )}\\&\leq 2\varepsilon +(2^{3n\varepsilon })2^{-n(I(X;Y)-R)}\\&\leq 3\varepsilon \end{aligned}}}$

したがって、nが無限大に近づくと、${\displaystyle P_{e}^{(n)}}$ゼロになり、${\displaystyle R<I(X;Y)-3\varepsilon }$したがって、先に導出した容量に任意に近似したレートRのコードが存在する。

ここでは、容量を超えるレートを示します${\displaystyle C={\frac {1}{2}}\log \left(1+{\frac {P}{N}}\right)}$達成不可能である。

コードブックの電力制約が満たされていると仮定し、さらにメッセージが一様分布に従うと仮定する。${\displaystyle W}$入力メッセージと${\displaystyle {\hat {W}}}$出力メッセージ。したがって、情報の流れは次のようになります。

${\displaystyle W\longrightarrow X^{(n)}(W)\longrightarrow Y^{(n)}\longrightarrow {\hat {W}}}$

ファノの不等式を用いると、次のようになる。

${\displaystyle H(W\mid {\hat {W}})\leq 1+nRP_{e}^{(n)}=n\varepsilon _{n}}$どこ${\displaystyle \varepsilon _{n}\rightarrow 0}$として${\displaystyle P_{e}^{(n)}\rightarrow 0}$

させて${\displaystyle X_{i}}$符号語インデックスiの符号化されたメッセージを とする。すると、次のようになる。

${\displaystyle {\begin{aligned}nR&=H(W)\\&=I(W;{\hat {W}})+H(W\mid {\hat {W}})\\&\leq I(W;{\hat {W}})+n\varepsilon _{n}\\&\leq I(X^{(n)};Y^{(n)})+n\varepsilon _{n}\\&=h(Y^{(n)})-h(Y^{(n)}\mid X^{(n)})+n\varepsilon _{n}\\&=h(Y^{(n)})-h(Z^{(n)})+n\varepsilon _{n}\\&\leq \sum _{i=1}^{n}h(Y_{i})-h(Z^{(n)})+n\varepsilon _{n}\\&\leq \sum _{i=1}^{n}I(X_{i};Y_{i})+n\varepsilon _{n}\end{aligned}}}$

させて${\displaystyle P_{i}}$インデックス i の符号語の平均電力とする。

${\displaystyle P_{i}={\frac {1}{2^{nR}}}\sum _{w}x_{i}^{2}(w)\,\!}$

ここで、合計はすべての入力メッセージにわたるものです。${\displaystyle w}$。${\displaystyle X_{i}}$そして${\displaystyle Z_{i}}$独立しているため、${\displaystyle Y_{i}}$騒音レベルについては${\displaystyle N}$:

${\displaystyle E(Y_{i}^{2})=P_{i}+N\,\!}$

そして、もし${\displaystyle Y_{i}}$正規分布に従うので、

${\displaystyle h(Y_{i})\leq {\frac {1}{2}}\log {2\pi e}(P_{i}+N)\,\!}$

したがって、

${\displaystyle {\begin{aligned}nR&\leq \sum (h(Y_{i})-h(Z_{i}))+n\varepsilon _{n}\\&\leq \sum \left({\frac {1}{2}}\log(2\pi e(P_{i}+N))-{\frac {1}{2}}\log(2\pi eN)\right)+n\varepsilon _{n}\\&=\sum {\frac {1}{2}}\log \left(1+{\frac {P_{i}}{N}}\right)+n\varepsilon _{n}\end{aligned}}}$

ジェンセンの等式を次のように適用できます。${\displaystyle \log(1+x)}$xの凹関数（下に凸）にすると、次のようになります。

${\displaystyle {\frac {1}{n}}\sum _{i=1}^{n}{\frac {1}{2}}\log \left(1+{\frac {P_{i}}{N}}\right)\leq {\frac {1}{2}}\log \left(1+{\frac {1}{n}}\sum _{i=1}^{n}{\frac {P_{i}}{N}}\right)\,\!}$

各符号語は個別に電力制約を満たすため、平均も電力制約を満たします。したがって、

${\displaystyle {\frac {1}{n}}\sum _{i=1}^{n}{\frac {P_{i}}{N}},\,\!}$

上記の不等式を簡略化するためにこれを適用すると、次の式が得られます。

${\displaystyle {\frac {1}{2}}\log \left(1+{\frac {1}{n}}\sum _{i=1}^{n}{\frac {P_{i}}{N}}\right)\leq {\frac {1}{2}}\log \left(1+{\frac {P}{N}}\right).\,\!}$

したがって、${\displaystyle R\leq {\frac {1}{2}}\log \left(1+{\frac {P}{N}}\right)+\varepsilon _{n}}$したがって、Rは先に導出した容量に任意に近づいた値よりも小さくなければならない。${\displaystyle \varepsilon _{n}\rightarrow 0}$。