通信チャネルにおける伝送速度の情報理論的限界
電気工学 、 コンピュータサイエンス 、 情報理論 における チャネル容量とは、 通信チャネルを介して 情報を 確実に送信できる 理論上の最大速度です 。
雑音のある通信路符号化定理 の項に従うと、与えられた通信 路 の通信路容量は、 任意の小さな誤り確率で達成できる 最高の情報速度（単位時間あたりの 情報量）である。 [1] [2]
1948年にクロード・E・シャノン が開発した 情報理論は 、チャネル容量の概念を定義し、それを計算するための数学モデルを提供しています。重要な結論は、上で定義したチャネルの容量は、チャネルの入力と出力の間の 相互情報 量の最大値によって与えられ、最大化は入力分布に関して行われるというものです。 [3]
チャネル容量の概念は、チャネル容量によって約束された限界に非常に近いパフォーマンスを実現する新しい エラー訂正コーディング メカニズムの登場により、現代の有線および無線通信システムの開発において中心的な役割を果たしてきました。
通信システムの基本的な数学モデルは次のとおりです。
→
メッセージ
わ
エンコーダ
ふ
ん
→
え ん c o d e d
s e q あなた e ん c e
バツ
ん
チャネル
p （ ええ
|
x ）
→
R e c e 私 ヴ e d
s e q あなた e ん c e
はい
ん
デコーダ
グ
ん
→
え s t 私 メートル 1つの t e d
メートル e s s 1つの グ e
わ ^
{\displaystyle {\xrightarrow[{\text{メッセージ}}]{W}}{\begin{array}{|c|}\hline {\text{エンコーダ}}\\f_{n}\\\hline \end{array}}{\xrightarrow[{\mathrm {エンコードされた \atop シーケンス} }]{X^{n}}}{\begin{array}{|c|}\hline {\text{チャネル}}\\p(y|x)\\\hline \end{array}}{\xrightarrow[{\mathrm {受信した \atop シーケンス} }]{Y^{n}}}{\begin{array}{|c|}\hline {\text{デコーダ}}\\g_{n}\\\hline \end{array}}{\xrightarrow[{\mathrm {推定された \atop メッセージ} }]{\hat {W}}}}
どこ：
わ
{\displaystyle W}
送信されるメッセージです。
バツ
{\displaystyle X}
は、アルファベット で表された チャネル入力シンボル（シンボル のシーケンス）です 。
バツ
ん
{\displaystyle X^{n}}
ん
{\displaystyle n}
バツ
{\displaystyle {\mathcal {X}}}
はい
{\displaystyle Y}
は、アルファベット順に並べられた チャネル出力シンボル（シンボル のシーケンス）です 。
はい
ん
{\displaystyle Y^{n}}
ん
{\displaystyle n}
はい
{\displaystyle {\mathcal {Y}}}
わ ^
{\displaystyle {\hat {W}}}
送信されたメッセージの推定値です。
ふ
ん
{\displaystyle f_{n}}
長さのブロックのエンコード関数です 。
ん
{\displaystyle n}
p （ ええ
|
x ） =
p
はい
|
バツ
（ ええ
|
x ）
{\displaystyle p(y|x)=p_{Y|X}(y|x)}
はノイズの多いチャネルであり、 条件付き確率分布 によってモデル化される。
グ
ん
{\displaystyle g_{n}}
は長さ のブロックのデコード関数です 。
ん
{\displaystyle n}
とを ランダム変数としてモデル化する。さらに、を与えられた の条件付き確率分布関数とする 。 これ は 通信 チャネルの固有の固定特性である。すると、 周辺分布 の選択は、 恒等式による
結合分布を 完全に決定する。
バツ
{\displaystyle X}
はい
{\displaystyle Y}
p
はい
|
バツ
（ ええ
|
x ）
{\displaystyle p_{Y|X}(y|x)}
はい
{\displaystyle Y}
バツ
{\displaystyle X}
p
バツ
（ x ）
{\displaystyle p_{X}(x)}
p
バツ 、 はい
（ x 、 ええ ）
{\displaystyle p_{X,Y}(x,y)}
p
バツ 、 はい
（ x 、 ええ ） =
p
はい
|
バツ
（ ええ
|
x ）
p
バツ
（ x ）
{\displaystyle \ p_{X,Y}(x,y)=p_{Y|X}(y|x)\,p_{X}(x)}
これにより 相互情報量 が誘導される。 チャネル容量 は次のように定義される。
私 （ バツ ; はい ）
{\displaystyle I(X;Y)}
Ｃ =
すする
p
バツ
（ x ）
私 （ バツ ; はい ）
{\displaystyle \ C=\sup _{p_{X}(x)}I(X;Y)\,}
ここで、 の 最高値は 、 のすべての可能な選択肢に対して取られます 。
p
バツ
（ x ）
{\displaystyle p_{X}(x)}
チャネル容量の加法性 チャネル容量は独立したチャネルごとに加算される。 [4] つまり、2つの独立したチャネルを組み合わせて使用した場合、それらを個別に使用した場合と同じ理論容量が得られる。より正式には、 と を 上記のようにモデル化された2つの独立したチャネルとし、 入力アルファベット と出力アルファベット を持つものとする 。 についても同様である 。積チャネルを次 のように
定義する。
p
1
{\displaystyle p_{1}}
p
2
{\displaystyle p_{2}}
p
1
{\displaystyle p_{1}}
バツ
1
{\displaystyle {\mathcal {X}}_{1}}
はい
1
{\displaystyle {\mathcal {Y}}_{1}}
p
2
{\displaystyle p_{2}}
p
1
×
p
2
{\displaystyle p_{1}\times p_{2}}
∀ （
x
1
、
x
2
） ∈ （
バツ
1
、
バツ
2
） 、 （
ええ
1
、
ええ
2
） ∈ （
はい
1
、
はい
2
） 、 （
p
1
×
p
2
） （ （
ええ
1
、
ええ
2
）
|
（
x
1
、
x
2
） ） =
p
1
（
ええ
1
|
x
1
）
p
2
（
ええ
2
|
x
2
）
{\displaystyle \forall (x_{1},x_{2})\in ({\mathcal {X}}_{1},{\mathcal {X}}_{2}),\;(y_{1 },y_{2})\in ({\mathcal {Y}}_{1},{\mathcal {Y}}_{2}),\;(p_{1}\times p_{2})((y_{1},y_{2})|(x_{1},x_{2}))=p_{1}(y_{1}|x_{1})p_{2} (y_{2}|x_{2})}
この定理は次のように述べています。
Ｃ （
p
1
×
p
2
） = Ｃ （
p
1
） + Ｃ （
p
2
）
{\displaystyle C(p_{1}\times p_{2})=C(p_{1})+C(p_{2})}
証拠 まず、 であることを示します 。
Ｃ （
p
1
×
p
2
） ≥ Ｃ （
p
1
） + Ｃ （
p
2
）
{\displaystyle C(p_{1}\times p_{2})\geq C(p_{1})+C(p_{2})}
およびを2 つの独立したランダム変数と し ます。を チャネル を通じた の出力に対応するランダム変数とし 、 を 通じた に対応するランダム変数とします 。
バツ
1
{\displaystyle X_{1}}
X
2
{\displaystyle X_{2}}
Y
1
{\displaystyle Y_{1}}
X
1
{\displaystyle X_{1}}
p
1
{\displaystyle p_{1}}
Y
2
{\displaystyle Y_{2}}
X
2
{\displaystyle X_{2}}
p
2
{\displaystyle p_{2}}
定義によります 。
C
(
p
1
×
p
2
)
=
sup
p
X
1
,
X
2
(
I
(
X
1
,
X
2
:
Y
1
,
Y
2
)
)
{\displaystyle C(p_{1}\times p_{2})=\sup _{p_{X_{1},X_{2}}}(I(X_{1},X_{2}:Y_{1},Y_{2}))}
および は 独立しており、 および も独立している ため 、 は から独立しています。 相互情報 量の次の特性を適用できます 。
X
1
{\displaystyle X_{1}}
X
2
{\displaystyle X_{2}}
p
1
{\displaystyle p_{1}}
p
2
{\displaystyle p_{2}}
(
X
1
,
Y
1
)
{\displaystyle (X_{1},Y_{1})}
(
X
2
,
Y
2
)
{\displaystyle (X_{2},Y_{2})}
I
(
X
1
,
X
2
:
Y
1
,
Y
2
)
=
I
(
X
1
:
Y
1
)
+
I
(
X
2
:
Y
2
)
{\displaystyle I(X_{1},X_{2}:Y_{1},Y_{2})=I(X_{1}:Y_{1})+I(X_{2}:Y_{2})}
今のところ、となる 分布を見つけるだけで十分です 。実際、 および を達成する および の 2 つの確率分布 で 十分です。
p
X
1
,
X
2
{\displaystyle p_{X_{1},X_{2}}}
I
(
X
1
,
X
2
:
Y
1
,
Y
2
)
≥
I
(
X
1
:
Y
1
)
+
I
(
X
2
:
Y
2
)
{\displaystyle I(X_{1},X_{2}:Y_{1},Y_{2})\geq I(X_{1}:Y_{1})+I(X_{2}:Y_{2})}
π
1
{\displaystyle \pi _{1}}
π
2
{\displaystyle \pi _{2}}
X
1
{\displaystyle X_{1}}
X
2
{\displaystyle X_{2}}
C
(
p
1
)
{\displaystyle C(p_{1})}
C
(
p
2
)
{\displaystyle C(p_{2})}
C
(
p
1
×
p
2
)
≥
I
(
X
1
,
X
2
:
Y
1
,
Y
2
)
=
I
(
X
1
:
Y
1
)
+
I
(
X
2
:
Y
2
)
=
C
(
p
1
)
+
C
(
p
2
)
{\displaystyle C(p_{1}\times p_{2})\geq I(X_{1},X_{2}:Y_{1},Y_{2})=I(X_{1}:Y_{1})+I(X_{2}:Y_{2})=C(p_{1})+C(p_{2})}
すなわち。
C
(
p
1
×
p
2
)
≥
C
(
p
1
)
+
C
(
p
2
)
{\displaystyle C(p_{1}\times p_{2})\geq C(p_{1})+C(p_{2})}
それでは、それを示しましょう 。
C
(
p
1
×
p
2
)
≤
C
(
p
1
)
+
C
(
p
2
)
{\displaystyle C(p_{1}\times p_{2})\leq C(p_{1})+C(p_{2})}
をチャネル の分布 と対応する出力 と 定義し ます 。 を のアルファベット 、 を とします。 同様に および とします 。
π
12
{\displaystyle \pi _{12}}
p
1
×
p
2
{\displaystyle p_{1}\times p_{2}}
(
X
1
,
X
2
)
{\displaystyle (X_{1},X_{2})}
(
Y
1
,
Y
2
)
{\displaystyle (Y_{1},Y_{2})}
X
1
{\displaystyle {\mathcal {X}}_{1}}
X
1
{\displaystyle X_{1}}
Y
1
{\displaystyle {\mathcal {Y}}_{1}}
Y
1
{\displaystyle Y_{1}}
X
2
{\displaystyle {\mathcal {X}}_{2}}
Y
2
{\displaystyle {\mathcal {Y}}_{2}}
相互情報量の定義によれば、
I
(
X
1
,
X
2
:
Y
1
,
Y
2
)
=
H
(
Y
1
,
Y
2
)
−
H
(
Y
1
,
Y
2
|
X
1
,
X
2
)
≤
H
(
Y
1
)
+
H
(
Y
2
)
−
H
(
Y
1
,
Y
2
|
X
1
,
X
2
)
{\displaystyle {\begin{aligned}I(X_{1},X_{2}:Y_{1},Y_{2})&=H(Y_{1},Y_{2})-H(Y_{1},Y_{2}|X_{1},X_{2})\\&\leq H(Y_{1})+H(Y_{2})-H(Y_{1},Y_{2}|X_{1},X_{2})\end{aligned}}}
エントロピー の最後の項を書き直してみましょう 。
H
(
Y
1
,
Y
2
|
X
1
,
X
2
)
=
∑
(
x
1
,
x
2
)
∈
X
1
×
X
2
P
(
X
1
,
X
2
=
x
1
,
x
2
)
H
(
Y
1
,
Y
2
|
X
1
,
X
2
=
x
1
,
x
2
)
{\displaystyle H(Y_{1},Y_{2}|X_{1},X_{2})=\sum _{(x_{1},x_{2})\in {\mathcal {X}}_{1}\times {\mathcal {X}}_{2}}\mathbb {P} (X_{1},X_{2}=x_{1},x_{2})H(Y_{1},Y_{2}|X_{1},X_{2}=x_{1},x_{2})}
積チャネルの定義により、 。与えられたペア に対して 、次のように書き直すことができます 。
P
(
Y
1
,
Y
2
=
y
1
,
y
2
|
X
1
,
X
2
=
x
1
,
x
2
)
=
P
(
Y
1
=
y
1
|
X
1
=
x
1
)
P
(
Y
2
=
y
2
|
X
2
=
x
2
)
{\displaystyle \mathbb {P} (Y_{1},Y_{2}=y_{1},y_{2}|X_{1},X_{2}=x_{1},x_{2})=\mathbb {P} (Y_{1}=y_{1}|X_{1}=x_{1})\mathbb {P} (Y_{2}=y_{2}|X_{2}=x_{2})}
(
x
1
,
x
2
)
{\displaystyle (x_{1},x_{2})}
H
(
Y
1
,
Y
2
|
X
1
,
X
2
=
x
1
,
x
2
)
{\displaystyle H(Y_{1},Y_{2}|X_{1},X_{2}=x_{1},x_{2})}
H
(
Y
1
,
Y
2
|
X
1
,
X
2
=
x
1
,
x
2
)
=
∑
(
y
1
,
y
2
)
∈
Y
1
×
Y
2
P
(
Y
1
,
Y
2
=
y
1
,
y
2
|
X
1
,
X
2
=
x
1
,
x
2
)
log
(
P
(
Y
1
,
Y
2
=
y
1
,
y
2
|
X
1
,
X
2
=
x
1
,
x
2
)
)
=
∑
(
y
1
,
y
2
)
∈
Y
1
×
Y
2
P
(
Y
1
,
Y
2
=
y
1
,
y
2
|
X
1
,
X
2
=
x
1
,
x
2
)
[
log
(
P
(
Y
1
=
y
1
|
X
1
=
x
1
)
)
+
log
(
P
(
Y
2
=
y
2
|
X
2
=
x
2
)
)
]
=
H
(
Y
1
|
X
1
=
x
1
)
+
H
(
Y
2
|
X
2
=
x
2
)
{\displaystyle {\begin{aligned}H(Y_{1},Y_{2}|X_{1},X_{2}=x_{1},x_{2})&=\sum _{(y_{1},y_{2})\in {\mathcal {Y}}_{1}\times {\mathcal {Y}}_{2}}\mathbb {P} (Y_{1},Y_{2}=y_{1},y_{2}|X_{1},X_{2}=x_{1},x_{2})\log(\mathbb {P} (Y_{1},Y_{2}=y_{1},y_{2}|X_{1},X_{2}=x_{1},x_{2}))\\&=\sum _{(y_{1},y_{2})\in {\mathcal {Y}}_{1}\times {\mathcal {Y}}_{2}}\mathbb {P} (Y_{1},Y_{2}=y_{1},y_{2}|X_{1},X_{2}=x_{1},x_{2})[\log(\mathbb {P} (Y_{1}=y_{1}|X_{1}=x_{1}))+\log(\mathbb {P} (Y_{2}=y_{2}|X_{2}=x_{2}))]\\&=H(Y_{1}|X_{1}=x_{1})+H(Y_{2}|X_{2}=x_{2})\end{aligned}}}
この等式をすべて足し合わせると 、 が得られます
。
(
x
1
,
x
2
)
{\displaystyle (x_{1},x_{2})}
H
(
Y
1
,
Y
2
|
X
1
,
X
2
)
=
H
(
Y
1
|
X
1
)
+
H
(
Y
2
|
X
2
)
{\displaystyle H(Y_{1},Y_{2}|X_{1},X_{2})=H(Y_{1}|X_{1})+H(Y_{2}|X_{2})}
これで相互情報量の上限を与えることができます。
I
(
X
1
,
X
2
:
Y
1
,
Y
2
)
≤
H
(
Y
1
)
+
H
(
Y
2
)
−
H
(
Y
1
|
X
1
)
−
H
(
Y
2
|
X
2
)
=
I
(
X
1
:
Y
1
)
+
I
(
X
2
:
Y
2
)
{\displaystyle {\begin{aligned}I(X_{1},X_{2}:Y_{1},Y_{2})&\leq H(Y_{1})+H(Y_{2})-H(Y_{1}|X_{1})-H(Y_{2}|X_{2})\\&=I(X_{1}:Y_{1})+I(X_{2}:Y_{2})\end{aligned}}}
この関係は最高値でも維持される。したがって
C
(
p
1
×
p
2
)
≤
C
(
p
1
)
+
C
(
p
2
)
{\displaystyle C(p_{1}\times p_{2})\leq C(p_{1})+C(p_{2})}
証明した 2 つの不等式を組み合わせると、定理の結果が得られます。
C
(
p
1
×
p
2
)
=
C
(
p
1
)
+
C
(
p
2
)
{\displaystyle C(p_{1}\times p_{2})=C(p_{1})+C(p_{2})}
グラフのシャノン容量 Gが 無向グラフ である 場合 、それを使用して、シンボルがグラフの頂点である通信チャネルを定義できます。2つのコードワードは、各位置のシンボルが等しいか隣接している場合に互いに混同される可能性があります。このようなチャネルのシャノン容量を見つけるための計算の複雑さは未解決のままですが、別の重要なグラフ不変量である ロヴァース数 によって上限が制限されます。 [5]
雑音のある通信路の符号化定理 ノイズ のある通信路符号化定理は 、誤り確率 ε > 0 および通信路容量 C 未満の伝送 速度 Rのいずれに対しても、十分に大きなブロック長に対して、誤り確率が ε 未満の速度 R でデータを伝送する符号化および復号化方式が存在することを述べています 。また、通信路容量よりも大きい速度の場合、ブロック長が無限大になると、受信機での誤り確率は 0.5 になります。
アプリケーション例 チャネル容量の概念を、 B Hzの 帯域幅 と 信号対雑音比 S/Nを持つ 加法性白色ガウス雑音 （AWGN）チャネルに適用したものが、 シャノン・ハートレーの定理 である 。
C
=
B
log
2
(
1
+
S
N
)
{\displaystyle C=B\log _{2}\left(1+{\frac {S}{N}}\right)\ }
C は、 対数 が 2 を底とする 場合には ビット/秒 で測定され、 自然対数 が使用される場合には ナット /秒で測定されます ( B は ヘルツ 単位と仮定)。信号電力 S およびノイズ電力 Nは線形 電力単位 (ワットまたはボルト 2 など) で表されます。S /Nの数値は dB で示されることが多いため 、変換が必要になる場合があります。たとえば、信号対ノイズ比 30 dB は線形電力比 に相当します 。
10
30
/
10
=
10
3
=
1000
{\displaystyle 10^{30/10}=10^{3}=1000}
チャネル容量の推定 チャネル容量を決定するには、容量達成分布を見つけ 、 相互情報 量を評価する必要があります。解析方法は他のほとんどのシナリオでは実行不可能であるため、研究では主に特定の電力制約とノイズ分布の下での加法性ノイズチャネルの研究に焦点を当ててきました。そのため、入力サポートの調査 [6] 、緩和 [7] 、容量境界 [8] などの代替アプローチが文献で提案されています。
p
X
(
x
)
{\displaystyle p_{X}(x)}
I
(
X
;
Y
)
{\displaystyle I(X;Y)}
離散無記憶チャネルの容量は、 Blahut-Arimoto アルゴリズムを 使用して計算できます。
ディープラーニングは チャネル容量の推定に使用できます。実際、任意の離散時間連続メモリレスベクトルチャネルのチャネル容量と容量達成分布は、 生成的敵対ネットワーク に触発された協調フレームワークであるCORTICAL [9] を使用して取得できます。CORTICALは、容量達成入力分布からサンプルを採取することを学習することを目的としたジェネレーターと、ペアになっているチャネルとペアになっていないチャネルの入出力サンプルと推定値を区別することを学習することを目的としたディスクリミネーターの2つの協調ネットワークで構成されています 。
I
(
X
;
Y
)
{\displaystyle I(X;Y)}
無線通信におけるチャネル容量 このセクション [10] では、単一アンテナのポイントツーポイントシナリオに焦点を当てています。複数のアンテナを備えたシステムのチャネル容量については、 MIMO に関する記事を参照してください。
帯域制限AWGNチャネル 電力制限方式と帯域幅制限方式が示された AWGN チャネル容量。ここで、 B と C は 他の値に比例してスケーリングできます。
P
¯
N
0
=
1
{\displaystyle {\frac {\bar {P}}{N_{0}}}=1}
平均受信電力が [W]、総帯域幅が ヘルツ、雑音 電力スペクトル密度 が [W/Hz]の場合、AWGNチャネル容量は
P
¯
{\displaystyle {\bar {P}}}
W
{\displaystyle W}
N
0
{\displaystyle N_{0}}
C
AWGN
=
W
log
2
(
1
+
P
¯
N
0
W
)
{\displaystyle C_{\text{AWGN}}=W\log _{2}\left(1+{\frac {\bar {P}}{N_{0}W}}\right)}
[ビット/秒], ここで 受信信号対雑音比（SNR）である。この結果は シャノン・ハートレーの定理 として知られている。 [11]
P
¯
N
0
W
{\displaystyle {\frac {\bar {P}}{N_{0}W}}}
SNR が大きい場合 (SNR ≫ 0 dB)、容量は電力に対して対数的であり、帯域幅に対してほぼ線形です。これは 帯域幅制限領域 と呼ばれます 。
C
≈
W
log
2
P
¯
N
0
W
{\displaystyle C\approx W\log _{2}{\frac {\bar {P}}{N_{0}W}}}
SNR が小さい場合 (SNR ≪ 0 dB)、容量は電力に対して線形ですが、帯域幅には影響されません。これは、 電力制限領域 と呼ばれます 。
C
≈
P
¯
N
0
ln
2
{\displaystyle C\approx {\frac {\bar {P}}{N_{0}\ln 2}}}
帯域幅制限方式と電力制限方式を図に示します。
周波数選択AWGNチャネル 周波数選択 チャネルの容量は 、いわゆる ウォーターフィリング 電力割り当てによって与えられ、
C
N
c
=
∑
n
=
0
N
c
−
1
log
2
(
1
+
P
n
∗
|
h
¯
n
|
2
N
0
)
,
{\displaystyle C_{N_{c}}=\sum _{n=0}^{N_{c}-1}\log _{2}\left(1+{\frac {P_{n}^{*}|{\bar {h}}_{n}|^{2}}{N_{0}}}\right),}
ここで 、および はサブチャネルのゲインであり 、 電力制約を満たすように選択されます。
P
n
∗
=
max
{
(
1
λ
−
N
0
|
h
¯
n
|
2
)
,
0
}
{\displaystyle P_{n}^{*}=\max \left\{\left({\frac {1}{\lambda }}-{\frac {N_{0}}{|{\bar {h}}_{n}|^{2}}}\right),0\right\}}
|
h
¯
n
|
2
{\displaystyle |{\bar {h}}_{n}|^{2}}
n
{\displaystyle n}
λ
{\displaystyle \lambda }
低速フェーディングチャネル コヒーレンス時間が遅延要件よりも大きい 低速フェージングチャネル では、チャネルでサポートされる信頼性の高い通信の最大速度は 、送信機には不明なランダムチャネルゲインに依存するため 、明確な容量はありません。送信機がデータをレート [ビット/秒/Hz]でエンコードする場合、デコードエラー確率を任意に小さくすることができない確率がゼロではありません。
log
2
(
1
+
|
h
|
2
S
N
R
)
{\displaystyle \log _{2}(1+|h|^{2}SNR)}
|
h
|
2
{\displaystyle |h|^{2}}
R
{\displaystyle R}
p
o
u
t
=
P
(
log
(
1
+
|
h
|
2
S
N
R
)
<
R
)
{\displaystyle p_{out}=\mathbb {P} (\log(1+|h|^{2}SNR)<R)}
、 この場合、システムは停止状態にあると言われます。チャネルがディープフェード状態にある確率がゼロでない場合、低速フェージングチャネルの容量は厳密にはゼロです。ただし、 停止確率 が 未満になるの最大値を決定することは可能です 。この値は -停止容量として知られています。
R
{\displaystyle R}
p
o
u
t
{\displaystyle p_{out}}
ϵ
{\displaystyle \epsilon }
ϵ
{\displaystyle \epsilon }
高速フェージングチャネル 高速フェージング チャネル では 、遅延要件がコヒーレンス時間よりも大きく、コードワード長が多くのコヒーレンス期間にまたがるため、多数のコヒーレンス時間間隔にわたってコーディングすることで、多くの独立したチャネル フェージングを平均化できます。したがって、 [ビット/秒/Hz] の信頼性の高い通信速度を実現でき、この値を高速フェージング チャネルの容量と呼ぶことは意味があります。
E
(
log
2
(
1
+
|
h
|
2
S
N
R
)
)
{\displaystyle \mathbb {E} (\log _{2}(1+|h|^{2}SNR))}
フィードバック容量 フィードバック容量とは、受信側がチャネル出力を送信側にフィードバックする ポイントツーポイント 通信チャネルで、単位時間あたりに 情報を 確実に送信できる最大速度です。フィードバックを組み込んだ通信システムの情報理論的分析は、フィードバックがない場合よりも複雑で困難です。おそらくこれが、 CE シャノンが イスラエルのアシュケロンで開催された 1973 年の IEEE 国際情報理論シンポジウムで行った最初のシャノン講演のテーマとしてフィードバックを選んだ理由でしょう。
フィードバック容量は、チャネル入力とチャネル出力間の 有向情報 の最大値によって特徴付けられ、最大化は出力が与えられた場合の入力の因果的条件付けに関して行われます。 有向情報は、1990年に James Massey [12] によって造られ 、フィードバック容量の上限であることが示されました。メモリレスチャネルの場合、Shannonは [13] フィードバックによって容量が増加せず、フィードバック容量は入力と出力間の 相互情報量 によって特徴付けられるチャネル容量と一致することを示しました。フィードバック容量は、トラップドアチャネル [14] 、イジングチャネル [15] 、 [16]などのいくつかの例に対してのみ閉じた形式の表現として知られています。他のいくつかのチャネルの場合、フィードバック容量は、連続しない1の入力制約を持つバイナリ消去チャネル [17] 、NOSTチャネル [18] などの定数サイズの最適化問題によって特徴付けられます 。
通信システムの基本的な数学モデルは次のとおりです。
フィードバックによるコミュニケーション 各要素の正式な定義は次のとおりです (非フィードバック容量に関する唯一の違いはエンコーダーの定義です)。
W
{\displaystyle W}
送信されるメッセージはアルファベット順 です 。
W
{\displaystyle {\mathcal {W}}}
X
{\displaystyle X}
は、アルファベット で表された チャネル入力シンボル（シンボル のシーケンス）です 。
X
n
{\displaystyle X^{n}}
n
{\displaystyle n}
X
{\displaystyle {\mathcal {X}}}
Y
{\displaystyle Y}
は、アルファベット順に並べられた チャネル出力シンボル（シンボル のシーケンス）です 。
Y
n
{\displaystyle Y^{n}}
n
{\displaystyle n}
Y
{\displaystyle {\mathcal {Y}}}
W
^
{\displaystyle {\hat {W}}}
送信されたメッセージの推定値です。
f
i
:
W
×
Y
i
−
1
→
X
{\displaystyle f_{i}:{\mathcal {W}}\times {\mathcal {Y}}^{i-1}\to {\mathcal {X}}}
は、長さ のブロックに対する、 時刻 でのエンコード関数です 。
i
{\displaystyle i}
n
{\displaystyle n}
p
(
y
i
|
x
i
,
y
i
−
1
)
=
p
Y
i
|
X
i
,
Y
i
−
1
(
y
i
|
x
i
,
y
i
−
1
)
{\displaystyle p(y_{i}|x^{i},y^{i-1})=p_{Y_{i}|X^{i},Y^{i-1}}(y_{i}|x^{i},y^{i-1})}
は、 条件付き確率分布 によってモデル化された 時刻におけるノイズの多いチャネルであり、
i
{\displaystyle i}
w
^
:
Y
n
→
W
{\displaystyle {\hat {w}}:{\mathcal {Y}}^{n}\to {\mathcal {W}}}
は長さ のブロックのデコード関数です 。
n
{\displaystyle n}
つまり、各時間 に対して、 前の出力のフィードバックが存在する ため、エンコーダは以前のすべての出力 にアクセスできます 。 コードは、 を使用したエンコードとデコードのマッピングのペアであり 、一様に分布しています。 の平均エラー確率が としてゼロに近づく ような コードシーケンスが存在する場合、 レート は 達成可能 であると言われます 。
i
{\displaystyle i}
Y
i
−
1
{\displaystyle Y_{i-1}}
Y
i
−
1
{\displaystyle Y^{i-1}}
(
2
n
R
,
n
)
{\displaystyle (2^{nR},n)}
W
=
[
1
,
2
,
…
,
2
n
R
]
{\displaystyle {\mathcal {W}}=[1,2,\dots ,2^{nR}]}
W
{\displaystyle W}
R
{\displaystyle R}
(
2
n
R
,
n
)
{\displaystyle (2^{nR},n)}
P
e
(
n
)
≜
Pr
(
W
^
≠
W
)
{\displaystyle P_{e}^{(n)}\triangleq \Pr({\hat {W}}\neq W)}
n
→
∞
{\displaystyle n\to \infty }
フィードバック 容量 は で表され 、達成可能なすべてのレートの最大値として定義されます。
C
feedback
{\displaystyle C_{\text{feedback}}}
フィードバック能力に関する主な結果 とを ランダム変数としてモデル化する。因果条件付けは 与え られたチャネルを記述する。因果条件付き分布の選択は 因果条件付けの連鎖律 [19] により 結合分布を 決定し 、それが今度は 有向情報 を引き起こす。
X
{\displaystyle X}
Y
{\displaystyle Y}
P
(
y
n
|
|
x
n
)
≜
∏
i
=
1
n
P
(
y
i
|
y
i
−
1
,
x
i
)
{\displaystyle P(y^{n}||x^{n})\triangleq \prod _{i=1}^{n}P(y_{i}|y^{i-1},x^{i})}
P
(
x
n
|
|
y
n
−
1
)
≜
∏
i
=
1
n
P
(
x
i
|
x
i
−
1
,
y
i
−
1
)
{\displaystyle P(x^{n}||y^{n-1})\triangleq \prod _{i=1}^{n}P(x_{i}|x^{i-1},y^{i-1})}
p
X
n
,
Y
n
(
x
n
,
y
n
)
{\displaystyle p_{X^{n},Y^{n}}(x^{n},y^{n})}
P
(
y
n
,
x
n
)
=
P
(
y
n
|
|
x
n
)
P
(
x
n
|
|
y
n
−
1
)
{\displaystyle P(y^{n},x^{n})=P(y^{n}||x^{n})P(x^{n}||y^{n-1})}
I
(
X
N
→
Y
N
)
=
E
[
log
P
(
Y
N
|
|
X
N
)
P
(
Y
N
)
]
{\displaystyle I(X^{N}\rightarrow Y^{N})=\mathbf {E} \left[\log {\frac {P(Y^{N}||X^{N})}{P(Y^{N})}}\right]}
フィードバック 容量は 次のように表される。
C
feedback
=
lim
n
→
∞
1
n
sup
P
X
n
|
|
Y
n
−
1
I
(
X
n
→
Y
n
)
{\displaystyle \ C_{\text{feedback}}=\lim _{n\to \infty }{\frac {1}{n}}\sup _{P_{X^{n}||Y^{n-1}}}I(X^{n}\to Y^{n})\,}
、 ここで、 の 最高値は 、 のすべての可能な選択肢に対して取られます 。
P
X
n
|
|
Y
n
−
1
(
x
n
|
|
y
n
−
1
)
{\displaystyle P_{X^{n}||Y^{n-1}}(x^{n}||y^{n-1})}
ガウスフィードバック容量 ガウスノイズが色付きの場合、チャネルにはメモリがあります。たとえば、 iid プロセスで
ある 自己回帰モデル ノイズ プロセスの単純なケースを考えてみましょう。
z
i
=
z
i
−
1
+
w
i
{\displaystyle z_{i}=z_{i-1}+w_{i}}
w
i
∼
N
(
0
,
1
)
{\displaystyle w_{i}\sim N(0,1)}
解決手法 フィードバック容量は、一般的なケースでは解決が困難です。 チャネルが離散的である場合、
制御理論と マルコフ決定プロセスに関連するいくつかの手法があります。
参照
高度なコミュニケーショントピック
外部リンク 「チャネルの伝送速度」、 数学百科事典 、 EMS Press 、2001 [1994] チャネル入力にさまざまな制約がある AWGN チャネル容量 (インタラクティブなデモンストレーション)
参考文献
^ Saleem Bhatti. 「チャネル容量」。 修士課程データ通信ネットワークおよび分散システム D51 - 基礎通信およびネットワークの講義ノート 。2007-08-21 にオリジナルからアーカイブ。 ^ Jim Lesurf. 「信号はノイズのように見える！」。 情報と測定、第 2 版 。 ^ Thomas M. Cover、Joy A. Thomas (2006)。情報理論の要素。John Wiley & Sons、ニューヨーク 。ISBN 9781118585771 。 ^ Cover, Thomas M.; Thomas, Joy A. (2006). 「第 7 章: チャネル容量」。 情報 理論の要素 (第 2 版)。Wiley-Interscience。pp. 206– 207。ISBN 978-0-471-24195-9 。 ^ Lovász、László (1979)、「グラフのシャノン容量について」、 IEEE 情報理論トランザクション 、IT-25 (1): 1–7 、 doi :10.1109/tit.1979.1055985 。 ^スミス、 ジョエルG. ( 1971 )。「振幅と分散が制約されたスカラーガウスチャネルの情報容量」。 情報と制御 。18 (3): 203– 219。doi :10.1016/S0019-9958(71)90346-9。 ^ Huang, J.; Meyn, SP (2005). 「チャネルコーディングの最適分布の特性評価と計算」. IEEE Transactions on Information Theory . 51 (7): 2336– 2351. doi :10.1109/TIT.2005.850108. ISSN 0018-9448. S2CID 2560689. ^ McKellips, AL (2004). 「ピーク制限離散時間チャネルの容量に関する単純な厳密な境界」。 国際情報理論シンポジウム、2004。ISIT 2004。議事録 。IEEE。p . 348。doi : 10.1109/ISIT.2004.1365385。ISBN 978-0-7803-8280-0 . S2CID 41462226。 ^ Letizia, Nunzio A.; Tonello, Andrea M.; Poor, H. Vincent (2023). 「協調チャネル容量学習」. IEEE Communications Letters . 27 (8): 1984– 1988. arXiv : 2305.13493 . doi :10.1109/LCOMM.2023.3282307. ISSN 1089-7798. ^ David Tse、Pramod Viswanath (2005)、無線通信の基礎、ケンブリッジ大学出版局、英国、 ISBN 9780521845274 ^ 電気工学ハンドブック。研究教育協会。1996年。p. D- 149。ISBN 9780878919819 。 ^ Massey, James (1990 年 11 月). 「因果関係、フィードバック、および有向情報」 (PDF) . Proc. 1990 Int. Symp. On Information Theory and Its Applications (ISITA-90)、ワイキキ、ハワイ : 303– 305。 ^ Shannon, C. (1956 年 9 月). 「ノイズの多いチャネルのゼロエラー容量」. IEEE Transactions on Information Theory . 2 (3): 8– 19. doi :10.1109/TIT.1956.1056798. ^ Permuter, Haim; Cuff, Paul; Van Roy, Benjamin; Weissman, Tsachy (2008 年 7 月). 「フィードバックを伴うトラップドア チャネルの容量」 (PDF) . IEEE Trans. Inf. Theory . 54 (7): 3150– 3165. arXiv : cs/0610047 . doi :10.1109/TIT.2008.924681. S2CID 1265. ^ Elishco, Ohad; Permuter, Haim (2014 年 9 月). 「フィードバック付きイジング チャネルの容量とコーディング」. IEEE Transactions on Information Theory . 60 (9): 5138– 5149. arXiv : 1205.4674 . doi :10.1109/TIT.2014.2331951. S2CID 9761759. ^ Aharoni, Ziv; Sabag, Oron; Permuter, Haim H. (2022年9月). 「強化学習による大きなアルファベットを持つイジングチャネルのフィードバック容量」. IEEE Transactions on Information Theory . 68 (9): 5637– 5656. doi :10.1109/TIT.2022.3168729. S2CID 248306743. ^ Sabag, Oron; Permuter, Haim H.; Kashyap, Navin (2016). 「連続しない1の入力制約を伴うバイナリ消去チャネルのフィードバック容量」。IEEE Transactions on Information Theory . 62 (1): 8– 22. doi :10.1109/TIT.2015.2495239. ^ Shemuel, Eli; Sabag, Oron; Permuter, Haim H. (2022). 「ノイズ出力のフィードバック容量は状態 (NOST) チャネルである」. IEEE Transactions on Information Theory . 68 (8): 5044– 5059. arXiv : 2107.07164 . doi :10.1109/TIT.2022.3165538. ^ Permuter, Haim Henry; Weissman , Tsachy ; Goldsmith, Andrea J. (2009 年 2 月)。 「 時間不変の決定論的フィードバックを備えた有限状態チャネル」。IEEE Transactions on Information Theory。55 ( 2): 644– 662。arXiv : cs/0608070。doi :10.1109/TIT.2008.2009849。S2CID 13178 。
![{\displaystyle {\xrightarrow[{\text{メッセージ}}]{W}}{\begin{array}{|c|}\hline {\text{エンコーダ}}\\f_{n}\\\hline \end{array}}{\xrightarrow[{\mathrm {エンコードされた \atop シーケンス} }]{X^{n}}}{\begin{array}{|c|}\hline {\text{チャネル}}\\p(y|x)\\\hline \end{array}}{\xrightarrow[{\mathrm {受信した \atop シーケンス} }]{Y^{n}}}{\begin{array}{|c|}\hline {\text{デコーダ}}\\g_{n}\\\hline \end{array}}{\xrightarrow[{\mathrm {推定された \atop メッセージ} }]{\hat {W}}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/39d63076666d80bf3b6140eadf87155187e371a2 "チャネルモデル")
![{\displaystyle {\begin{aligned}H(Y_{1},Y_{2}|X_{1},X_{2}=x_{1},x_{2})&=\sum _{(y_{ 1},y_{2})\in {\mathcal {Y}}_{1}\times {\mathcal {Y}}_{2}}\mathbb {P} (Y_{1},Y_{2}=y_{1},y_{2}|X_{1},X_{2}=x_{1},x_{2})\log(\mathbb {P} ( Y_{1},Y_{2}=y_{1},y_{2}|X_{1},X_{2}=x_{1},x_{2}))\\&=\sum _{(y_{1},y_{2})\in {\mathcal {Y}}_{1}\times {\mathcal {Y}}_{2}}\mathbb {P} (Y_{1},Y_{2}=y_{1},y_{2} |X_{1},X_{2}=x_{1},x_{2})[\log(\mathbb {P} (Y_{1}=y_{1}|X_{1}=x_{1}))+\log(\mathbb {P} (Y_{2}=y_{2}|X_{2}=x_{2 }))]\\&=H(Y_{1}|X_{1}=x_{1})+H(Y_{2}|X_{2}=x_{2})\end{整列}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/733594496825a6d2bf9543f0df96fe19033e9c58)
![{\displaystyle {\mathcal {W}}=[1,2,\dots ,2^{nR}]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/8165bbe91b46c99cc81c985199b5716f42fecb48)
![{\displaystyle I(X^{N}\rightarrow Y^{N})=\mathbf {E} \left[\log {\frac {P(Y^{N}||X^{N})}{ P(Y^{N})}}\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/a80fd8f7886755bdf075cf0837f6649b3f1c526a)
