分散ソースコーディング

分散情報源符号化（DSC ）は、情報理論と通信における重要な問題です。DSCの問題は、互いに通信しない複数の相関情報源の圧縮に関するものです。^[1] デコーダ側で複数の情報源間の相関をチャネルコードとともにモデル化することにより、DSCは計算の複雑さをエンコーダ側からデコーダ側に移すことができます。そのため、センサーネットワークやビデオ/マルチメディア圧縮（分散ビデオ符号化を参照^[2]）など、複雑さに制約のある送信者を持つアプリケーションに適したフレームワークを提供します。分散情報源符号化の主な特性の1つは、エンコーダの計算負荷がジョイントデコーダに移されることです。

1973年、デイビッド・スレピアンとジャック・ケイル・ウルフは、 2つの相関のあるiidソースXとYの分散圧縮に関する情報理論的ロスレス圧縮境界を提案した。 ^[3] その後、この境界は1975年にトーマス・M・カバーによって2つ以上のソースの場合に拡張され、 ^[4]ロスレス圧縮の場合の理論的結果は1976年にアーロン・D・ワイナーとジェイコブ・ジヴによって発表された^。[5]

DSC に関する定理は 1970 年代に提案されましたが、DSC は 1974 年にAaron D. Wynerによって提案されたチャネル符号化と密接に関連しているという考えに基づいて、実用的な手法の試みが開始されたのは約 30 年後のことでした。^[6]非対称 DSC の問題は、1999 年に SS Pradhan と K. Ramchandran によって取り組まれました。彼らは統計的に依存するバイナリ ソースとガウス ソースに焦点を当て、スカラー コセットとトレリス コセットの構成を使用して問題を解決しました。^[7]彼らはさらに、対称 DSC の場合に研究を拡張しました。^[8]

シンドローム復号化技術は、SS Pradhan と K Ramachandran のDISCUSシステム (Distributed Source Coding Using Syndromes)によって分散情報源符号化に初めて使用されました。 ^[7]このシステムでは、1 つの情報源からのバイナリ ブロック データをシンドロームに圧縮し、もう 1 つの情報源からのデータを圧縮せずにサイド情報として送信します。この種類の DSC 方式では、情報源ごとに非対称の圧縮率を達成し、非対称DSC を実現します。この非対称 DSC 方式は、相関する情報源が 2 つ以上ある場合に簡単に拡張できます。シンドローム ビットではなく パリティ ビットを使用する DSC 方式もあります。

DSCにおける2つのソース間の相関は、通常バイナリ対称チャネルと呼ばれる仮想チャネルとしてモデル化されています。^{[9] [10]}

DISCUSから始まり、 DSC は重要な研究活動を引き付け、Turbo Code、LDPC Code などのより洗練されたチャネル符号化技術が DSC フレームワークに採用されてきました。

スレイピアン・ウルフ定理に基づく以前のロスレス符号化フレームワークと同様に、ワイナー・ジヴ定理に基づくロスのあるケースにも取り組みがなされてきました。量子化器の設計に関する理論的結果はR.ザミールとS.シャマイによって提供され、^[11]この結果に基づいて、ネストされた格子量子化器やトレリス符号化量子化器など、さまざまなフレームワークが提案されています。

さらに、DSCは、センサーネットワークやマルチビュービデオカメラなど、複雑度の低いビデオエンコーディングを必要とするアプリケーションのビデオ圧縮にも使用されています。^[12]

2つの相関情報源の相関モデルに関する決定論的および確率論的な議論により、より一般的な圧縮率を持つDSC方式が開発されました。^{[13] [14] [15]これらの}非対称方式では、2つの相関情報源の両方が圧縮されます。

情報源間の相関関係に関する一定の決定論的仮定の下で、任意の数の情報源を分散的に圧縮できる DSC フレームワークが、X. Cao と M. Kuijper によって実証されました。^[16]この方法は、各情報源に対して柔軟なレートで非対称圧縮を実行し、2 つ以上の情報源に対して非対称 DSC を繰り返し適用した場合と同じ全体的な圧縮率を実現します。次に、線形コードのシンドロームと相補コードワード間の固有の接続を調査することにより、DSC ジョイント デコードの主な手順を、シンドローム デコードに続いて線形ブロック コードとその相補コードによるチャネル エンコードに変換しました。^[17]これにより、線形コード エンコーダとデコーダから DSC ジョイント デコーダを組み立てる方法が理論的に示されました。

DSC の情報理論的ロスレス圧縮境界 (スレピアン・ウルフ境界)は、1973 年にデイビッド・スレピアンとジャック・カイル・ウルフによって、相関情報源のエントロピーの観点から初めて提案されました。 ^[3]彼らはまた、2 つの独立した情報源が、あたかも互いに通信しているかのように効率的にデータを圧縮できることを示しました。この境界は、1975 年にトーマス・M・カバーによって 2 つ以上の相関情報源の場合に拡張されました。^[4]

1976年にアーロン・D・ワイナーとジェイコブ・ジヴは、結合ガウス情報源の非可逆符号化に関して同様の結果を得ました。 ^[5]

分散符号化とは、2つ以上の依存する情報源を別々のエンコーダと共同デコーダで符号化することです。統計的に依存する2つのiid有限アルファベットランダムシーケンスXとYが与えられた場合、スレピアン・ウルフ定理には、2つの情報源の分散符号化のロスレス符号化率の理論的限界が次のように含まれています。^[3]

${\displaystyle R_{X}\geq H(X|Y),\,}$

${\displaystyle R_{Y}\geq H(Y|X),\,}$

${\displaystyle R_{X}+R_{Y}\geq H(X,Y).\,}$

2 つのソースのエンコーダとデコーダの両方が独立している場合、ロスレス圧縮で達成できる最低のレートは、それぞれとに対して とです。ここで、 と は、とのエントロピーです。ただし、ジョイント デコードでは、長いシーケンスのエラー確率がゼロになることが受け入れられる場合、Slepian-Wolf 定理により、はるかに優れた圧縮レートを達成できることがわかります。との合計レートがそれらのジョイント エントロピーよりも大きく、どのソースもそのエントロピーよりも大きいレートでエンコードされていない限り、分散コーディングでは、長いシーケンスに対して任意の小さなエラー確率を実現できます。 ${\displaystyle H(X)}$${\displaystyle H(Y)}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle H(X)}$${\displaystyle H(Y)}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle H(X,Y)}$

分散コーディングの特殊なケースは、デコーダ側情報を使用した圧縮です。この場合、ソースはデコーダ側では利用可能ですが、エンコーダ側ではアクセスできません。これは、をエンコードするために既に使用されているが、をエンコードするために を使用する予定である状態として扱うことができます。システム全体は非対称な方法で動作しています (2 つのソースの圧縮率は非対称です)。 ${\displaystyle Y}$${\displaystyle R_{Y}=H(Y)}$${\displaystyle Y}$${\displaystyle H(X|Y)}$${\displaystyle X}$

ロスレス分散圧縮に関するSlepian-Wolf定理が発表されて間もなく、デコーダ側情報を持つ非可逆圧縮への拡張がWyner-Ziv定理として提案されました。^[5]ロスレスの場合と同様に、2つの統計的に依存するiidソースとが与えられます。ここで、はデコーダ側で利用可能ですが、エンコーダ側ではアクセスできません。Slepian-Wolf定理のロスレス圧縮の代わりに、Wyner-Ziv定理は非可逆圧縮の場合を検討しました。 ${\displaystyle X}$${\displaystyle Y}$${\displaystyle Y}$

Wyner-Ziv の定理は、与えられた歪み におけるのビット レートの達成可能な下限値を提示します。ガウスのメモリなしソースと平均二乗誤差歪みの場合、エンコーダでサイド情報が利用可能かどうかに関係なく、 のビット レートの下限値は同じままであることがわかりました。${\displaystyle X}$${\displaystyle D}$${\displaystyle X}$

決定論的モデル

確率モデル

非対称 DSC とは、入力ソースのコーディングに異なるビットレートが使用されるのに対し、対称 DSC では同じビットレートが使用されることを意味します。2 つのソースを持つ DSC 設計を例にとると、この例では、 と は2 つの離散的でメモリのない均一に分散されたソースであり、長さ 7 ビットの変数のセットとを生成し、と間のハミング距離は最大 1 です。それらの Slepian–Wolf 境界は次のとおりです。 ${\displaystyle X}$${\displaystyle Y}$${\displaystyle \mathbf {x} }$${\displaystyle \mathbf {y} }$${\displaystyle \mathbf {x} }$${\displaystyle \mathbf {y} }$

${\displaystyle R_{X}+R_{Y}\geq 10}$

${\displaystyle R_{X}\geq 5}$

${\displaystyle R_{Y}\geq 5}$

つまり、理論上の境界は であり、対称 DSC は各ソースに対して 5 ビットを意味します。 とのその他のペアは、と の間で異なるビット レート分布を持つ非対称ケースです。ここで、 、、 は、サイド情報によるデコードと呼ばれる 2 つの極端なケースを表します。 ${\displaystyle R_{X}+R_{Y}=10}$${\displaystyle R_{X}+R_{Y}=10}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle R_{X}=3}$${\displaystyle R_{Y}=7}$${\displaystyle R_{Y}=3}$${\displaystyle R_{X}=7}$

1974年にスレピアン・ウルフ符号化がチャネル符号化と密接に関連していることが理解され、 ^[6]約30年後、実用的なDSCがさまざまなチャネル符号によって実装され始めました。チャネル符号を使用する理由は、2つのソースがある場合、入力ソース間の相関関係を、入力をソース、出力をソースとする仮想チャネルとしてモデル化できるためです。1999年にSS PradhanとK. Ramchandranによって提案されたDISCUSシステムは、シンドローム復号化を備えたDSCを実装しました。これは非対称のケースで機能し、さらに対称のケースに拡張されました。^{[7] [8]}${\displaystyle X}$${\displaystyle Y}$

シンドローム ベース DSC の基本的なフレームワークは、各ソースの入力空間が、使用される特定のチャネル コーディング方法に従って複数のコセットに分割されることです。各ソースのすべての入力は、入力がどのコセットに属するかを示す出力を取得し、ジョイント デコーダーは、受信したコセット インデックスとソース間の依存関係によってすべての入力をデコードできます。チャネル コードの設計では、入力ソース間の相関を考慮する必要があります。

コーセット分割を生成するために、トレリスコードやラティスコードなどのコード群を使用することができる^{[18] 。プラダンとラムチャンドランは、各ソースのサブコードの構築規則を設計し、}トレリス変調と同様に畳み込みコードとセット分割規則に基づくDSCにおけるトレリスベースのコーセット構築の結果と、ラティスコードベースのDSCの結果を提示した。^{[7] [8]}その後、彼らの結果の改良として、非対称符号化のための埋め込みトレリスコードが提案された。^[19]

DISCUS システムが提案されてから、ターボ コード、LDPCコード、反復チャネル コードなどのより洗練されたチャネル コードが DSC システムに適用されました。これらのコードのエンコーダは通常シンプルで実装が簡単ですが、デコーダは計算の複雑さがはるかに高く、ソース統計を利用することで優れたパフォーマンスを得ることができます。相関チャネルの容量に近いパフォーマンスを持つ洗練されたチャネル コードを使用すると、対応する DSC システムは Slepian–Wolf 境界に近づくことができます。

ほとんどの研究は2つの従属ソースを持つDSCに焦点を当てていましたが、Slepian-Wolf符号化は2つ以上の入力ソースの場合に拡張され、特定の相関モデルを与えられたV. Stankovic、AD Liverisらによって1つのチャネルコードからサブコードを生成する方法が提案されました。^[20]

定理: 相関のある均一に分布するソースの任意のペア( ) は、 となるレート ペアで別々に圧縮できます(およびは整数、 ) 。これは、バイナリ線形コード を使用して実現できます。${\displaystyle X,Y\in \left\{0,1\right\}^{n}}$${\displaystyle \mathbf {d_{H}} (X,Y)\leq t}$${\displaystyle (R_{1},R_{2})}$${\displaystyle R_{1},R_{2}\geq n-k,R_{1}+R_{2}\geq 2n-k}$${\displaystyle R_{1}}$${\displaystyle R_{2}}$${\displaystyle k\leq n-\log(\sum _{i=0}^{t}{n \choose i})}$${\displaystyle (n,k,2t+1)}$

証明: 2 進線形符号のハミング境界は であり、この境界を達成するハミング符号が存在するため、生成行列 を持つ2 進線形符号が存在することになります。次に、この線形符号に基づいてシンドローム符号化を構築する方法を示します。 ${\displaystyle (n,k,2t+1)}$${\displaystyle k\leq n-\log(\sum _{i=0}^{t}{n \choose i})}$${\displaystyle \mathbf {C} }$${\displaystyle k\times n}$${\displaystyle \mathbf {G} }$

およびは から最初の行を取って形成され、は の残りの行を使って形成されるものとします。および は、それぞれおよびによって生成されるハミング符号のサブコードであり、およびはパリティ検査行列です。 ${\displaystyle R_{1}+R_{2}=2n-k}$${\displaystyle \mathbf {G_{1}} }$${\displaystyle (n-R_{1})}$${\displaystyle \mathbf {G} }$${\displaystyle \mathbf {G_{2}} }$${\displaystyle (n-R_{2})}$${\displaystyle \mathbf {G} }$${\displaystyle \mathbf {C_{1}} }$${\displaystyle \mathbf {C_{2}} }$${\displaystyle \mathbf {G_{1}} }$${\displaystyle \mathbf {G_{2}} }$${\displaystyle \mathbf {H_{1}} }$${\displaystyle \mathbf {H_{2}} }$

入力 のペアに対して、エンコーダはおよび で与えられます。つまり、およびを 、として表すことができます。ここで、 はそれぞれに対する の剰余類の代表です。で成り立つため、が得られます。ここで、です。 ${\displaystyle \mathbf {(x,y)} }$${\displaystyle \mathbf {s_{1}} =\mathbf {H_{1}} \mathbf {x} }$${\displaystyle \mathbf {s_{2}} =\mathbf {H_{2}} \mathbf {y} }$${\displaystyle \mathbf {x} }$${\displaystyle \mathbf {y} }$${\displaystyle \mathbf {x=u_{1}G_{1}+c_{s1}} }$${\displaystyle \mathbf {y=u_{2}G_{2}+c_{s2}} }$${\displaystyle \mathbf {c_{s1},c_{s2}} }$${\displaystyle \mathbf {s1,s2} }$${\displaystyle \mathbf {C_{1},C_{2}} }$${\displaystyle \mathbf {y=x+e} }$${\displaystyle w(\mathbf {e} )\leq t}$${\displaystyle \mathbf {x+y=uG+c_{s}=e} }$${\displaystyle \mathbf {u=\left[u_{1},u_{2}\right]} }$${\displaystyle \mathbf {c_{s}=c_{s1}+c_{s2}} }$

同じシンドロームを持つ 2 つの異なる入力ペアがあるとします。つまり、およびとなる2 つの異なる文字列が存在するということです。したがって、 となります。コードの最小ハミング重みは であるため、と間の距離はです。一方、および を合わせると、および となり、と矛盾します。したがって、同じシンドロームを持つ入力ペアが複数あることはありません。 ${\displaystyle \mathbf {u^{1},u^{2}} \in \left\{0,1\right\}^{k}}$${\displaystyle \mathbf {u^{1}G+c_{s}=e} }$${\displaystyle \mathbf {u^{2}G+c_{s}=e} }$${\displaystyle \mathbf {(u^{1}-u^{2})G=0} }$${\displaystyle \mathbf {C} }$${\displaystyle 2t+1}$${\displaystyle \mathbf {u_{1}G} }$${\displaystyle \mathbf {u_{2}G} }$${\displaystyle \geq 2t+1}$${\displaystyle w(\mathbf {e} )\leq t}$${\displaystyle \mathbf {u^{1}G+c_{s}=e} }$${\displaystyle \mathbf {u^{2}G+c_{s}=e} }$${\displaystyle d_{H}(\mathbf {u^{1}G,c_{s}} )\leq t}$${\displaystyle d_{H}(\mathbf {u^{2}G,c_{s}} )\leq t}$${\displaystyle d_{H}(\mathbf {u^{1}G,u^{2}G} )\geq 2t+1}$

したがって、2 つの従属ソースを、となるレート ペアを持つバイナリ線形コードから構築されたサブコードで正常に圧縮できます。ここで、 とは整数、 です。Log はLog ₂を示します。 ${\displaystyle (n,k,2t+1)}$${\displaystyle (R_{1},R_{2})}$${\displaystyle R_{1},R_{2}\geq n-k,R_{1}+R_{2}\geq 2n-k}$${\displaystyle R_{1}}$${\displaystyle R_{2}}$${\displaystyle k\leq n-\log(\sum _{i=0}^{t}{n \choose i})}$

前回の非対称 DSC と対称 DSC の部分と同じ例を取ります。この部分では、非対称ケースと対称ケースを含む、コセット コードとシンドロームを含む対応する DSC スキームを示します。DSC 設計の Slepian–Wolf 境界は、前の部分で示されています。

およびの場合、ソースからの入力変数の長さは7 ビットなので、他のビットとは独立して 7 ビットでロスレスで送信できます。 および のハミング距離は最大でも 1 であるという知識に基づくと、ソース からの入力 について、受信側がすでに を持っているため、可能なのはからの距離が最大でも 1 であるものだけです。2 つのソース間の相関を、入力と出力 を持つ仮想チャネルとしてモデル化する場合、 が得られれば、正常に「デコード」するために必要なのは、との差をチャネル エラーとしてとる、特定のエラー訂正機能を備えた「パリティ ビット」だけです。コセット分割の問題をモデル化することもできます。つまり、入力の空間を複数のコセットに分割できるチャネル コードを見つけたいのです。各コセットには、それに関連付けられた一意のシンドロームがあります。コセットと が与えられた場合、2 つのソース間の相関が与えられた場合、入力になる可能性のあるのは 1 つだけです。${\displaystyle R_{X}=3}$${\displaystyle R_{Y}=7}$${\displaystyle \mathbf {y} }$${\displaystyle Y}$${\displaystyle \mathbf {x} }$${\displaystyle \mathbf {y} }$${\displaystyle \mathbf {x} }$${\displaystyle X}$${\displaystyle \mathbf {y} }$${\displaystyle \mathbf {x} }$${\displaystyle \mathbf {y} }$${\displaystyle \mathbf {x} }$${\displaystyle \mathbf {y} }$${\displaystyle \mathbf {y} }$${\displaystyle \mathbf {x} }$${\displaystyle \mathbf {x} }$${\displaystyle \mathbf {y} }$${\displaystyle X}$${\displaystyle \mathbf {y} }$${\displaystyle \mathbf {x} }$

この例では、パリティ チェック マトリックス を持つバイナリハミング コードを使用できます。ソース からの入力に対して、 によって与えられるシンドロームのみが送信されます。これは 3 ビットです。受信された と で、同じシンドローム を持つ2 つの入力とがあるとします。つまり、 であり、これは です。ハミング コードの最小ハミング重みは3 なので、 です。したがって、 であるため、入力は復元できます。 ${\displaystyle (7,4,3)}$ ${\displaystyle \mathbf {C} }$${\displaystyle \mathbf {H} }$${\displaystyle \mathbf {x} }$${\displaystyle X}$${\displaystyle \mathbf {s} =\mathbf {H} \mathbf {x} }$${\displaystyle \mathbf {y} }$${\displaystyle \mathbf {s} }$${\displaystyle \mathbf {x_{1}} }$${\displaystyle \mathbf {x_{2}} }$${\displaystyle \mathbf {s} }$${\displaystyle \mathbf {H} \mathbf {x_{1}} =\mathbf {H} \mathbf {x_{2}} }$${\displaystyle \mathbf {H} (\mathbf {x_{1}} -\mathbf {x_{2}} )=0}$${\displaystyle (7,4,3)}$${\displaystyle d_{H}(\mathbf {x_{1}} ,\mathbf {x_{2}} )\geq 3}$${\displaystyle \mathbf {x} }$${\displaystyle d_{H}(\mathbf {x} ,\mathbf {y} )\leq 1}$

同様に、 のビット分布は、との役割を逆にすることで実現できます。 ${\displaystyle R_{X}=7}$${\displaystyle R_{Y}=3}$${\displaystyle X}$${\displaystyle Y}$

対称の場合、必要なのは 2 つのソースのビットレートが等しいことです。つまり、個別のエンコーダとジョイント デコーダでそれぞれ 5 ビットです。非対称の場合と同様に、このシステムでも線形コードを使用します。基本的な考え方は似ていますが、この場合は、両方のソースに対してコセット分割を行う必要があります。一方、受信したシンドロームのペア (1 つのコセットに対応) の場合、2 つのソース間の相関関係を考慮すると、入力変数のペアは 1 つだけになります。

線形コード と のペアと、対称コーディングを実現できる線形コードに基づくエンコーダとデコーダのペアがあるとします。エンコーダの出力は、および で与えられます。同じシンドロームを生成する有効な入力とのペアが 2 つ存在する場合、つまり、およびが存在する場合、次の式が得られます (はハミング重みを表します)。 ${\displaystyle \mathbf {C_{1}} }$${\displaystyle \mathbf {C_{2}} }$${\displaystyle \mathbf {s_{1}} =\mathbf {H_{1}} \mathbf {x} }$${\displaystyle \mathbf {s_{2}} =\mathbf {H_{2}} \mathbf {y} }$${\displaystyle \mathbf {x_{1}} ,\mathbf {y_{1}} }$${\displaystyle \mathbf {x_{2}} ,\mathbf {y_{2}} }$${\displaystyle \mathbf {H_{1}} \mathbf {x_{1}} =\mathbf {H_{1}} \mathbf {x_{2}} }$${\displaystyle \mathbf {H_{1}} \mathbf {y_{1}} =\mathbf {H_{1}} \mathbf {y_{2}} }$${\displaystyle w()}$

${\displaystyle \mathbf {y_{1}} =\mathbf {x_{1}} +\mathbf {e_{1}} }$、 どこ${\displaystyle w(\mathbf {e_{1}} )\leq 1}$

${\displaystyle \mathbf {y_{2}} =\mathbf {x_{2}} +\mathbf {e_{2}} }$、 どこ${\displaystyle w(\mathbf {e_{2}} )\leq 1}$

したがって：${\displaystyle \mathbf {x_{1}} +\mathbf {x_{2}} \in \mathbf {C_{1}} }$

${\displaystyle \mathbf {y_{1}} +\mathbf {y_{2}} =\mathbf {x_{1}} +\mathbf {x_{2}} +\mathbf {e_{3}} \in \mathbf {C_{2}} }$

ここで、 および です。つまり、2 つのコード間の最小距離が より大きい限り、エラーのないデコードを実現できます。 ${\displaystyle \mathbf {e_{3}} =\mathbf {e_{2}} +\mathbf {e_{1}} }$${\displaystyle w(\mathbf {e_{3}} )\leq 2}$${\displaystyle 3}$

2 つのコードと は、ハミング コードのサブコードとして構築できるため、最小距離は です。元のハミング コードの生成行列が与えられている場合、の生成行列は から任意の 2 行を取り出すことによって構築され、 はの残りの 2 行によって構築されます。各サブコードの対応するパリティ チェック行列は、生成行列に従って生成でき、シンドローム ビットを生成するために使用できます。 ${\displaystyle \mathbf {C_{1}} }$${\displaystyle \mathbf {C_{2}} }$${\displaystyle (7,4,3)}$${\displaystyle 3}$ ${\displaystyle \mathbf {G} }$${\displaystyle \mathbf {G_{1}} }$${\displaystyle \mathbf {C_{1}} }$${\displaystyle \mathbf {G} }$${\displaystyle \mathbf {G_{2}} }$${\displaystyle \mathbf {G} }$${\displaystyle (5\times 7)}$

一般的に、Wyner-Ziv 符号化方式は、Slepian-Wolf 符号化方式に量子化器と逆量子化器を追加することによって得られます。したがって、Wyner-Ziv 符号化器の設計では、量子化器とそれに対応する再構成法の設計に重点を置くことができます。ネストされた格子量子化器、^[21]トレリス コード量子化器^[22]およびロイド量子化法など、いくつかの量子化器の設計が提案されています。^[23]

残念ながら、上記のアプローチは、分散圧縮が最も役立つシナリオである大規模なセンサーネットワークには（設計または運用の複雑さの要件において）対応していません。それぞれ R ビットで送信する N 個のソースがある場合（何らかの分散コーディング方式を使用）、可能な再構成の数はスケールします。N と R の値が中程度の場合でも（N = 10、R = 2 など）、従来の設計スキームは非実用的になります。最近、^[24]相関ソースのフュージョンコーディングから借用したアイデアを使用するアプローチが提案され、設計と運用の複雑さがデコーダのパフォーマンスと引き換えにされています。これにより、60 個のソースに達するネットワークサイズ向けの分散量子化器設計が可能になり、従来のアプローチに比べて大幅な利点が得られました。 ${\displaystyle 2^{NR}}$

中心となるアイデアは、各ソースに対して受信ビット（上記の例ではNRビット）の特定のサブセットを維持するビットサブセットセレクタの存在です。NRビットのすべてのサブセットの集合を とします。 ${\displaystyle {\mathcal {B}}}$

${\displaystyle {\mathcal {B}}=2^{\{1,...,NR\}}}$

次に、ビットサブセットセレクタマッピングを次のように定義します。

${\displaystyle {\mathcal {S}}:\{1,...,N\}\rightarrow {\mathcal {B}}}$

ビット サブセット セレクターの各選択は、選択されたビットのセットの基数に対して指数関数的なストレージ要件 (C) を課すことに注意してください。

${\displaystyle C=\sum _{n=1}^{N}2^{|{\mathcal {S}}(n)|}}$

これにより、デコーダのストレージの制約を考慮して、歪みを最小限に抑えるビットを慎重に選択できます。許容されるサブセットのセットに対する追加の制限はまだ必要です。最小化する必要がある有効なコスト関数は、歪みとデコーダのストレージの加重合計です。

${\displaystyle J=D+\lambda C}$

システム設計は、収束するまでエンコーダ、デコーダ、ビットサブセットセレクタを繰り返し（増分的に）最適化することによって実行されます。

シンドローム アプローチは、2 つ以上のソースにも使用できます。長さ のバイナリ ソースを考えます。をサイズ の対応するコーディング マトリックスとします。すると、入力バイナリ ソースは合計ビットに圧縮されます。どうやら、2 つのソース タプルが同じシンドロームを共有している場合、同時に復元することはできないようです。つまり、対象となるすべてのソース タプルが異なるシンドロームを持っている場合、それらをロスレスで復元できます。 ${\displaystyle a}$${\displaystyle n}$ ${\displaystyle \mathbf {x} _{1},\mathbf {x} _{2},\cdots ,\mathbf {x} _{a}\in \{0,1\}^{n}}$${\displaystyle \mathbf {H} _{1},\mathbf {H} _{2},\cdots ,\mathbf {H} _{s}}$${\displaystyle m_{1}\times n,m_{2}\times n,\cdots ,m_{a}\times n}$${\displaystyle \mathbf {s} _{1}=\mathbf {H} _{1}\mathbf {x} _{1},\mathbf {s} _{2}=\mathbf {H} _{2}\mathbf {x} _{2},\cdots ,\mathbf {s} _{a}=\mathbf {H} _{a}\mathbf {x} _{a}}$${\displaystyle m=m_{1}+m_{2}+\cdots m_{a}}$

一般的な理論的結果は存在しないようです。しかし、他のソースと異なるソースが最大で 1 つしかなく、ビット位置がすべて同一ではない、いわゆるハミングソース^[25]と呼ばれる制限された種類のソースの場合、実用的なロスレス DSC がいくつかのケースで存在することが示されています。ソースが 2 つ以上ある場合、ハミングソース内のソースタプルの数は です。したがって、明らかに満たす必要があるパッキング境界があります。パッキング境界が等式で満たされている場合、そのようなコードは完全であると言えます (誤り訂正コードにおける完全コードに類似)。^[25]${\displaystyle 2^{n}(an+1)}$${\displaystyle 2^{m}\geq 2^{n}(an+1)}$

等式を満たすパッキング境界を満たす最も単純な の集合は である。しかし、そのようなシンドロームコードは存在しないことが判明している。^[26] 2つ以上のソースを持つ最も単純な（完全な）シンドロームコードはおよび である。 ${\displaystyle a,n,m}$${\displaystyle a=3,n=5,m=9}$${\displaystyle n=21}$${\displaystyle m=27}$

${\displaystyle \mathbf {Q} _{1}={\begin{pmatrix}1\;0\;0\;0\;0\;0\;1\;0\;0\;0\;0\;1\;1\;1\;0\;1\;1\;0\;0\;0\;0\\0\;1\;0\;0\;0\;0\;1\;1\;0\;0\;0\;0\;1\;0\;0\;0\;0\;0\;1\;1\;1\\0\;0\;1\;0\;0\;0\;0\;1\;1\;0\;0\;0\;0\;1\;1\;1\;0\;1\;0\;1\;1\\0\;0\;0\;1\;0\;0\;0\;0\;1\;1\;0\;0\;0\;1\;0\;0\;1\;1\;1\;1\;0\\0\;0\;0\;0\;1\;0\;0\;0\;0\;1\;1\;0\;1\;0\;1\;1\;0\;1\;1\;1\;1\\0\;0\;0\;0\;0\;1\;0\;0\;0\;0\;1\;1\;0\;0\;1\;0\;0\;1\;1\;0\;1\end{pmatrix}},}$ ${\displaystyle \mathbf {Q} _{2}={\begin{pmatrix}0\;0\;0\;1\;0\;1\;1\;0\;1\;1\;1\;1\;0\;1\;0\;0\;0\;1\;1\;1\;1\\1\;0\;0\;0\;1\;0\;1\;1\;0\;1\;1\;1\;1\;0\;1\;1\;1\;1\;0\;0\;0\\0\;1\;0\;0\;0\;1\;1\;1\;1\;0\;1\;1\;1\;0\;0\;0\;0\;0\;1\;0\;1\\1\;0\;1\;0\;0\;0\;1\;1\;1\;1\;0\;1\;0\;1\;1\;1\;0\;0\;1\;1\;1\\0\;1\;0\;1\;0\;0\;1\;1\;1\;1\;1\;0\;0\;0\;1\;0\;1\;1\;0\;1\;1\\0\;0\;1\;0\;1\;0\;0\;1\;1\;1\;1\;1\;1\;1\;0\;1\;0\;1\;1\;1\;0\end{pmatrix}},}$ ${\displaystyle \mathbf {Q} _{3}={\begin{pmatrix}1\;0\;0\;1\;0\;1\;0\;0\;1\;1\;1\;0\;1\;0\;0\;1\;1\;1\;1\;1\;1\\1\;1\;0\;0\;1\;0\;0\;0\;0\;1\;1\;1\;0\;0\;1\;1\;1\;1\;1\;1\;1\\0\;1\;1\;0\;0\;1\;1\;0\;0\;0\;1\;1\;1\;1\;1\;1\;0\;1\;1\;1\;0\\1\;0\;1\;1\;0\;0\;1\;1\;0\;0\;0\;1\;0\;0\;1\;1\;1\;1\;0\;0\;1\\0\;1\;0\;1\;1\;0\;1\;1\;1\;0\;0\;0\;1\;0\;0\;1\;1\;0\;1\;0\;0\\0\;0\;1\;0\;1\;1\;0\;1\;1\;1\;0\;0\;1\;1\;1\;1\;0\;0\;0\;1\;1\end{pmatrix}},}$ ${\displaystyle \mathbf {G} =[\mathbf {0} |\mathbf {I} _{9}]}$、および の任意 の分割である もの。 ${\displaystyle \mathbf {G} ={\begin{pmatrix}\mathbf {G} _{1}\\\mathbf {G} _{2}\\\mathbf {G} _{3}\end{pmatrix}}}$${\displaystyle \mathbf {G} _{1},\mathbf {G} _{2},\mathbf {G} _{3}}$${\displaystyle \mathbf {G} }$

${\displaystyle \mathbf {H} _{1}={\begin{pmatrix}\mathbf {G} _{1}\\\mathbf {Q} _{1}\end{pmatrix}},\mathbf {H} _{2}={\begin{pmatrix}\mathbf {G} _{2}\\\mathbf {Q} _{2}\end{pmatrix}},\mathbf {H} _{3}={\begin{pmatrix}\mathbf {G} _{3}\\\mathbf {Q} _{3}\end{pmatrix}}}$ ハミング情報源を圧縮することができる（つまり、1ビットしか違わない情報源はすべて異なるシンドロームを持つ）。^[25] 例えば、対称的な場合、可能な符号化行列の集合は次のようになる。 ${\displaystyle \mathbf {H} _{1}={\begin{pmatrix}0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;1\;0\;0\\0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;1\;0\\0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;1\\1\;0\;0\;0\;0\;0\;1\;0\;0\;0\;0\;1\;1\;1\;0\;1\;1\;0\;0\;0\;0\\0\;1\;0\;0\;0\;0\;1\;1\;0\;0\;0\;0\;1\;0\;0\;0\;0\;0\;1\;1\;1\\0\;0\;1\;0\;0\;0\;0\;1\;1\;0\;0\;0\;0\;1\;1\;1\;0\;1\;0\;1\;1\\0\;0\;0\;1\;0\;0\;0\;0\;1\;1\;0\;0\;0\;1\;0\;0\;1\;1\;1\;1\;0\\0\;0\;0\;0\;1\;0\;0\;0\;0\;1\;1\;0\;1\;0\;1\;1\;0\;1\;1\;1\;1\\0\;0\;0\;0\;0\;1\;0\;0\;0\;0\;1\;1\;0\;0\;1\;0\;0\;1\;1\;0\;1\end{pmatrix}},}$ ${\displaystyle \mathbf {H} _{2}={\begin{pmatrix}0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;1\;0\;0\;0\;0\;0\\0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;1\;0\;0\;0\;0\\0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;1\;0\;0\;0\\0\;0\;0\;1\;0\;1\;1\;0\;1\;1\;1\;1\;0\;1\;0\;0\;0\;1\;1\;1\;1\\1\;0\;0\;0\;1\;0\;1\;1\;0\;1\;1\;1\;1\;0\;1\;1\;1\;1\;0\;0\;0\\0\;1\;0\;0\;0\;1\;1\;1\;1\;0\;1\;1\;1\;0\;0\;0\;0\;0\;1\;0\;1\\1\;0\;1\;0\;0\;0\;1\;1\;1\;1\;0\;1\;0\;1\;1\;1\;0\;0\;1\;1\;1\\0\;1\;0\;1\;0\;0\;1\;1\;1\;1\;1\;0\;0\;0\;1\;0\;1\;1\;0\;1\;1\\0\;0\;1\;0\;1\;0\;0\;1\;1\;1\;1\;1\;1\;1\;0\;1\;0\;1\;1\;1\;0\end{pmatrix}},}$ ${\displaystyle \mathbf {H} _{3}={\begin{pmatrix}0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;1\;0\;0\;0\;0\;0\;0\;0\;0\\0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;1\;0\;0\;0\;0\;0\;0\;0\\0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;0\;1\;0\;0\;0\;0\;0\;0\\1\;0\;0\;1\;0\;1\;0\;0\;1\;1\;1\;0\;1\;0\;0\;1\;1\;1\;1\;1\;1\\1\;1\;0\;0\;1\;0\;0\;0\;0\;1\;1\;1\;0\;0\;1\;1\;1\;1\;1\;1\;1\\0\;1\;1\;0\;0\;1\;1\;0\;0\;0\;1\;1\;1\;1\;1\;1\;0\;1\;1\;1\;0\\1\;0\;1\;1\;0\;0\;1\;1\;0\;0\;0\;1\;0\;0\;1\;1\;1\;1\;0\;0\;1\\0\;1\;0\;1\;1\;0\;1\;1\;1\;0\;0\;0\;1\;0\;0\;1\;1\;0\;1\;0\;0\\0\;0\;1\;0\;1\;1\;0\;1\;1\;1\;0\;0\;1\;1\;1\;1\;0\;0\;0\;1\;1\end{pmatrix}}.}$

• 線形コード
• 症候群の解読
• 低密度パリティ検査符号
• ターボコード