オートエンコーダー

オートエンコーダーは、以下の構成要素によって定義されます。

2つの集合：符号化されたメッセージの空間${\displaystyle {\mathcal {Z}}}$; 復号化されたメッセージの空間$\displaystyle {\mathcal {X}}}$。 通常$\displaystyle {\mathcal {X}}}$そして${\displaystyle {\mathcal {Z}}}$ユークリッド空間、つまり、${\displaystyle {\mathcal {X}}=\mathbb {R} ^{m},{\mathcal {Z}}=\mathbb {R} ^{n}}$と${\displaystyle m>n.}$

2つのパラメータ化された関数ファミリー：エンコーダファミリー${\displaystyle E_{\phi }:{\mathcal {X}}\rightarrow {\mathcal {Z}}}$パラメータ化${\displaystyle \phi }$デコーダファミリー${\displaystyle D_{\theta }:{\mathcal {Z}}\rightarrow {\mathcal {X}}}$パラメータ化${\displaystyle \theta }$。

いかなる場合でも${\displaystyle x\in {\mathcal {X}}}$私たちは通常、${\displaystyle z=E_{\phi }(x)}$、そしてそれをコード、潜在変数、潜在表現、潜在ベクトルなどと呼ぶ。逆に、任意の${\displaystyle z\in {\mathcal {Z}}}$私たちは通常、${\displaystyle x'=D_{\theta }(z)}$そして、それを（復号化された）メッセージと呼ぶ。

通常、エンコーダとデコーダの両方は多層パーセプトロン（MLP）として定義されます。例えば、1層MLPエンコーダの場合${\displaystyle E_{\phi }}$は：

${\displaystyle E_{\phi }(\mathbf {x} )=\sigma (Wx+b)}$

どこ${\displaystyle \sigma }$は要素ごとの活性化関数です。${\displaystyle W}$は「重み」行列であり、${\displaystyle b}$これは「バイアス」ベクトルです。

オートエンコーダー自体は、単に2つの関数のタプルです。その品質を評価するには、タスクが必要です。タスクは、参照確率分布によって定義されます。${\displaystyle \mu _{ref}}$以上$\displaystyle {\mathcal {X}}}$、そして「再構成品質」関数$\displaystyle d:{\mathcal {X}}\times {\mathcal {X}}\to [0,\infty ]}$、したがって${\displaystyle d(x,x')}$どれだけ${\displaystyle x'}$と異なる${\displaystyle x}$。

これらを用いて、オートエンコーダーの損失関数を次のように定義できます。$${\displaystyle L(\theta ,\phi ):=\mathbb {\mathbb {E} } _{x\sim \mu _{ref}}[d(x,D_{\theta }(E_{\phi }(x)))]}$$与えられたタスクに最適なオートエンコーダー${\displaystyle (\mu _{ref},d)}$すると${\displaystyle \arg \min _{\theta ,\phi }L(\theta ,\phi )}$最適なオートエンコーダーの探索は、あらゆる数学的最適化手法で行うことができますが、通常は勾配降下法が用いられます。この探索プロセスは「オートエンコーダーの学習」と呼ばれます。

ほとんどの場合、参照分布はデータセットによって与えられる経験分布に他ならない。${\displaystyle \{x_{1},...,x_{N}\}\subset {\mathcal {X}}}$、 となることによって$${\displaystyle \mu _{ref}={\frac {1}{N}}\sum _{i=1}^{N}\delta _{x_{i}}}$$

どこ$\displaystyle \delta _{x_{i}}}$はディラック測度であり、品質関数は$\displaystyle L^{2}}$損失：${\displaystyle d(x,x')=\|xx'\|_{2}^{2}}$、 そして${\displaystyle \|\cdot \|_{2}}$はユークリッドノルムです。すると、最適なオートエンコーダーを探す問題は、最小二乗最適化問題になります。$${\displaystyle \min _{\theta ,\phi }L(\theta ,\phi ),\qquad {\text{where }}L(\theta ,\phi )={\frac {1}{N}}\sum _{i=1}^{N}\|x_{i}-D_{\theta }(E_{\phi }(x_{i}))\|_{2}^{2}}$$

オートエンコーダーは、メッセージをコードにマッピングするエンコーダーと、コードからメッセージを復元するデコーダーという2つの主要な部分から構成されます。最適なオートエンコーダーは、可能な限り完璧に近い復元を実行します。「完璧に近い」とは、復元品質関数によって定義されます。${\displaystyle d}$。

コピー作業を完璧に実行する最も簡単な方法は、信号を複製することです。この動作を抑制するために、コード空間${\displaystyle {\mathcal {Z}}}$通常、メッセージ空間よりも次元数が少ない$\displaystyle {\mathcal {X}}}$。

このようなオートエンコーダーは不完全と呼ばれます。これはメッセージを圧縮したり、次元を削減したりするものと解釈できます。^{[ 9 ] [ 10 ]}

理想的な不完全オートエンコーダーの限界では、すべての可能なコード${\displaystyle z}$コード空間では、メッセージをエンコードするために使用されます。${\displaystyle x}$それは実際に分布に現れます${\displaystyle \mu _{ref}}$デコーダーも完璧です。${\displaystyle D_{\theta }(E_{\phi }(x))=x}$この理想的なオートエンコーダーは、デコーダーに任意のコードを入力することで、実際のメッセージと区別がつかないメッセージを生成するために使用できます。${\displaystyle z}$入手${\displaystyle D_{\theta }(z)}$これは実際に配信に表示されるメッセージです${\displaystyle \mu _{ref}}$。

コードスペース${\displaystyle {\mathcal {Z}}}$メッセージ空間よりも大きい次元（過剰）または等しい次元を持つ$\displaystyle {\mathcal {X}}}$、あるいは隠れユニットに十分な容量が与えられている場合、オートエンコーダーは恒等関数を学習して役に立たなくなる可能性があります。しかし、実験結果では、過剰に完全なオートエンコーダーでも有用な特徴を学習できる可能性があることがわかりました。^{[ 11 ]}

理想的な設定では、コード次元とモデル容量は、モデル化するデータ分布の複雑さに基づいて設定できます。これを行う標準的な方法は、基本的なオートエンコーダーに修正を加えることです。詳細は後述します。^{[ 2 ]}

変分オートエンコーダー（VAE）は、変分ベイズ法の一種です。基本的なオートエンコーダーと構造的に類似しているものの、VAEは異なる目的と数学的な定式化に基づいて設計されています。この場合、潜在空間は固定ベクトルではなく、分布の混合によって構成されます。

入力データセットが与えられた場合${\displaystyle x}$未知の確率関数によって特徴付けられる${\displaystyle P(x)}$多変量潜在符号化ベクトル${\displaystyle z}$目的は、データを分布としてモデル化することです。${\displaystyle p_{\theta }(x)}$、 と${\displaystyle \theta }$ネットワークパラメータのセットとして定義され、${\displaystyle p_{\theta }(x)=\int _{z}p_{\theta }(x,z)dz}$。

神経科学におけるスパースコーディング仮説 に触発されたスパースオートエンコーダー（SAE）はオートエンコーダーの変種であり、コードが${\displaystyle E_{\phi }(x)}$メッセージはスパースコードになる傾向があるため、${\displaystyle E_{\phi }(x)}$ほとんどのエントリではゼロに近い。スパースオートエンコーダーは、入力よりも多くの（少ないのではなく）隠れユニットを含む可能性があるが、同時にアクティブになることができる隠れユニットはごく少数である。^{[ 12 ]}スパース性を促進すると、分類タスクのパフォーマンスが向上する。^{[ 13 ]}

スパース性を強制するには主に2つの方法があります。1つは、潜在コードの上位k個のアクティベーション以外をすべてゼロにクランプする方法です。これはkスパースオートエンコーダーです。^{[ 13 ]}

k-スパースオートエンコーダーは、標準オートエンコーダーの潜在層に以下の「k-スパース関数」を挿入します。$${\displaystyle f_{k}(x_{1},...,x_{n})=(x_{1}b_{1},...,x_{n}b_{n})}$$どこ${\displaystyle b_{i}=1}$もし${\displaystyle |x_{i}|}$上位 k 位にランクインし、それ以外は 0 です。

逆伝播${\displaystyle f_{k}}$簡単です: グラデーションを 0 に設定します${\displaystyle b_{i}=0}$エントリ、グラデーションは${\displaystyle b_{i}=1}$エントリ。これは基本的に一般化されたReLU関数です。^{[ 13 ]}

もう1つの方法は、k-スパースオートエンコーダーの緩和版です。スパース性を強制する代わりに、スパース性正則化損失を追加し、最適化します。$${\displaystyle \min _{\theta ,\phi }L(\theta ,\phi )+\lambda L_{\text{sparse}}(\theta ,\phi )}$$どこ${\displaystyle \lambda >0}$どの程度の疎性を強制したいかを測定します。^{[ 14 ]}

オートエンコーダーアーキテクチャは${\displaystyle K}$層。スパース性正則化損失を定義するには、「望ましい」スパース性が必要です。${\displaystyle {\hat {\rho }}_{k}}$各層ごとに、重み${\displaystyle w_{k}}$各スパース性をどの程度強制するか、および関数${\displaystyle s:[0,1]\times [0,1]\to [0,\infty ]}$2つのスパース性がどの程度異なるかを測定する。

各入力に対して${\displaystyle x}$各層における活性化の実際のスパース性${\displaystyle k}$なれ$${\displaystyle \rho _{k}(x)={\frac {1}{n}}\sum _{i=1}^{n}a_{k,i}(x)}$$どこ${\displaystyle a_{k,i}(x)}$活性化は${\displaystyle i}$の 番目のニューロン${\displaystyle k}$入力時の-番目の層${\displaystyle x}$。

入力時のスパース性損失${\displaystyle x}$1層の場合${\displaystyle s({\hat {\rho }}_{k},\rho _{k}(x))}$、そしてオートエンコーダー全体のスパース性正則化損失は、スパース性損失の期待加重和です。$${\displaystyle L_{\text{sparse}}(\theta ,\phi )=\mathbb {\mathbb {E} } _{x\sim \mu _{X}}\left[\sum _{k\in 1:K}w_{k}s({\hat {\rho }}_{k},\rho _{k}(x))\right]}$$通常、その機能は${\displaystyle s}$^{は、 [ 13 ] [ 14 ] [ 15 ] [ 16 ]}のように、Kullback–Leibler (KL) ダイバージェンスのいずれかです。

${\displaystyle s(\rho ,{\hat {\rho }})=KL(\rho ||{\hat {\rho }})=\rho \log {\frac {\rho }{\hat {\rho }}}+(1-\rho )\log {\frac {1-\rho }{1-{\hat {\rho }}}}}$

またはL1損失として${\displaystyle s(\rho ,{\hat {\rho }})=|\rho -{\hat {\rho }}|}$またはL2損失として、${\displaystyle s(\rho ,{\hat {\rho }})=|\rho -{\hat {\rho }}|^{2}}$。

あるいは、スパース性正則化損失は「望ましいスパース性」を参照することなく、可能な限りスパース性を強制的に高めることで定義することもできます。この場合、スパース性正則化損失は次のように定義できます。$${\displaystyle L_{\text{sparse}}(\theta ,\phi )=\mathbb {\mathbb {E} } _{x\sim \mu _{X}}\left[\sum _{k\in 1:K}w_{k}\|h_{k}\|\right]}$$どこ${\displaystyle h_{k}}$活性化ベクトルは${\displaystyle k}$オートエンコーダーの 番目の層。正規化${\displaystyle \|\cdot \|}$通常はL1ノルム（L1スパースオートエンコーダーを与える）またはL2ノルム（L2スパースオートエンコーダーを与える）です。

ノイズ除去オートエンコーダー（DAE）は、再構成基準を変更することで良好な表現を実現しようとします。^{[ 2 ] [ 3 ]}

DAE（分散オートエンコーダー）は、元々はMark A. Kramerによって「ロバストオートアソシエーションネットワーク」と呼ばれていましたが^{[ 17 ]}、トレーニング中に標準的なオートエンコーダーの入力を意図的に破損させることでトレーニングされます。ノイズプロセスは確率分布によって定義されます。${\displaystyle \mu _{T}}$関数について${\displaystyle T:{\mathcal {X}}\to {\mathcal {X}}}$つまり、関数${\displaystyle T}$メッセージを受け取る${\displaystyle x\in {\mathcal {X}}}$、ノイズの多いバージョンに劣化させる${\displaystyle T(x)}$. 機能${\displaystyle T}$確率分布に従ってランダムに選択される。${\displaystyle \mu _{T}}$。

与えられたタスク${\displaystyle (\mu _{\text{ref}},d)}$DAEを学習させる問題は、以下の最適化問題である。$${\displaystyle \min _{\theta ,\phi }L(\theta ,\phi )=\mathbb {\mathbb {E} } _{x\sim \mu _{X},T\sim \mu _{T}}[d(x,(D_{\theta }\circ E_{\phi }\circ T)(x))]}$$つまり、最適なDAEは、ノイズのあるメッセージを受け取り、ノイズのない元のメッセージを復元しようとするものであり、これが「ノイズ除去」という名前の由来である。

通常、ノイズ処理${\displaystyle T}$これはトレーニングおよびテスト時のみに適用され、下流での使用時には適用されません。

DAEの使用は、以下の2つの仮定に基づいています。

• メッセージの表現方法には、私たちが遭遇する可能性のあるノイズの種類に対して比較的安定していて頑健なものが存在する。
• 上記の表現は、入力分布における我々の目的に役立つ構造を捉えている。^{[ 3 ]}

騒音発生プロセスの例としては、以下のようなものがある。

• 加法等方性ガウスノイズ、
• マスキングノイズ（入力信号の一部をランダムに選択し、0に設定する）
• ソルトアンドペッパーノイズ（入力の一部がランダムに選択され、その最小値または最大値にランダムに設定される）。^{[ 3 ]}

収縮型オートエンコーダー（CAE）は、標準的なオートエンコーダーの損失に収縮型正則化損失を追加します。$${\displaystyle \min _{\theta ,\phi }L(\theta ,\phi )+\lambda L_{\text{cont}}(\theta ,\phi )}$$どこ${\displaystyle \lambda >0}$これは、どの程度の収縮性を強制したいかを測定するものです。収縮正則化損失自体は、入力に対するエンコーダー活性化のヤコビ行列のフロベニウスノルムの期待値の二乗として定義されます。$${\displaystyle L_{\text{cont}}(\theta ,\phi )=\mathbb {E} _{x\sim \mu _{ref}}\|\nabla _{x}E_{\phi }(x)\|_{F}^{2}}$$何を理解するか${\displaystyle L_{\text{cont}}}$対策、事実に留意する$${\displaystyle \|E_{\phi }(x+\delta x)-E_{\phi }(x)\|_{2}\leq \|\nabla _{x}E_{\phi }(x)\|_{F}\|\delta x\|_{2}}$$メッセージ${\displaystyle x\in {\mathcal {X}}}$、そしてわずかな変動${\displaystyle \delta x}$その中に。したがって、もし${\displaystyle \|\nabla _{x}E_{\phi }(x)\|_{F}^{2}}$が小さいということは、メッセージのごく一部がそのコードのごく一部に対応することを意味します。これは望ましい特性であり、メッセージのわずかな変化がコードのわずかな変化、あるいは変化ゼロにつながることを意味します。これは、2枚の絵が完全に同じでなくても同じように見えるのと似ています。

DAEはCAEの極限として理解できます。ガウス型入力ノイズが小さい極限では、DAEは再構成関数が小さくても有限サイズの入力摂動に耐えるようにし、一方CAEは抽出された特徴が極限の入力摂動に耐えるようにします。

最小記述長オートエンコーダー（MDL-AE）は、従来のオートエンコーダーの高度なバリエーションであり、情報理論、特に最小記述長（MDL）原理を活用しています。MDL原理は、データセットにとって最適なモデルは、モデルとデータを組み合わせたエンコーディングが最短になるモデルであると提唱しています。オートエンコーダーの文脈では、この原理は、学習された表現がコンパクトであるだけでなく、解釈可能で、再構築に効率的であることを保証するために適用されます。

MDL-AEは、潜在表現のサイズ（コード長）と元のデータの再構成における誤差を含む、データの総記述長を最小化することを目指します。目的関数は次のように表すことができます。 ${\displaystyle L_{\text{code}}+L_{\text{error}}}$、 どこ${\displaystyle L_{\text{code}}}$は圧縮された潜在表現の長さを表し、${\displaystyle L_{\text{error}}}$は再構成誤差を表す。^{[ 18 ]}

具体的なオートエンコーダーは、離散的な特徴選択のために設計されています。^{[ 19 ]}具体的なオートエンコーダーは、潜在空間がユーザー指定の数の特徴のみで構成されるように強制します。具体的なオートエンコーダーは、カテゴリ分布の連続的な緩和を使用して、勾配が特徴選択層を通過することを可能にし、標準的なバックプロパゲーションを使用して、再構成損失を最小化する最適な入力特徴のサブセットを学習できるようにします。

ジェフリー・ヒントンは、多層ディープオートエンコーダーをトレーニングするためのディープビリーフネットワーク技術を開発しました。彼の手法では、隣接する2つの層の各セットを制限付きボルツマンマシンとして扱い、事前トレーニングで良い解を近似し、その後バックプロパゲーションを使用して結果を微調整します。^{[ 10 ]}

研究者たちは、共同トレーニング（つまり、最適化する単一のグローバル再構築目標とともにアーキテクチャ全体を一緒にトレーニングすること）がディープオートエンコーダーにとってより良いかどうかについて議論してきた。^{[ 21 ]} 2015年の研究では、共同トレーニングは、レイヤーごとの方法と比較して、分類のためのより代表的な特徴とともに、より良いデータモデルを学習することが示された。^{[ 21 ]}しかし、彼らの実験では、共同トレーニングの成功は、採用された正則化戦略に大きく依存することが示された。^{[ 21 ] [ 22 ]}

次元削減は、ディープラーニングの最初の応用例の1つでした。^{[ 2 ]}

ヒントンの 2006 年の研究では、^{[ 10 ]} RBMのスタックを使用して多層オートエンコーダを事前学習し、その重みを使用して、30 個のニューロンのボトルネックに達するまで徐々に小さな隠れ層を持つディープオートエンコーダを初期化しました。結果として得られた 30 次元のコードは、主成分分析 (PCA) の最初の 30 個のコンポーネントと比較して再構成誤差が小さく、データ クラスターを明確に分離する、質的に解釈しやすい表現を学習しました。^{[ 2 ] [ 10 ]}

次元削減は、分類などのタスクのパフォーマンスを向上させることができます。^{[ 2 ]}実際、次元削減の特徴は、意味的に関連する例を互いに近くに配置することです。^{[ 38 ]}

主成分分析

線形活性化関数を使用する場合、または単一のシグモイド隠れ層のみを使用する場合、オートエンコーダーの最適解は主成分分析（PCA）と密接に関連しています。^{[ 29 ] [ 39 ]}単一の隠れ層を持つオートエンコーダーの重みは、サイズが${\displaystyle p}$（どこ${\displaystyle p}$（入力のサイズより小さい）最初のベクトルが張るベクトルと同じベクトル部分空間を張る${\displaystyle p}$主成分であり、オートエンコーダの出力はこの部分空間への直交射影です。オートエンコーダの重みは主成分とは等しくなく、一般に直交していませんが、特異値分解を使用して主成分を復元することができます。^{[ 40 ]}

しかし、オートエンコーダーの可能性は非線形性にあり、PCAと比較してより強力な一般化を学習し、情報損失を大幅に低減して入力を再構築することを可能にする。^{[ 10 ]}

情報検索は、次元削減によって特に恩恵を受け、特定の種類の低次元空間では検索がより効率的になります。オートエンコーダは、 2007 年にSalakhutdinovと Hintonによって提案された意味ハッシュに実際に適用されました。 ^{[ 38 ]}アルゴリズムをトレーニングして低次元バイナリコードを生成することで、すべてのデータベースエントリをバイナリコードベクトルをエントリにマッピングするハッシュテーブルに格納できます。このテーブルは、クエリと同じバイナリコードを持つすべてのエントリを返すか、クエリエンコーディングからいくつかのビットを反転させることでわずかに類似性の低いエントリを返すことで、情報検索をサポートします。

オートエンコーダのもう 1 つの応用例は異常検出です。^{[ 17 ] [ 41 ] [ 42 ] [ 43 ] [ 44 ] [ 45 ]}前述の制約の下でトレーニング データ内の最も顕著な特徴を再現することを学習することで、モデルは最も頻繁に観測される特性を正確に再現することを学習するように促されます。異常に直面すると、モデルは再構成性能を悪化させる必要があります。ほとんどの場合、正常なインスタンスを含むデータのみがオートエンコーダのトレーニングに使用されます。その他の場合、異常の頻度は観測セットに比べて小さいため、学習された表現への寄与は無視できます。トレーニング後、オートエンコーダは「正常」なデータを正確に再構成しますが、見慣れない異常なデータではそうしません。^{[ 43 ]}再構成誤差 (元のデータとその低次元再構成の間の誤差) は、異常を検出するための異常スコアとして使用されます。^{[ 43 ]} 通常、これは検証セットにおいて再構成誤差の経験的分布が記録され、その後（例えば）経験的95パーセンタイルが${\displaystyle x_{p}}$閾値として扱われる${\displaystyle t:=x_{p}}$異常なデータポイントにフラグを立てる：${\displaystyle {\text{loss}}(x,{\text{reconstruction}}(x))>t\implies {\text{anomaly}}}$閾値は経験的分位点推定値であるため、この閾値を「正しく」設定することには本質的な困難が伴います。多くの場合、経験的分位点の分布は漸近的に正規分布になります。${\displaystyle {\text{empirical p-quantile}}\sim {\mathcal {N}}\left(\mu =p,\sigma ^{2}={\frac {p(1-p)}{nf(x_{p})^{2}}}\right),}$と${\displaystyle f(x_{p})}$分位点における確率密度。これは、極端な分位点を考慮すると分散が増加することを意味します（なぜなら${\displaystyle f(x_{p})}$（ただし、その値は小さい）。これは、閾値が検証セットから推定されるため、閾値の適切な選択には潜在的に大きな不確実性があることを意味します。

しかし、最近の文献では、特定のオートエンコーディングモデルは、直感に反して、異常な例を再構築するのに非常に優れており、その結果、異常検出を確実に実行できないことが示されています。^{[ 46 ] [ 47 ]} 直感的には、これは、PCAに関連する1層のオートエンコーダーを考慮することで理解できます。この場合も、データ領域から遠く離れているが主成分軸上にある点については、完全な再構築が可能です。

オートエンコーダーによってフラグが立てられた異常が真の異常であるかどうかを分析するのが最善です。この意味で、バイナリ分類器の評価におけるすべての指標を考慮することができます。教師なし（自己教師あり）学習設定に伴う根本的な課題は、まれなイベントのラベルが存在しないこと（この場合、まずラベルを収集する必要があり、データセットは不均衡になります）、または異常を示すラベルが非常にまれであるため、これらのパフォーマンス推定値の信頼区間が広くなることです。

オートエンコーダーの特性は画像処理において有用である。

一例として、非可逆画像圧縮では、オートエンコーダが他の手法を凌駕し、JPEG 2000と同等の性能を発揮することが証明されている。^{[ 48 ] [ 49 ]}

画像前処理におけるオートエンコーダーのもう1つの有用な応用例は、画像ノイズ除去である。^{[ 50 ] [ 51 ] [ 52 ]}

オートエンコーダは、医用画像処理などのより要求の厳しいコンテキストで利用されており、画像ノイズ除去^{[ 53 ]}や超解像^{[ 54 ] [ 55 ]}に使用されています。画像支援診断では、乳がん検出^{[ 56 ]}や、アルツハイマー病の認知機能低下とMRIでトレーニングされたオートエンコーダの潜在的特徴との関係をモデル化するためにオートエンコーダを適用した実験が行われています^{[ 57 ]}。

2019年に変分オートエンコーダーで生成された分子がマウスで実験的に検証されました。^{[ 58 ] [ 59 ]}

最近、スタック型オートエンコーダーフレームワークがソーシャルメディア投稿の人気を予測する上で有望な結果を示しており^{[ 60 ]} 、これはオンライン広告戦略に役立つ。

オートエンコーダは機械翻訳に適用されており、これは通常ニューラル機械翻訳（NMT）と呼ばれています。 ^{[ 61 ] [ 62 ]}従来のオートエンコーダとは異なり、出力は入力と一致しません。別の言語になります。NMTでは、テキストは学習手順にエンコードされるシーケンスとして扱われ、デコーダ側ではターゲット言語のシーケンスが生成されます。言語固有のオートエンコーダは、中国語の分解機能など、さらに言語的特徴を学習手順に組み込みます。^{[ 63 ]}より効果的なトランスフォーマーネットワークが利用可能になったため、機械翻訳はオートエンコーダを使用して行われることはまだまれです。

通信システムにおけるオートエンコーダは、チャネル障害に対する耐性の高い表現にデータをエンコードするのに役立つため重要です。これは、エラーを最小限に抑えながら情報を伝送するために不可欠です。さらに、AEベースのシステムは、エンドツーエンドの通信パフォーマンスを最適化できます。このアプローチは、現実世界のチャネルの複雑な動作を正確にモデル化することの固有の難しさなど、通信システムの設計におけるいくつかの制限を解決できます。^{[ 64 ]}