ジョイントエンコーディング

オーディオ エンジニアリングにおいて、ジョイント エンコーディングとは、エンコード中に類似の情報を持つ複数のチャネルを結合して、より高い品質、より小さなファイル サイズ、またはその両方を実現することです。

ジョイント ステレオという用語は、インターネットによって、比較的低いビット レートで許容できる品質のオーディオを適度なインターネット アクセス速度で転送できるようになったため、よく使われるようになりました。ジョイント ステレオとは、この目的で使用されるさまざまなエンコード手法を指します。ここでは 2 つの形式について説明します。どちらも、MP3、AAC、Ogg Vorbisなどの異なるコーデックを使用してさまざまな方法で実装されています。

この形式のジョイント ステレオでは、ジョイント周波数エンコーディングと呼ばれる手法が使用され、これは音源定位の原理に基づいて機能します。人間の聴覚は、特定のオーディオ周波数の方向を知覚する能力があまりありません。この特性を利用することで、インテンシティ ステレオ コーディングは、見た目の品質にほとんど変化を感じさせずに、オーディオ ストリームのデータ レートを削減できます。

より具体的には、人間が音源定位を行う際に両耳間時間差 (ITD)が優位となるのは、低周波数の場合のみです。そのため、高周波数 (カットオフは約 2 kHz) では、両耳間振幅差 (IAD)が優位な定位指標となります。インテンシティ ステレオ コーディングの考え方は、低周波数スペクトルを 1 つのチャネルに統合し (チャネル間の全体的な差を減らす)、特定の周波数領域をパンしてIADキューを復元する方法に関する副次的な情報を少し送信することです。ただし、この方式では ITD が完全に失われるわけではありません。耳の形状により、音が自由空間から来る場合 (たとえばスピーカーから再生される場合)、ITD を IAD から復元できます。^[1]

このタイプのコーディングでは、情報が失われるため元のオーディオが完全には再現されず、ステレオイメージが単純化され、知覚できる圧縮アーティファクトが発生する可能性があります。ただし、ビットレートが非常に低い場合、このタイプのコーディングにより、通常、オーディオの知覚品質が向上します。多くのオーディオ圧縮形式 ( MP3、AAC、Vorbis、Opusなど) でサポートされていますが、すべてのエンコーダーでサポートされているわけではありません。

M/S ステレオ コーディングは、左チャンネルと右チャンネルをミッド チャンネルとサイド チャンネルに変換します。ミッド チャンネルは、左チャンネルと右チャンネルの合計、つまり です。サイド チャンネルは、左チャンネルと右チャンネルの差、つまり です。インテンシティ ステレオ コーディングとは異なり、M/S コーディングは変換コーディングの特殊なケースであり、アーティファクトを導入することなくオーディオを完全に保持します。FLACやMonkey's Audioなどのロスレス コーデックは、この特性のために M/S ステレオ コーディングを使用します。 ${\displaystyle M=L+R}$${\displaystyle S=LR}$

元の信号を再構築するには、チャネルを追加または減算します。 ${\textstyle L={\frac {M+S}{2}}}$${\textstyle R={\frac {MS}{2}}}$

^{この形式のコーディングは、マトリックス ステレオ[a]}とも呼ばれ、さまざまな形式のオーディオ処理および録音機器で使用されています。デジタル システムに限定されず、パッシブ オーディオトランスフォーマーやアナログアンプを使用して作成することもできます。M/S ステレオの使用例の 1 つは、FMステレオ放送です。FM ステレオ放送では、搬送波を変調し、サブキャリアを変調します。これにより、中間チャンネルのみを必要とするモノラル機器との下位互換性が実現します。^{[2] M/S ステレオのもう 1 つの例は}、ステレオフォニック マイクログルーブ レコードです。スタイラスの横方向の動きは 2 つのチャンネルの合計を表し、垂直方向の動きはチャンネル間の差を表します。2 つの直交するコイルが機械的にチャンネルをデコードします。^[3]${\displaystyle L+R}$ ${\displaystyle LR}$

M/S はステレオ録音を作成するための一般的なテクニックでもあります。マイクの実践 § M/S テクニックを参照してください。

M/Sエンコーディングでは、左右のチャンネルが同じ重みを使用することは厳密には要求されません。Opus CELTでは、M/Sエンコーディングは角度パラメータと組み合わされており、異なる重みを使用して相関を最大化することができます。^{[4] : 4.5.1}

複数のチャンネルを結合する同様の形式は、 Opus 1.3のアンビソニックスの実装にも見られます。マトリックスを使用して球面調和関数のチャンネルを混合し、冗長性を減らすことができます。^[5]

パラメトリックステレオは、強度差以外のパラメータが使用される点を除いて、強度ステレオに似ています。MPEG-4（HE-AAC）バージョンでは、強度差と時間遅延差が使用され、定位を損なうことなくすべての帯域を使用できます。HE-AACは「相関」情報も追加し、チャネル間の差を合成することでアンビエンスを再現します。^[6]

バイノーラルキューコーディング（BCC）は、HE-AAC PS技術を拡張したもので、多くの入力チャンネルを1つにダウンミックスします。同じILD、ITD、ICパラメータが使用されています。MPEGサラウンドはBCCに似ていますが、複数のチャンネルへのダウンミックスが可能で、ITDは使用されていないようです。^[7]

ジョイント周波数エンコーディングは、オーディオ データ圧縮でデータ レートを削減するために使用されるエンコーディング手法です。

このアイデアは、複数のサウンド チャネルの特定の周波数範囲を結合して、結果のエンコードでその範囲のサウンド情報を個別のチャネルの束としてではなく、1 つの均質なデータ ストリームとして保存するというものです。これにより、情報を正確に再構築することができないため、元のチャネル分離は永久に破壊されますが、必要なストレージ容量は大幅に削減されます。ジョイント ステレオの一部の形式 (強度ステレオ コーディングなど) のみがジョイント周波数エンコード手法を使用します。

MP3 圧縮プロセス内で使用されるジョイント ステレオは通常複数の手法を採用し、各 MPEG フレームごとに切り替えることができます。通常、最新のエンコーダのジョイント ステレオ モードでは、一部のフレームに M/S ステレオを使用し、他のフレームに L/R ステレオを使用します。どちらの方法が最も良い結果をもたらすかは、エンコーダによって決まります。エンコーダは、切り替えるタイミングと各チャネルに割り当てるスペースの量を決定するためにさまざまなアルゴリズムを使用します。切り替えが頻繁すぎる場合や、サイド チャネルに十分なビットが割り当てられていない場合は、品質が低下する可能性があります。一部のエンコード ソフトウェアでは、すべてのフレームに M/S ステレオの使用を強制することができ、Xing などの初期のエンコーダのジョイント ステレオ モードを模倣できます。LAMEエンコーダでは、これは強制ジョイント ステレオとして知られています。^[8]

MP3 と同様に、Ogg Vorbisステレオ ファイルでは、L/R ステレオまたはジョイント ステレオのいずれかを使用できます。ジョイント ステレオを使用する場合は、M/S ステレオとインテンシティ ステレオの両方の方式を使用できます。M/S ステレオ (使用する場合) が量子化の前に適用される MP3 とは対照的に、Ogg Vorbis エンコーダーは量子化後に周波数領域のサンプルに M/S ステレオを適用し、M/S ステレオの適用をロスレス ステップにします。このステップの後、M/S 信号のサイド チャネルの対応する部分を削除することで、任意の周波数領域をインテンシティ ステレオに変換できます。Ogg Vorbis のフロア関数は、必要な左右のパンニングを処理します。^[要出典] Opus も同様に、CELT レイヤーで 3 つのオプションすべてをサポートしています。SILK レイヤーは M/S のみです。^[9]

• Jürgen Herre、Fraunhofer IIS。ジョイントステレオから空間オーディオコーディングへ - 最近の進歩と標準化。2004 年 10 月、論文 157、DAFx'04 第 7 回国際デジタルオーディオ効果会議。