オーディオのタイムストレッチとピッチスケーリング

タイム ストレッチは、オーディオ信号のピッチに影響を与えずに、その速度または継続時間を変更するプロセスです。ピッチ スケーリングはその逆で、速度に影響を与えずにピッチを変更するプロセスです。ピッチ シフトは、エフェクト ユニットで実装され、ライブ パフォーマンスを目的としたピッチ スケーリングです。ピッチ コントロールは、録音の速度を遅くしたり速くしたりすることで、ピッチと速度に同時に影響を与える、より単純なプロセスです。

これらのプロセスは、クリップを再演奏または再サンプリングできない場合に、2 つの録音済みクリップのピッチとテンポを一致させてミキシングするためによく使用されます。タイム ストレッチは、ラジオ コマーシャル^[1]やテレビ広告^[2]の音声を30 秒または 60 秒の枠にぴったり収まるように調整するためによく使用されます。1 時間の放送など、指定された時間枠に長い素材を合わせるために使用できます。

オーディオ録音の継続時間やピッチを変更する最も簡単な方法は、再生速度を変更することです。デジタルオーディオ録音の場合、これはサンプルレート変換によって実現できます。この方法を使用すると、録音内の周波数は常に速度と同じ比率でスケーリングされ、その過程で知覚されるピッチが上下にトランスポーズされます。録音を遅くして継続時間を長くするとピッチも下がり、録音時間を短くして速くするとピッチが上がり、いわゆるチップマンク効果が生成されます。オーディオを著しく低いピッチに再サンプリングする場合、ソースオーディオのサンプルレートを高くすることが望ましい場合があります。再生レートを遅くすると解像度の低いオーディオ信号が再生され、知覚されるサウンドの明瞭度が低下するためです。逆に、オーディオを著しく高いピッチに再サンプリングする場合は、ナイキスト周波数(オーディオ再生ソフトウェアまたはデバイスのサンプリング レートによって決定) を超える周波数によって、通常は望ましくないサウンドの歪み (エイリアシングとも呼ばれる現象) が発生するため、補間フィルターを組み込むことが望ましい場合があります。

ピッチに影響を与えずに信号の長さを伸ばす方法の 1 つは、Flanagan、Golden、Portnoff に倣って 位相ボコーダーを構築することです。

基本的な手順:

1. 短く重なり合った滑らかにウィンドウ化されたサンプルブロックの離散フーリエ変換であるSTFT を使用して、信号の瞬間的な周波数と振幅の関係を計算します。
2. フーリエ変換の振幅と位相に何らかの処理を適用する（FFTブロックの再サンプリングなど）。
3. 各チャンクに対して逆フーリエ変換を行い、その結果得られた波形チャンクを追加することで逆STFTを実行します。これはオーバーラップアンドアド（OLA）とも呼ばれます。^[3]

位相ボコーダは正弦波成分を適切に処理しますが、初期の実装では、すべての非整数圧縮/拡張率で過渡(「ビート」) 波形にかなりのスミアリングが発生し、結果が位相がずれて拡散していました。最近の改良により、すべての圧縮/拡張率でより高品質の結果が得られるようになりましたが、残留スミアリング効果はまだ残っています。

位相ボコーダー技術は、ピッチシフト、コーラス、音色操作、ハーモニー、その他の特殊な変更を実行するためにも使用でき、これらはすべて時間の関数として変更できます。

タイム ストレッチの別の方法は、信号のスペクトル モデルに依存します。この方法では、信号のSTFT を使用してフレーム内のピークが識別され、隣接するフレーム内のピークを接続することで正弦波の「トラック」が作成されます。その後、トラックは新しい時間スケールで再合成されます。この方法は、特に信号がサブバンドに分割されている場合、ポリフォニックとパーカッシブの両方の素材で良好な結果を得ることができます。ただし、この方法は他の方法よりも計算量が多くなります。^{[引用が必要]}

1978 年にRabinerと Schafer は、時間領域で機能する別の解決策を提案しました。それは、何らかのピッチ検出アルゴリズム(通常は信号の自己相関のピーク、またはケプストラム処理の場合もあります)を使用して、波形の特定のセクションの周期(または同等の基本周波数)を見つけ、ある周期を別の周期に クロスフェードするというものです。

これは時間領域高調波スケーリング^{[5]または同期オーバーラップ加算法（SOLA）と呼ばれ、低速マシンでは位相ボコーダよりもいくらか高速に動作しますが、自己相関が複雑な高調波（}オーケストラ曲など）を持つ信号の周期を誤って推定すると失敗します。

Adobe Audition (旧称 Cool Edit Pro) は、ユーザーが指定した中心周期に最も近い周期 (テンポの整数倍で、30 Hzから最低ベース周波数までの範囲) を探すことでこの問題を解決しているようです。

これは、位相ボコーダー ベースの処理よりも範囲がはるかに限定されていますが、リアルタイム アプリケーションではプロセッサの負荷を大幅に軽減できます。音声や音楽的にモノフォニックな楽器の録音など、単音のサウンドに対して最も一貫性のある結果^{[引用が必要]}が得られます。

高級な市販のオーディオ処理パッケージでは、これら 2 つの手法を組み合わせたり (たとえば、信号を正弦波と過渡波形に分離する)、ウェーブレット変換に基づく他の手法や人工ニューラル ネットワーク処理^[要出典]を使用したりして、最高品質のタイム ストレッチを実現しています。

オーディオ信号の継続時間を伸縮する際にピッチを保つために、多くの時間スケール変更 (TSM) 手順はフレームベースのアプローチに従います。^[6] 元の離散時間オーディオ信号が与えられた場合、この戦略の最初のステップは、信号を固定長の短い分析フレームに分割することです。分析フレームは、分析ホップサイズ と呼ばれる固定数のサンプルで間隔が空けられます。実際の時間スケール変更を実現するために、分析フレームは、合成ホップサイズを持つように時間的に再配置されます。このフレームの再配置により、信号の継続時間が の伸縮係数だけ変更されます。 ただし、変更されていない分析フレームを単に重ね合わせると、通常、位相の不連続性や振幅の変動などの望ましくないアーティファクトが発生します。これらの種類のアーティファクトを防ぐために、時間スケールが変更された出力信号を再構築する前に、 分析フレームを合成フレーム を形成するように適応させます。${\displaystyle H_{a}\in \mathbb {N} }$ ${\displaystyle H_{s}\in \mathbb {N} }$${\displaystyle \alpha =H_{s}/H_{a}}$

分析フレームから合成フレームを導出する方法の戦略は、さまざまな TSM 手順間の重要な違いです。

音声の特定のケースでは、PSOLA を使用してタイムストレッチを実行できます。

時間圧縮音声とは、圧縮された時間で口頭テキストを表現することです。スピードを上げると理解力が低下すると思われるかもしれませんが、ハーブ・フリードマンは「実験により、耳から（音声を介して）入ってくる情報速度が「平均」の読書速度、つまり約 200～300 wpm（1 分間の単語数）である場合に、脳が最も効率的に機能することがわかっています。ただし、音声の平均速度は 100～150 wpm 程度です」と述べています。^[7]

時間が圧縮された音声を聞くことは速読と同等であると考えられています。^{[誰が？ ] [8] [9]}

これらの技術は、速度や継続時間を一定に保ちながらオーディオ サンプルを転置するのにも使用できます。これは、時間を引き伸ばしてから元の長さに再サンプリングすることで実現できます。または、正弦波モデルの正弦波の周波数を直接変更し、適切な時間スケールで信号を再構築することもできます。

移調は、視点に応じて、周波数スケーリングまたはピッチシフトと呼ばれることがあります。

たとえば、テンポを同じに保ったまま、すべての音符のピッチを完全 5 度上げることができます。この移調は、「ピッチ シフト」、つまり各音符をピアノの鍵盤で 7 キー上に「シフト」したり、メル スケールで固定量を追加したり、線形ピッチ空間で固定量を追加したりすることと見ることができます。同じ移調を「周波数スケーリング」、つまりすべての音符の周波数を 3/2 で「スケーリング」(乗算) することと見なすことができます。

音楽の移調は、音の音色を決定する倍音周波数の比率を保存します。これは、すべての音の周波数に固定周波数オフセットを追加する振幅変調によって実行される周波数シフトとは異なります。（理論上は、音楽のピッチ空間の位置がスケーリングされる文字通りのピッチスケーリングを実行できます[線形ピッチ空間で、高い音は低い音よりも大きな間隔でシフトされます]が、これは非常にまれであり、音楽的ではありません。^{[引用が必要]}）

ここでは時間領域処理の方がはるかに効果的で、スミアリングが目立たなくなりますが、ボーカル サンプルをスケーリングするとフォルマントが歪んでアルビンとチップマンクスのような効果が生じます。これは望ましい場合もあれば、望ましくない場合もあります。フォルマントと音声の特性を保持するプロセスでは、チャネル ボコーダーまたはLPCボコーダーといくつかのピッチ検出アルゴリズムのいずれかを使用して信号を分析し、異なる基本周波数で再合成します。

ピッチシフトのための古いアナログ録音技術の詳細な説明は、 「Alvin and the Chipmunks § 録音技術」に記載されています。

ピッチ補正されたオーディオタイムストレッチは、メディア再生のためのHTML標準の一部として、すべての最新のWebブラウザに搭載されています。 ^{[10]同様のコントロールは、} GStreamerやUnityなどのメディアアプリケーションやフレームワークに広く普及しています。

• ビートマッチング
• ダイナミックな音色—チューニングと音色のリアルタイムな変化
• ピッチ補正
• スクラブ（音声）
• ナイトコア

• タイムストレッチとピッチシフトの概要 Stephan Bernsee による最新のタイムおよびピッチ変更技術の包括的な概要
• Stephan Bernsee の smbPitchShift C ソースコード 周波数領域でのピッチ操作を行うための C ソースコード
• KievII の pitchshift.js オープンソースの KievII ライブラリの smbPitchShift コードに基づく Javascript ピッチシフター
• フェーズボコーダー：チュートリアル - フェーズボコーダーの優れた説明
• ピッチシフト、ハーモナイズ、その他のエキゾチックなエフェクトを実現する新しいフェーズボコーダー技術
• フェーズボコーダーにおけるトランジェント処理への新しいアプローチ
• PICOLAとTDHS
• ピッチシフターの作り方 DSPチップ上で動作するリアルタイムギターピッチシフターの理論、方程式、図、パフォーマンス
• ZTX タイム ストレッチ ライブラリ iOS、Linux、Windows、Mac OS X 向けの人気のサードパーティ タイム ストレッチ ライブラリの無料版と商用版
• Elastique by zplane は、主に DJ や DAW メーカーが使用する商用クロスプラットフォーム ライブラリです。
• Qneo の Voice Synth - クリエイティブな音声作成に特化したシンセサイザー
• TSM ツールボックス さまざまなタイムスケール変更手順の無料 MATLAB 実装
• PaulStretch at the Wayback Machine (アーカイブ 2023-02-02)、極端な (>10 倍) タイムストレッチのためのよく知られたアルゴリズム
• リアルタイムオーディオストレッチのための Bungee オープンソースおよび商用ライブラリ
• Rubber Band — タイムストレッチとピッチシフトのためのオープンソースライブラリ
• SoundTouch — テンポ、ピッチ、再生速度を変更するためのオープンソースライブラリ