再割り当て方法

再割り当て法は、分析された信号の真のサポート領域に近い時間周波数座標にデータをマッピングすることによって、時間周波数表現（スペクトログラムや短時間フーリエ変換など） を鮮明にする手法です。この方法は、再割り当て法、再マッピング、時間周波数再割り当て、修正移動ウィンドウ法など、さまざまな名前で複数のグループによって独立に導入されています。^[1]再割り当て法は、瞬間周波数と群遅延のローカル推定値に従ってデータを再配置することにより、ぼやけた時間周波数データを鮮明にします。この再割り当てされた時間周波数座標へのマッピングは、分析ウィンドウに関して時間と周波数で分離可能な信号に対して非常に正確です。

多くの対象信号には、時間と周波数に応じて変化するエネルギー分布があります。たとえば、始まりや終わりのあるサウンド信号には、時間に応じて変化するエネルギー分布があり、ほとんどのサウンドは、その持続時間中に時間と周波数の両方で大きな変化を示します。時間周波数表現は、このような信号を分析または特徴付けるためによく使用されます。時間周波数表現は、1 次元の時間領域信号を時間と周波数の 2 次元関数にマッピングします。時間周波数表現は、楽譜が時間に応じて音楽のピッチの変化を表すのと同じように、時間に応じてスペクトル エネルギー分布の変化を表します。

オーディオ信号解析では、スペクトログラムが最も一般的に使用される時間周波数表現です。これは、スペクトログラムがよく理解されており、他の時間周波数表現の解釈を困難にすることがあるいわゆる「クロスターム」の影響を受けないためと考えられます。しかし、スペクトログラムの計算に必要なウィンドウ操作により、時間分解能と周波数分解能の間に好ましくないトレードオフが生じ、スペクトログラムは時間、周波数、または両方の次元でぼやけた時間周波数表現を提供します。時間周波数再割り当て法は、スペクトログラムのようなぼやけた表現で時間周波数データを再フォーカスする手法であり、分析された信号の実際のサポート領域に近い時間周波数座標にデータをマッピングします。^[2]

最もよく知られている時間周波数表現の1つは、短時間フーリエ変換の振幅の2乗として定義されるスペクトログラムです。短時間位相スペクトルには信号に関する重要な時間情報が含まれていることが知られていますが、この情報の解釈は難しいため、通常、短時間スペクトル解析では短時間振幅スペクトルのみが考慮されます。^[2]

時間周波数表現としてのスペクトログラムの解像度は比較的低い。時間と周波数の解像度は分析ウィンドウの選択によって決まり、一方の領域に集中するともう一方の領域がぼやける。^[2]

スペクトログラムに比べて解像度が向上した時間周波数表現はウィグナー・ヴィル分布であり、信号に完全に一致するウィンドウ関数を使用した短時間フーリエ変換として解釈できます。ウィグナー・ヴィル分布は時間と周波数に高度に集中していますが、非常に非線形で非局所的です。その結果、この分布はノイズに非常に敏感であり、関心のある成分をマスクするクロス成分を生成するため、多成分信号のエネルギー分布に関する有用な情報を抽出することが困難になります。^[2]

コーエンの双線形時間周波数表現のクラスは、「平滑化された」ウィグナー・ヴィル分布のクラスであり、分布のノイズに対する感度を低減し、交差成分を抑制できる平滑化カーネルを採用しているが、時間と周波数の分布が不鮮明になるという代償がある。この不鮮明化により、真のウィグナー・ヴィル分布がエネルギーを示さない領域で分布がゼロ以外になる。^[2]

スペクトログラムはコーエンのクラスのメンバーです。これは、分析ウィンドウのウィグナー・ヴィル分布に等しい平滑化カーネルを持つ平滑化されたウィグナー・ヴィル分布です。再割り当ての方法は、ウィグナー・ヴィル分布を平滑化しますが、その後、分布を信号成分の真のサポート領域に再び焦点を合わせます。この方法は、コーエンのクラスのどのメンバーでも時間と周波数のスミアリングを軽減することが示されています。^{[2] [3]} 再割り当てされたスペクトログラムの場合、短時間位相スペクトルを使用して、スペクトルデータの公称時間と周波数の座標を修正し、分析された信号の真のサポート領域の近くにマッピングし直します。

再割り当て法に関する先駆的な研究は、Kodera、Gendrin、de Villedaryによって「修正移動ウィンドウ法」という名前で発表されました。^[4]彼らの技術は、各データポイントに、分析された信号のエネルギー分布をよりよく反映する新しい時間周波数座標を割り当てることにより、古典的な移動ウィンドウ法（スペクトログラムに相当）の時間と周波数の解像度を向上させます。^{[4] : 67}

古典的な移動窓法では、時間領域信号は、次のように定義される基本信号のセットに基づいて、係数のセットに分解される^{[4] ：73}${\displaystyle x(t)}$${\displaystyle \epsilon (t,\omega )}$${\displaystyle h_{\omega }(t)}$

${\displaystyle h_{\omega }(t)=h(t)e^{j\omega t}}$

ここで、は（実数値の）ローパスカーネル関数であり、短時間フーリエ変換の窓関数に似ている。この分解の係数は次のように定義される。 ${\displaystyle h(t)}$

${\displaystyle {\begin{aligned}\epsilon (t,\omega )&=\int x(\tau )h(t-\tau )e^{-j\omega \left[\tau -t\right]}d\tau \\&=e^{j\omega t}\int x(\tau )h(t-\tau )e^{-j\omega \tau }d\tau \\&=e^{j\omega t}X(t,\omega )\\&=X_{t}(\omega )\\&=M_{t}(\omega )e^{j\phi _{\tau }(\omega )}\end{aligned}}}$

ここで、は、時間的にシフトされ、ウィンドウ化された信号のフーリエ変換の振幅と位相である。^{[5] : 4}${\displaystyle M_{t}(\omega )}$${\displaystyle \phi _{\tau }(\omega )}$${\displaystyle X_{t}(\omega )}$${\displaystyle x(t)}$${\displaystyle t}$${\displaystyle h(t)}$

${\displaystyle x(t)}$移動窓係数から^{[5]によって再構成することができる：8}

${\displaystyle {\begin{aligned}x(t)&=\iint X_{\tau }(\omega )h_{\omega }^{*}(\tau -t)d\omega d\tau \\&=\iint X_{\tau }(\omega )h(\tau -t)e^{-j\omega \left[\tau -t\right]}d\omega d\tau \\&=\iint M_{\tau }(\omega )e^{j\phi _{\tau }(\omega )}h(\tau -t)e^{-j\omega \left[\tau -t\right]}d\omega d\tau \\&=\iint M_{\tau }(\omega )h(\tau -t)e^{j\left[\phi _{\tau }(\omega )-\omega \tau +\omega t\right]}d\omega d\tau \end{aligned}}}$

振幅スペクトルを持つ信号の場合、その時間変化は位相変化に比べて遅いため、再構成積分への最大の寄与は位相定常条件を満たす点の近傍から得られる^{[4] ：74}${\displaystyle M(t,\omega )}$${\displaystyle t,\omega }$

${\displaystyle {\begin{aligned}{\frac {\partial }{\partial \omega }}\left[\phi _{\tau }(\omega )-\omega \tau +\omega t\right]&=0\\{\frac {\partial }{\partial \tau }}\left[\phi _{\tau }(\omega )-\omega \tau +\omega t\right]&=0\end{aligned}}}$

^{または同等に、 [4]}で定義される点の周り^：74${\displaystyle {\hat {t}},{\hat {\omega }}}$

${\displaystyle {\begin{aligned}{\hat {t}}(\tau ,\omega )&=\tau -{\frac {\partial \phi _{\tau }(\omega )}{\partial \omega }}=-{\frac {\partial \phi (\tau ,\omega )}{\partial \omega }}\\{\hat {\omega }}(\tau ,\omega )&={\frac {\partial \phi _{\tau }(\omega )}{\partial \tau }}=\omega +{\frac {\partial \phi (\tau ,\omega )}{\partial \tau }}\end{aligned}}}$

この現象は光学などの分野では定常位相の原理として知られており、周期的または準周期的な信号の場合、周期振動に起因しないフーリエ位相スペクトルの変化は、振動周波数付近では時間に対して緩やかであり、周囲の領域では変化が比較的急速であるという原理である。同様に、時間的に集中しているインパルス信号の場合、位相スペクトルの変化はインパルスの時間付近では周波数に対して緩やかであり、周囲の領域では変化が比較的急速である。^{[4] : 73}

再構成では、位相が急激に変化する周波数領域では、合成波形への正と負の寄与が、破壊的干渉により打ち消される。再構成に大きく寄与するのは、位相がゆっくりと変化する領域（定常位相）のみであり、最大の寄与（重心）は、時間と周波数に対して位相が最もゆっくりと変化するポイントで発生する。^{[4] : 71}

このようにして計算された時間周波数座標は、局所的な群遅延および局所的な瞬時周波数に等しく、短時間フーリエ変換の位相から計算されますが、これは通常、スペクトログラムを作成するときに無視されます。これらの量は、時間と周波数に局所化されたウィンドウ処理およびフィルタリングされた信号を表すという意味で局所的であり、分析対象の信号のグローバルな特性ではありません。^{[4] : 70}${\displaystyle {\hat {t}}_{g}(t,\omega ),}$${\displaystyle {\hat {\omega }}_{i}(t,\omega ),}$

修正移動ウィンドウ法、または再割り当て法は、 の帰属点を、が計算された点ではなく、最大寄与のこの点に変更（再割り当て）します。この点は、質量分布との類推により、分布の重心と呼ばれることもあります。この類推は、スペクトルエネルギーをその分布の重心へ帰属させることは、帰属させるエネルギーがある場合にのみ意味があり、したがって、スペクトログラムがゼロ値の点では再割り当て法は意味をなさないことを思い出させるのに役立ちます。^[2]${\displaystyle \epsilon (t,\omega )}$${\displaystyle {\hat {t}}(t,\omega ),{\hat {\omega }}(t,\omega )}$${\displaystyle t,\omega }$

デジタル信号処理では、時間領域と周波数領域をサンプリングするのが最も一般的です。離散フーリエ変換は、時間領域信号のサンプルからフーリエ変換のサンプルを計算するために使用されます。Kodera らが提案した再割り当て操作は、離散短時間フーリエ変換データに直接適用することはできません。これは、時間と周波数が離散的なデータに対しては偏微分を直接計算できないためです。この困難さが、再割り当て法の幅広い使用に対する主な障壁となっていることが示唆されています。 ${\displaystyle X(k)}$${\displaystyle x(n)}$

差分法を使って偏微分を近似することは可能です。例えば、位相スペクトルを2つの近い時間で評価し、時間に関する偏微分を2つの値の差を時間差で割ったものとして近似することができます。

${\displaystyle {\begin{aligned}{\frac {\partial \phi (t,\omega )}{\partial t}}&\approx {\frac {1}{\Delta t}}\left[\phi \left(t+{\frac {\Delta t}{2}},\omega \right)-\phi \left(t-{\frac {\Delta t}{2}},\omega \right)\right]\\{\frac {\partial \phi (t,\omega )}{\partial \omega }}&\approx {\frac {1}{\Delta \omega }}\left[\phi \left(t,\omega +{\frac {\Delta \omega }{2}}\right)-\phi \left(t,\omega -{\frac {\Delta \omega }{2}}\right)\right]\end{aligned}}}$

およびの値が十分に小さく、位相差が適切に「アンラップ」されていると仮定すると、この差分法は位相の偏導関数の良好な近似値を生成します。これは、位相の進化が単一の近傍成分の正弦波振動による回転によって支配されるスペクトル領域では、位相が線形関数であるためです。 ${\displaystyle \Delta t}$${\displaystyle \Delta \omega ,}$

小寺らとは独立して、ネルソンは短時間位相スペクトルの偏微分から短時間スペクトルデータの時間周波数精度を向上させる同様の方法に到達した。^{[6]ネルソンの}クロススペクトル面は、有限差分法と同等の微分近似値を計算する ことが簡単に示される。

オージェとフランドリンは、コデラらがスペクトログラムの文脈で提案した再割り当て法が、再割り当て操作を一般化することで、 コーエンの時間周波数表現のクラスの任意のメンバーに拡張できることを示した。

${\displaystyle {\begin{aligned}{\hat {t}}(t,\omega )&=t-{\frac {\iint \tau \cdot W_{x}(t-\tau ,\omega -\nu )\cdot \Phi (\tau ,\nu )d\tau d\nu }{\iint W_{x}\left(t-\tau ,\omega -\nu \right)\cdot \Phi (\tau ,\nu )d\tau d\nu }}\\{\hat {\omega }}(t,\omega )&=\omega -{\frac {\iint \nu \cdot W_{x}(t-\tau ,\omega -\nu )\cdot \Phi (\tau ,\nu )d\tau d\nu }{\iint W_{x}(t-\tau ,\omega -\nu )\cdot \Phi (\tau ,\nu )d\tau d\nu }}\end{aligned}}}$

ここで、は のウィグナー・ヴィル分布であり、は分布を定義するカーネル関数です。彼らはさらに、位相の偏微分を明示的に計算することなく、再割り当てされたスペクトログラムの時間と周波数を効率的かつ正確に計算する効率的な方法について説明しました。^[2]${\displaystyle W_{x}(t,\omega )}$${\displaystyle x(t)}$${\displaystyle \Phi (t,\omega )}$

スペクトログラムの場合、再割り当て操作は次のように計算できる。

${\displaystyle {\begin{aligned}{\hat {t}}(t,\omega )&=t-\Re \left\{{\frac {X_{{\mathcal {T}}h}(t,\omega )\cdot X^{*}(t,\omega )}{|X(t,\omega )|^{2}}}\right\}\\{\hat {\omega }}(t,\omega )&=\omega +\Im \left\{{\frac {X_{{\mathcal {D}}h}(t,\omega )\cdot X^{*}(t,\omega )}{|X(t,\omega )|^{2}}}\right\}\end{aligned}}}$

ここで、は解析ウィンドウを使用して計算された短時間フーリエ変換であり、は時間重み付け解析ウィンドウを使用して計算された短時間フーリエ変換であり、は時間微分解析ウィンドウを使用して計算された短時間フーリエ変換です。 ${\displaystyle X(t,\omega )}$${\displaystyle h(t),X_{{\mathcal {T}}h}(t,\omega )}$${\displaystyle h_{\mathcal {T}}(t)=t\cdot h(t)}$${\displaystyle X_{{\mathcal {D}}h}(t,\omega )}$${\displaystyle h_{\mathcal {D}}(t)={\tfrac {d}{dt}}h(t)}$

補助ウィンドウ関数とを使用すると、で評価された 3 つのフーリエ変換の代数的組み合わせから、任意の時間周波数座標で再割り当て操作を計算できます 。これらのアルゴリズムは、単一の時間と周波数で評価された短時間スペクトル データに対してのみ動作し、明示的に導関数を計算しないため、再割り当てされた離散短時間フーリエ変換を効率的に計算できます。 ${\displaystyle h_{\mathcal {T}}(t)}$${\displaystyle h_{\mathcal {D}}(t)}$${\displaystyle t,\omega }$${\displaystyle t,\omega }$

この計算方法における制約の 1 つは、がゼロ以外でなければならないことです。再割り当て操作自体は、再割り当てするエネルギーが存在することを意味し、分布がゼロ値の場合には意味がないため、これは大きな制約ではありません。 ${\displaystyle |X(t,\omega )|^{2}}$

短時間フーリエ変換は、準調和楽器の音のような多成分 信号における個々の成分の振幅と位相を推定するためによく使用されます。さらに、時間と周波数の再割り当て操作は、短時間フーリエ変換によって報告されたスペクトルエネルギーを複素エネルギー分布の局所的な重心である点に帰属させることで、表現を鮮明化するために使用できます。^[7]

単一成分からなる信号の場合、その成分を通過する任意の短時間フーリエ変換チャネルの位相の偏微分から瞬時周波数を推定することができます。信号を複数の成分に分解する場合は、

${\displaystyle x(t)=\sum _{n}A_{n}(t)e^{j\theta _{n}(t)}}$

そして各成分の瞬間周波数は時間に対する位相の微分として定義され、すなわち、

${\displaystyle \omega _{n}(t)={\frac {d\theta _{n}(t)}{dt}},}$

フィルタの通過帯域内に 1 つのコンポーネントしか存在しない場合、各コンポーネントを通過させるフィルタの応答の位相から、各コンポーネントの瞬間周波数を計算できます。

これは周波数領域におけるネルソンが分離可能性^[6]と呼んだ特性であり、このように分析されるすべての信号に要求される。この特性が満たされない場合、個々の成分のパラメータを短時間フーリエ変換から推定できないため、目的の多成分分解は達成できない。このような場合、分離可能性基準を満たすように、異なる分析ウィンドウを選択する必要があります。

信号の成分が特定の短時間スペクトル分析ウィンドウに関して周波数で分離可能な場合、各短時間フーリエ変換フィルタの出力は、最大で単一の支配的な（大きなエネルギーを持つ）成分のフィルタ処理バージョンとなり、 の位相の時間微分は における支配的な成分の位相の時間微分に等しくなります。したがって、瞬間周波数を持つ成分がの近傍における支配的な成分である場合、その成分の瞬間周波数は で評価された短時間フーリエ変換の位相から計算できます。つまり、 ${\displaystyle X(t,\omega _{0})}$${\displaystyle \omega _{0}.}$${\displaystyle x_{n}(t),}$${\displaystyle \omega _{n}(t)}$${\displaystyle \omega _{0},}$${\displaystyle \omega _{0}.}$

${\displaystyle {\begin{aligned}\omega _{n}(t)&={\frac {\partial }{\partial t}}\arg\{x_{n}(t)\}\\&={\frac {\partial }{\partial t}}\arg\{X(t,\omega _{0})\}\end{aligned}}}$

短時間フーリエ変換フィルタバンクの各バンドパスフィルタが最大で1つの複素指数成分を通過させるのと同様に、2つの時間的イベントは、入力信号の同じウィンドウセグメントに含まれないように、時間的に十分に離れている必要があります。これは時間領域における分離可能性の特性であり、2つのイベント間の時間が、短時間フーリエ変換フィルタのインパルス応答の長さ、つまり、${\displaystyle h(t).}$

• 
  54.4 ms の Kaiser ウィンドウとシェーピング パラメータ 9 を使用して計算され、倍音を強調した「open」という単語の長いウィンドウの再割り当てスペクトログラム。
• 
  フォルマントと声門パルスを強調する、シェーピングパラメータ 9 の 13.6 ms カイザーウィンドウを使用して計算された、単語「open」のショートウィンドウ再割り当てスペクトログラム。

一般に、多成分信号には、同等に有効な分解が無数に存在する。分離可能性の特性は、目的の分解のコンテキストで考慮する必要がある。たとえば、音声信号の分析では、声門パルス間の時間に対して長い分析ウィンドウは、高調波を分離するのに十分であるが、各ウィンドウで多くのパルスがカバーされるため、個々の声門パルスは不鮮明になる（つまり、選択した分析ウィンドウでは、個々のパルスを時間的に分離できない）。声門パルス間の時間よりもはるかに短い分析ウィンドウは、1 つ以上のパルスにまたがるウィンドウがないため、声門パルスを分解できる可能性があるが、分析ウィンドウ スペクトルのメイン ローブが高調波間の間隔よりも広いため、高調波周波数は不鮮明になる（つまり、選択した分析ウィンドウでは、高調波を周波数的に分離できない）。^{[6] : 2585}

ガードナーとマグナスコ (2006) は、聴覚神経が音を処理するために再割り当て法の一種を使用する可能性があると主張しています。これらの神経は、振幅よりもタイミング (位相) 情報をよりよく保存することで知られています。著者らは、複素値 (位相と振幅の両方) を使用した再割り当てのバリエーションを考案し、聴覚神経のようにスパースな出力を生成することを示しています。この再割り当てを異なる帯域幅のウィンドウで実行することで (上記のセクションの説明を参照)、聴覚システムと同様に、複数の種類の信号をキャプチャする「コンセンサス」が見つかります。彼らは、このアルゴリズムはニューロンが実装できるほど単純であると主張しています。^[8]

^[9]

• SA Fulop と K. Fitz、「21 世紀のスペクトログラム」、Acoustics Today、第 2 巻、第 3 号、pp. 26–33、2006 年。
• SA Fulop および K. Fitz、「時間補正された瞬間周波数 (再割り当て) スペクトログラムを計算するためのアルゴリズムとその応用」、Journal of the Acoustical Society of America、vol. 119、pp. 360 – 371、2006 年 1 月。

• TFTB — 時間周波数ツールボックス
• SPEAR - 正弦波部分編集分析と再合成
• Loris - サウンドモデリングとモーフィングのためのオープンソースソフトウェア
• SRA - 音声信号のスペクトルと粗さを分析するためのウェブベースの研究ツール。2019-11-18 にWayback Machineでアーカイブされました(Northwest Academic Computing Consortium の助成金により、イースタン ワシントン大学の J. Middleton 氏に提供)