スペクトログラム

スペクトログラムとは、信号の周波数スペクトルが時間とともにどのように変化するかを視覚的に表現したものです。音声信号に適用される場合、スペクトログラムはソノグラフ、ボイスプリント、またはボイスグラムと呼ばれることもあります。データが3Dグラフで表現される場合は、ウォーターフォール表示と呼ばれることもあります。

スペクトログラムは、音楽、言語学、ソナー、レーダー、音声処理、^{[ 1 ]}地震学、鳥類学などの分野で広く使用されています。音声のスペクトログラムは、音声的に話された単語を識別したり、動物のさまざまな鳴き声を分析したりするために使用できます。

スペクトログラムは、光学分光計、バンドパスフィルターバンク、フーリエ変換、またはウェーブレット変換（この場合、スケールグラムまたはスケーログラムとも呼ばれる）によって生成できます。^{[ 2 ]}

スペクトログラムは通常、ヒートマップ、つまり色や明るさを変化させることで強度を示す画像として表示されます。

一般的な形式は、2つの幾何学的次元を持つグラフです。1つの軸は時間を表し、もう1つの軸は周波数を表します。特定の時間における特定の周波数の振幅を示す3つ目の次元は、画像内の各点の強度または色によって表されます。

グラフの形式にはさまざまなバリエーションがあります。縦軸と横軸を入れ替えて、時間が上下に流れるようにしたり、振幅を色や強度ではなく3Dサーフェスの高さで表すウォーターフォールプロットにしたりすることもあります。周波数軸と振幅軸は、グラフの用途に応じて、線形または対数になります。音声は通常、振幅軸が対数（おそらくデシベル、またはdB）で表され、周波​​数は、調和関係を強調するために線形、または音楽的、音調的関係を強調するために対数になります。

光のスペクトログラムは、光学分光計を用いて時間経過とともに直接作成することができる。

スペクトログラムは、時間領域信号から2つの方法で作成できます。1つは、一連のバンドパスフィルタから得られるフィルタバンクとして近似する方法（これは、現代のデジタル信号処理が登場する以前の唯一の方法でした）、もう1つは、フーリエ変換を使用して時間信号から計算する方法です。これら2つの方法は、実際には2つの異なる時間周波数表現を形成しますが、いくつかの条件下では同等になります。

バンドパスフィルタ方式では、通常、アナログ処理を用いて入力信号を周波数帯域に分割します。各フィルタの出力の大きさによって、スペクトログラムを紙に画像として記録するトランスデューサが制御されます。^{[ 3 ]}

FFTを用いたスペクトログラムの作成はデジタル処理です。時間領域でデジタルサンプリングされたデータは、通常は重なり合うチャンクに分割され、各チャンクの周波数スペクトルの振幅を計算するためにフーリエ変換されます。各チャンクは画像内の垂直線に対応し、特定の時点（チャンクの中点）における振幅と周波数の関係を表します。これらのスペクトルまたは時間プロットは、画像または3次元表面を形成するために「並べて」配置されるか^{[ 4 ]} 、ウィンドウ処理など様々な方法でわずかに重ね合わされます。この処理は基本的に、信号の短時間フーリエ変換（STFT）の振幅の二乗を計算することに相当します。${\displaystyle s(t)}$つまり、窓の幅に対して${\displaystyle \omega }$、$\displaystyle \mathrm {スペクトログラム} (t,\omega )=\left|\mathrm {STFT} (t,\omega )\right|^{2}}$[ ^{5 ]​}

上記の式から、スペクトログラムには、それが表す信号の正確な位相、あるいは近似位相に関する情報さえ含まれていないことがわかります。このため、このプロセスを逆にしてスペクトログラムから元の信号のコピーを生成することはできませんが、正確な初期位相が重要でない状況では、元の信号の有用な近似を生成することは可能です。分析および再合成サウンドスペクトログラフ^{[ 6 ]}は、これを試みるコンピュータプログラムの一例です。パターン再生は、1940年代後半にハスキンズ研究所で設計された初期の音声合成装置で、音声の音響パターンの画像（スペクトログラム）を音に変換します。

実際、スペクトログラムには位相情報が含まれていますが、それは瞬時周波数の双対である時間遅延（または群遅延）という別の形で現れます。^{[ 7 ]}

解析ウィンドウのサイズと形状は変更可能です。ウィンドウが小さい（短い）ほど、タイミングの精度は向上しますが、周波数表現の精度は低下します。ウィンドウが大きい（長い）ほど、周波数表現の精度は向上しますが、タイミング表現の精度は低下します。これは、 2つの共役変数の精度の積が定数以上である（通常の表記では B*T>=1）というハイゼンベルクの不確定性原理の一例です。 ^{[ 8 ]}

• 初期のアナログスペクトログラムは、鳥の鳴き声（シジュウカラなど）の研究を含む幅広い分野に適用され、現在の研究は最新のデジタル機器を使用して継続され^{[ 9 ]} 、すべての動物の音に適用されています。デジタルスペクトログラムの現代的な使用は、動物の鳴き声の周波数変調（FM）の研究に特に役立ちます。具体的には、FMチャープ、広帯域クリック、社会的調和の識別特性は、スペクトログラムを使用すると最も簡単に視覚化できます。
• スペクトログラムは、言語障害の克服や、重度の聴覚障害を持つ人々の言語訓練に役立つ。^{[ 10 ]}
• 音声学や音声合成の研究は、スペクトログラムの使用によって促進されることが多い。^{[ 11 ] [ 12 ]}
• 深層学習を用いた音声合成では、まずseq2seqモデルによってスペクトログラム（またはメルスケールのスペクトログラム）が予測され、次にそのスペクトログラムがニューラルボコーダーに入力されて合成された生の波形が生成されます。
• スペクトログラムを生成するプロセスを逆に行うことで、スペクトログラムが任意の画像である信号を作成することが可能です。この技術は、音声の中に画像を隠すために使用でき、いくつかの電子音楽アーティストによって採用されています。^{[ 13 ]}ステガノグラフィーも参照してください。
• 現代音楽の中には、スペクトログラムを中間媒体として用いるものがあります。これは、異なる周波数の強度を時間とともに変化させたり、あるいはスペクトログラムを描画して逆変換することで新しい周波数を作り出したりするものです。オーディオのタイムスケール・ピッチ変更と位相ボコーダーを参照してください。
• スペクトログラムは、フィルタなどの信号プロセッサにテスト信号を通した結果を分析し、その性能を確認するために使用できます。^{[ 14 ]}
• 高解像度スペクトログラムは、RFおよびマイクロ波システムの開発に使用されます。^{[ 15 ]}
• スペクトログラムは現在、ベクトルネットワークアナライザで測定された散乱パラメータを表示するために使用される。 ^{[ 16 ]}
• 米国地質調査所とIRISコンソーシアムは、地震観測所を監視するためのほぼリアルタイムのスペクトログラム表示を提供している。^{[ 17 ] [ 18 ]}
• スペクトログラムは、音声認識のためのリカレントニューラルネットワークで使用できます。^{[ 19 ] [ 20 ]}
• 振動信号の場合、スペクトログラムの色スケールは、波形の振幅ピークの周波数を時間経過とともに識別します。時間グラフや周波数グラフとは異なり、スペクトログラムはピーク値を時間と周波数に関連付けます。振動試験エンジニアは、スペクトログラムを使用して連続波形の周波数成分を分析し、強い信号の位置を特定し、振動挙動が時間とともにどのように変化するかを判断します。^{[ 21 ]}
• スペクトログラムは、2つの異なる用途で音声を分析するために使用できます。1つは、人工内耳使用者の音声障害の自動検出、もう1つは、音素クラス認識による音素属性特徴の抽出です。^{[ 22 ]}
• 話者の発音の特徴を得るために、一部の研究者は、短時間のスペクトログラムの線形重ね合わせから話者の発音の安定した表現を与える特徴的なスペクトログラムを得るためにスペクトログラム統計を使用するバイオニクスのアイデアに基づいた方法を提案した。^{[ 23 ]}
• 研究者らは、スペクトログラム技術を活用することで、ECG信号解析への新しいアプローチを模索しており、視覚化と理解の向上を目指している可能性がある。特徴抽出にMFCCを統合することで、音声処理の手法を借用して生体信号から関連情報を抽出する、学際的な応用が示唆される。^{[ 24 ]}
• 温度指示塗料（TIP）の正確な解釈は、航空およびその他の産業用途において非常に重要です。TIPの2Dスペクトログラムは温度解釈に使用できます。^{[ 25 ]}
• スペクトログラムは、人間の胸郭の変化率の信号を処理するのに使用できます。スペクトログラムを使用して呼吸信号を視覚化することにより、研究者らはニューラルネットワークモデルに基づいて呼吸状態を分類するアプローチを提案しました。^{[ 26 ]}

• お使いのコンピューターのマイクで録音された音声やその他の音のスペクトログラムをオンラインで確認できます。
• スペクトログラムが任意のテキストと一致する音列をオンラインで生成する
• スペクトログラムが任意の画像である信号を作成する方法に関する詳細情報
• ソフトウェアスペクトログラムの開発について解説した記事
• スペクトログラムの歴史と計測機器の開発
• 言語学教授が発行する月刊ミステリースペクトログラム誌に掲載されているスペクトログラムから、単語を特定する方法。
• Sonogram Visible Speechは、信号ファイルのスペクトログラム生成のためのGPLライセンスのフリーウェアです。