Loading article…
計算的聴覚情景分析（CASA ）は、計算手段による聴覚情景分析の研究です。 [1]本質的には、CASAシステムは、人間のリスナーと同じように音源の混合物を分離することを目的とした「機械リスニング」システムです。CASAは、人間の聴覚システムのメカニズムに基づいている（少なくともある程度）という点でブラインド信号分離の分野とは異なり、音響環境のマイク録音を2つしか使用しません。これは、カクテルパーティー問題に関連しています。
原則
CASA は聴覚システムの機能部分をモデル化するために役立つため、生物学的聴覚システムの各部分を既知の物理モデルの観点から見る必要がある。外耳、中耳、内耳の 3 つの領域からなる聴覚末梢神経は、音の振動を聴神経の活動電位に変換する複雑な変換器として機能している。外耳は、外耳、外耳道、鼓膜から構成される。外耳は、音響漏斗のように、音源の位置を特定するのに役立ちます。[2]外耳道は共鳴管 (オルガンのパイプのように) として機能し、2～5.5 kHz の周波数を増幅し、最大増幅は約 4 kHz で約 11 dB になります。[3]聴覚器官である蝸牛は、ライスナー膜と基底膜の2 つの膜で構成されています。基底膜は、基底膜の特定の領域の共鳴周波数と一致する特定の刺激周波数を介して音声刺激に移動します。基底膜の動きは、内耳細胞を一方向に移動させ、螺旋神経節細胞内の活動電位の半波整流信号をコード化します。これらの細胞の軸索は聴神経を構成し、整流刺激をコード化します。聴神経の反応は、基底膜と同様に、特定の周波数を選択します。より低い周波数では、繊維は「位相ロック」を示します。高次の聴覚経路中枢のニューロンは、周期性、音の強度、振幅、周波数変調などの特定の刺激特性に調整されます。[1]また、後部上側頭葉と後部帯状皮質を含む後部皮質領域 を通じて、ASA の神経解剖学的関連があります。研究により、アルツハイマー病患者は ASA および分離およびグループ化操作の障害に影響を受けることがわかっています。[4]
システムアーキテクチャ
蝸牛図
CASA 処理の最初の段階として、コクレアグラムは入力信号の時間周波数表現を作成します。外耳と中耳のコンポーネントを模倣することで、信号は蝸牛と有毛細胞によって自然に選択されるさまざまな周波数に分割されます。基底膜の周波数選択性のため、膜をモデル化するためにフィルター バンクが使用され、各フィルターは基底膜上の特定のポイントに関連付けられます。[1]
有毛細胞はスパイクパターンを生成するため、モデルの各フィルタもインパルス応答で同様のスパイクを生成する必要があります。ガンマトーンフィルタを使用すると、ガンマ関数とトーンの積としてインパルス応答が得られます。ガンマトーンフィルタの出力は、基底膜の変位の測定値と見なすことができます。ほとんどの CASA システムは、スパイクベースではなく、聴神経の発火率を表します。これを得るために、フィルタバンクの出力は半波整流され、その後平方根が取られます。（自動ゲインコントローラなどの他のモデルも実装されています）。半整流波は、有毛細胞の変位モデルに似ています。有毛細胞の追加モデルには、ガンマトーンフィルタバンクとペアになっている Meddis 有毛細胞モデルがあり、有毛細胞の変換をモデル化しています。[5]各有毛細胞内には伝達物質の貯蔵庫が 3 つあり、伝達物質は基底膜への変位の程度に比例して放出されるという仮定に基づいて、放出は神経線維で生成されるスパイクの確率に等しくなります。このモデルは、整流、圧縮、自発発火、適応など、CASAシステムの多くの神経反応を再現します。[1]
相関図
2つのピッチ理論を統合したピッチ知覚の重要なモデル：[1]
- 場所理論（解決された倍音の役割を強調）
- 時間理論（未解決の倍音の役割を強調）
相関図は、通常、シミュレートされた聴神経の発火活動を各フィルタチャネルの出力に自己相関させることによって時間領域で計算されます。[1] 周波数にわたって自己相関をプールすることにより、要約相関図のピークの位置は知覚されるピッチに対応します。[1]
クロスコレログラム
両耳は異なる時間に音声信号を受信するため、両耳から取得した遅延を使用して音源を特定できます。[6]モデルの左チャンネルと右チャンネルからの遅延を相互相関させることで、入力信号内の時間的な位置にかかわらず、一致するピークを同じ局所的な音として分類できます。[1]両耳間の相互相関メカニズムの使用は、聴覚中脳 のニューロンの配置と並行して、生理学的研究を通じてサポートされています。[7]
時間周波数マスク
音源を分離するために、CASAシステムは蝸牛図をマスクします。このマスクはウィーナーフィルタであることもあり、対象となる音源領域に重み付けし、残りを抑制します。[1]マスクの背後にある生理学的動機は、より大きな音によって音が聞こえなくなる聴覚知覚に起因します。[8]
再合成
再合成経路は、セグメントのグループからオーディオ信号を再構築します。蝸牛図を反転させることで、高品質の再合成音声信号を得ることができます。[1]
アプリケーション
モノラルCASA
モノラル音声分離は、最初は周波数に基づいて音声を分離することから始まりました。周波数に基づいて異なる音声信号をセグメント化する初期の開発は数多くありました。[1]他のモデルもこのプロセスに倣い、状態空間モデル、バッチ処理、予測駆動型アーキテクチャによる適応が追加されました。[9] CASAの使用により、ASRおよび音声分離システムの堅牢性が向上しました。[10]
バイノーラルCASA
CASAは人間の聴覚経路をモデル化しているため、バイノーラルCASAシステムは、空間的に離れた2つのマイクを使用することで、音の定位、聴覚のグループ化、残響に対する堅牢性を提供し、人間のモデルよりも優れています。相互相関に似た方法を使用して、システムは両方の入力マイクからターゲット信号を抽出できます。[11] [12]
ニューラルCASAモデル
生物学的聴覚システムはニューロンの活動と深く結びついているため、CASA システムの設計には神経モデルも組み込まれています。この領域の基礎となるのは 2 つの異なるモデルです。Malsburg と Schneider は、異なるストリーム (同期および非同期) の特徴を表すために発振器を備えたニューラル ネットワークモデルを提案しました。 [13] Wang はまた、時間周波数内の聴覚シーンを表すために、遅延線を備えたグローバル抑制装置を備えた興奮性ユニットのネットワークを使用するモデルを提示しました。[14] [15]
音楽オーディオ信号の分析
CASA システムの典型的なアプローチは、物理的な聴覚システムを模倣するために、音源を個々の構成要素に分割することから始まります。しかし、脳は必ずしもオーディオ入力を個別に処理するのではなく、混合物として処理するという証拠があります。[16]オーディオ信号を個々の構成要素に分解する代わりに、入力は、コード、ベースとメロディー、ビート構造、コーラスとフレーズの繰り返しなどの高レベルの記述子に分解されます。これらの記述子は、モノラル信号とバイノーラル信号を使用する実際のシナリオでは困難に直面します。[1]また、これらの記述子の推定は、音楽入力の文化的影響に大きく依存します。たとえば、西洋音楽では、メロディーとベースが曲のアイデンティティに影響を与え、その中心はメロディーによって形成されます。メロディーとベースの周波数応答を区別することで、基本周波数を推定し、区別のためにフィルタリングすることができます。[17]コードの検出は、パターン認識を通じて、倍音成分を記述する低レベルの特徴を抽出することで実装できます。[18] 音楽シーン分析で利用される技術は、音声認識やその他の環境音にも応用できます。[19]今後の研究には、リアルタイムビートトラッキングシステムなどのオーディオ信号処理のトップダウン統合や、聴覚心理学や生理学を取り入れた信号処理領域の拡大などがあります。[20]
神経知覚モデリング
多くのモデルでは、オーディオ信号をさまざまな周波数の複雑な組み合わせと見なしていますが、聴覚システムをモデル化するには、神経成分も考慮する必要があります。 ストリーム（特徴ベースの音）が多くの脳領域に分散しているニューロン活動に対応するという全体論的なプロセスを採用することで、音の知覚をマッピングしてモデル化できます。 オーディオ知覚と脳内の領域の結合には、2 つの異なるソリューションが提案されています。 階層的コーディングは、多くの細胞をモデル化して、聴覚シーン内の特徴とオブジェクトのすべての可能な組み合わせをエンコードします。[21] [22]時間的または振動的な相関は、神経振動間の同期と非同期に焦点を当てて、聴覚特徴間の結合の状態をエンコードすることにより、結合の問題に対処します。[1]これら 2 つのソリューションは、場所コーディングと時間コーディングの間の大失敗に非常に似ています。 神経成分のモデル化から派生した ASA の別の現象が、CASA システムで関係します。それは、神経メカニズムのモデル化の範囲です。 CASAシステムの研究では、蝸牛フィルタリングの帯域通過特性やランダムな聴神経発火パターンなど、いくつかの既知のメカニズムのモデル化が行われてきましたが、これらのモデルは新しいメカニズムの発見にはつながらず、むしろ既知のメカニズムの目的を理解するのに役立つ可能性があります。[23]
参照
さらに読む
DF Rosenthal および HG Okuno (1998) 計算聴覚シーン分析。マホワ、ニュージャージー州: ローレンス・エルバウム
参考文献
- ^ abcdefghijklm Wang, DL および Brown, GJ (編) (2006).計算聴覚シーン分析: 原理、アルゴリズム、アプリケーション. IEEE Press/Wiley-Interscience
- ^ Warren, R.(1999).聴覚知覚：新たな分析と統合。ニューヨーク：ケンブリッジ大学出版局。
- ^ Wiener, F.(1947)「人間の頭部による進行波の回折について」アメリカ音響学会誌、19、143-146。
- ^ Goll, J., Kim, L. (2012)「アルツハイマー病における聴覚情景分析の障害」Brain 135 (1)、190–200。
- ^ Meddis, R., Hewitt, M., Shackleton, T. (1990). 「内耳有毛細胞/聴神経シナプスの計算モデルの実装の詳細」アメリカ音響学会誌 87(4) 1813–1816.
- ^ Jeffress, LA (1948). 「音の定位に関する場所理論」.比較生理心理学ジャーナル, 41 35–39.
- ^ Yin, T., Chan, J. (1990). 「ネコの内側上オリーブにおける両耳間の時間感度」 Journal Neurophysiology , 64(2) 465–488.
- ^ Moore, B. (2003).聴覚心理学入門（第5版）. Academic Press, ロンドン.
- ^ Ellis, D (1996)。「予測駆動型計算聴覚シーン分析」。MIT 電気工学およびコンピュータサイエンス学部博士論文。
- ^ Li, P., Guan, Y. (2010). 「堅牢な音声認識のためのMASVQとCASAに基づくモノラル音声分離」Computer Speech and Language、24、30–44。
- ^ Bodden, M. (1993). 「人間の音源位置とカクテルパーティー効果のモデル化」Acta Acustica 1 43–55.
- ^ Lyon, R.(1983). 「両耳の位置と分離の計算モデル」。 国際音響、音声、信号処理会議の議事録1148–1151。
- ^ Von der Malsburg, C., Schneider, W. (1986). 「ニューラルカクテルパーティプロセッサ」.生物サイバネティクス 54 29–40.
- ^ Wang, D.(1994). 「振動相関に基づく聴覚ストリーム分離」。信号処理のためのニューラルネットワークに関するIEEE国際ワークショップ議事録、624–632。
- ^ Wang, D.(1996)「振動相関に基づく原始的聴覚分離」認知科学 20、409-456。
- ^ Bregman, A (1995). 「人間の知覚から導かれる聴覚情景分析の計算モデルに対する制約」日本音響学会誌 (E)、16(3)、133–136。
- ^ Goto, M.(2004). 「リアルタイム音楽シーン記述システム：実世界のオーディオ信号におけるメロディーとベースラインを検出するための優勢F0推定」Speech Communication、43、311–329。
- ^ Zbigniew, R., Wieczorkowska, A.(2010). 「音楽情報検索の進歩」.計算知能研究, 274 119–142.
- ^ 増田勝瀬一 (2001). 「非定常、予測不可能、高レベルノイズが存在する場合の音声認識のための新しい方法」Proceedings Eurospeech、1119–1122。
- ^ Goto, M (2001). 「ドラム音の有無にかかわらず音楽のためのオーディオベースのリアルタイムビートトラッキングシステム」Journal of New Music Research、30(2) : 159–171。
- ^ deCharms, R., Merzenich, M, (1996). 「活動電位タイミングの調整による音の一次皮質表現」Nature , 381 , 610–613.
- ^ Wang, D.(2005). 「シーン分析の時間次元」. IEEE Transactions on Neural Networks , 16(6) , 1401–1426.
- ^ Bregman, A.(1990).聴覚情景分析. ケンブリッジ: MIT 出版.