コンピューターオーディション

コンピュータ聴覚（CA）または機械聴覚は、機械による音声解釈のアルゴリズムとシステムの一般的な研究分野です。 ^{[1] [2]}機械が「聞く」という概念は非常に広範で漠然としているため、コンピュータ聴覚は、もともと特定の問題を扱っていた、または具体的なアプリケーションを念頭に置いていたいくつかの分野を統合しようとしています。Technology Reviewのインタビューを受けたエンジニアのParis Smaragdisは、これらのシステムについて「音を使用して部屋を移動する人の位置を特定したり、機械の故障を監視したり、交通カメラを起動して事故を記録したりするソフトウェア」について語っています。^[3]

人間の聴覚モデルにヒントを得たCAは、コンピュータによるオーディオ信号や音楽信号に対するインテリジェントな操作を実行するために、表現、変換、グループ化、音楽知識の使用、一般的なサウンドセマンティクスなどの問題を扱います。技術的には、信号処理、聴覚モデリング、音楽知覚と認知、パターン認識、機械学習の分野の手法と、音楽知識表現のための人工知能のより伝統的な手法の組み合わせが必要です。 ^{[4] [5]}

コンピュータ ビジョンと画像処理の違いと同様に、コンピュータ オーディションとオーディオ エンジニアリングの違いは、処理ではなくオーディオの理解を扱います。また、自然音や音楽録音などの一般的なオーディオ信号を扱うため、機械による音声理解の問題とも異なります。

コンピュータオーディションの用途は多岐にわたり、サウンドの検索、ジャンル認識、音響モニタリング、音楽の転写、楽譜の追跡、オーディオのテクスチャ、音楽の即興、オーディオの感情などが含まれます。

コンピュータオーディションは、以下の分野と重複しています。

• 音楽情報検索：音楽信号間の類似性を検索および分析する方法。
• 聴覚シーン分析：音源とイベントの理解と説明。
• 計算音楽学と数理音楽理論: 音楽データの分析に音楽知識を活用するアルゴリズムの使用。
• コンピュータ音楽: 創造的な音楽アプリケーションにおけるコンピュータの使用。
• 機械による音楽表現: オーディション主導のインタラクティブ音楽システム。

オーディオ信号は人間の耳と脳のシステムによって解釈されるため、その複雑な知覚メカニズムは「機械による聴取」のためにソフトウェアで何らかの形でシミュレートされる必要があります。言い換えれば、人間と同等のパフォーマンスを発揮するには、コンピューターが人間と同じようにオーディオ コンテンツを聞き、理解する必要があります。オーディオを正確に分析するには、電気工学 (スペクトル分析、フィルタリング、オーディオ変換)、人工知能 (機械学習とサウンド分類)、^[6]心理音響学 (音の知覚)、認知科学 (神経科学と人工知能)、^[7]音響学 (サウンド生成の物理学)、音楽 (ハーモニー、リズム、音色) など、いくつかの分野が関係します。さらに、ピッチ シフト、タイム ストレッチ、サウンド オブジェクト フィルタリングなどのオーディオ変換は、知覚的および音楽的に意味のあるものでなければなりません。最良の結果を得るには、これらの変換にスペクトル モデルの知覚的理解、高レベルの特徴抽出、サウンド分析/合成が必要です。最後に、オーディオ ファイルの内容 (サウンドとメタデータ) の構造化とコーディングには、サウンド内の聞き取れない情報を破棄する効率的な圧縮方式が役立ちます。^[8]音楽と音の知覚と認知の計算モデルは、音楽のヒューマンマシンインターフェースにおいて、より意味のある表現、より直感的なデジタル操作と音と音楽の生成につながる可能性があります。

CA の研究は、おおまかに次のサブ問題に分けることができます。

1. 表現: 信号と記号。この側面は、パターン再生やオーディオテクスチャを含む音符とスペクトルモデルの両方の観点から、時間周波数表現を扱います。
2. 特徴抽出: サウンド記述子、セグメンテーション、オンセット、ピッチとエンベロープの検出、クロマ、聴覚表現。
3. 音楽知識構造：調性、リズム、ハーモニーの分析。
4. 音の類似性: 音の比較、音の識別、新規性の検出、セグメンテーション、クラスタリングの方法。
5. シーケンス モデリング: 信号とノート シーケンス間のマッチングと調整。
6. 音源分離: 複数のピッチ検出や時間周波数クラスタリング法など、同時音をグループ化する方法。
7. 聴覚認知: 感情、期待、親しみやすさ、聴覚の驚き、音楽構造の分析のモデリング。
8. マルチモーダル分析: テキスト、視覚、音声信号間の対応関係を見つけます。

コンピュータ オーディションは、2 つ以上のチャネルでのデジタル オーディオの直接エンコードから、記号で表現された合成命令まで、さまざまな方法で表現できるオーディオ信号を扱います。オーディオ信号は通常、アナログまたはデジタル録音で表現されます。デジタル録音は、音響波形のサンプルまたはオーディオ圧縮アルゴリズムのパラメータです。音楽信号のユニークな特性の 1 つは、グラフィカルなスコアやMIDIファイルとしてエンコードされたパフォーマンス アクションのシーケンスなど、さまざまな種類の表現が組み合わされていることが多いことです。

オーディオ信号は通常、複数の音源から構成されるため、特定のモデル (ソース フィルター モデルなど) で効率的に記述できる音声信号とは異なり、一般的なオーディオのパラメトリック表現を考案するのは困難です。パラメトリック オーディオ表現では通常、フィルター バンクまたは正弦波モデルを使用して複数のサウンド パラメーターをキャプチャし、信号の内部構造をキャプチャするために表現サイズを大きくすることもあります。コンピューター オーディションに関連するその他のデータの種類には、オーディオ コンテンツのテキスト記述 (注釈、レビュー、オーディオ ビジュアル録音の場合の視覚情報など) があります。

一般的なオーディオ信号の内容を説明するには、通常、オーディオ信号の特定の側面を捉える特徴を抽出する必要があります。一般的に言えば、特徴は、エネルギー、スペクトル形状の説明などの信号または数学的記述子、変化や新規性の検出などの統計的特徴、周波数における感度 (帯域幅) の対数的増加やオクターブ不変性 (彩度) など、音楽信号または聴覚システムの性質により適した特別な表現に分類できます。

オーディオのパラメトリック モデルでは通常、非常に多くのパラメーターが必要になるため、複数のパラメーターの特性をよりコンパクトでわかりやすい表現で要約するために機能が使用されます。

特定の音楽構造を見つけることは、音楽知識と教師ありおよび教師なしの機械学習手法を使用することで可能です。この例としては、音階内の音符の発生パターンに対応する周波数分布に従った調性の検出、ビート構造を検出するための音符開始時間の分布、音楽コードを検出するためのさまざまな周波数のエネルギー分布などがあります。

音の比較は、時間を参照するか参照しないかに関わらず、特徴を比較することによって行うことができます。場合によっては、2 つの音の特徴の値が近いことで全体的な類似性を評価できます。時間的構造が重要なその他の場合には、音響イベントの異なる時間スケールを「修正」するために、動的時間ワーピングの方法を適用する必要があります。音響イベントの繰り返しや類似のサブシーケンスを見つけることは、テクスチャ合成や機械による即興などのタスクにとって重要です。

一般的なオーディオの基本的な特徴の 1 つは、複数の楽器、人の話し声、機械音、動物の鳴き声など、同時に鳴っている複数の音源から構成されることです。そのため、個々の音源を識別して分離する能力が非常に望まれます。残念ながら、この問題を堅牢な方法で解決する方法はありません。既存の音源分離方法は、マルチチャンネル録音の異なるオーディオチャンネル間の相関関係に依存することがあります。ステレオ信号から音源を分離するには、複数のセンサーが利用できる通信で通常適用されるものとは異なる技術が必要です。その他の音源分離方法は、モノラル録音での特徴のトレーニングまたはクラスタリングに依存しています。たとえば、複数のピッチ検出のために調和的に関連する部分音を追跡するなどです。明示的な認識の前に、最も単純なデータ表現を見つけることによって、構造を知らなくてもデータ内の構造を明らかにすることに依存する方法もあります (意味のあるラベルを付与せずに抽象的な画像内のオブジェクトを認識するのと同様)。たとえば、いくつかのトーンパターンとその軌跡 (ポリフォニックボイス) によって生成されたオーディオシーンと、トーン (コード) によって描かれた音響輪郭を記述します。^[9]

音楽や一般的なオーディオを聴くことは、一般的にタスク指向のアクティビティではありません。人々が音楽を楽しむ理由はさまざまですが、その原因はよくわかっていません。音楽は期待を生み出し、それが実現したり裏切られたりすることで感情に訴える効果があります。動物は音の中に危険の兆候を察知しますが、それは驚くべき予期せぬ変化の具体的な場合もあれば、一般的な場合もあります。一般的に、このため、コンピューター聴覚は特定の特徴や音の特性の検出だけに頼ることができず、変化する聴覚環境に適応し、その構造を監視する一般的な方法を考え出さなければなりません。これには、オーディオのより大きな繰り返しや自己相似構造を分析して革新を検出すること、およびローカルな特徴のダイナミクスを予測する能力が含まれます。

音楽を説明するために利用できるデータの中には、オーディオの内容を言葉で説明するライナーノーツ、レビュー、批評などのテキスト表現があります。また、感情的な判断や心理生理学的測定などの人間の反応が、オーディオの内容と構造についての洞察を提供する場合もあります。Computer Audition は、オーディオの内容をさらに理解できるように、これらのさまざまな表現の関係を見つけようとします。

• 3Dサウンド定位
• オーディオ信号処理
• 新興技術のリスト
• 医療知能・言語工学研究室
• 音楽と人工知能
• 音声認識

• UCSD コンピュータオーディションラボ
• ジョージ・ツァネタキスのコンピューターオーディションリソース
• シュロモ・ドゥブノフによるコンピューターオーディションのチュートリアル
• インド工科大学（バンガロール）電気工学科
• サウンドと音楽コンピューティング、オールボー大学コペンハーゲン、デンマーク