Loading article…
Computer audition (CA) or machine listening is the general field of study of algorithms and systems for audio interpretation by machines.[1][2] Since the notion of what it means for a machine to "hear" is very broad and somewhat vague, computer audition attempts to bring together several disciplines that originally dealt with specific problems or had a concrete application in mind. The engineer Paris Smaragdis, interviewed in Technology Review, talks about these systems — "software that uses sound to locate people moving through rooms, monitor machinery for impending breakdowns, or activate traffic cameras to record accidents."[3]
Inspired by models of human audition, CA deals with questions of representation, transduction, grouping, use of musical knowledge and general sound semantics for the purpose of performing intelligent operations on audio and music signals by the computer. Technically this requires a combination of methods from the fields of signal processing, auditory modelling, music perception and cognition, pattern recognition, and machine learning, as well as more traditional methods of artificial intelligence for musical knowledge representation.[4][5]
Like computer vision versus image processing, computer audition versus audio engineering deals with understanding of audio rather than processing. It also differs from problems of speech understanding by machine since it deals with general audio signals, such as natural sounds and musical recordings.
Applications of computer audition are widely varying, and include search for sounds, genre recognition, acoustic monitoring, music transcription, score following, audio texture, music improvisation, emotion in audio and so on.
Computer Audition overlaps with the following disciplines:
音声信号は人間の耳と脳のシステムによって解釈されるため、その複雑な知覚メカニズムを「機械聴覚」のためのソフトウェアで何らかの方法でシミュレートする必要があります。言い換えれば、人間と同等の性能を発揮するには、コンピュータは人間と同じように音声コンテンツを聞き取り、理解する必要があります。音声を正確に分析するには、電気工学（スペクトル分析、フィルタリング、音声変換）、人工知能（機械学習、音声分類）[ 6 ]、心理音響学（音の知覚）、認知科学（神経科学、人工知能）[ 7 ]、音響学（音の生成の物理学）、音楽（ハーモニー、リズム、音色）など、複数の分野が関わっています。さらに、ピッチシフト、タイムストレッチ、サウンドオブジェクトフィルタリングなどの音声変換は、知覚的にも音楽的にも意味のあるものでなければなりません。最良の結果を得るには、これらの変換には、スペクトルモデルの知覚的理解、高レベルの特徴抽出、および音声分析/合成が必要です。最後に、音声ファイルの内容（音声とメタデータ）の構造化と符号化には、音声中の聞こえない情報を破棄する効率的な圧縮方式が有効です。[ 8 ]音楽と音の知覚と認知の計算モデルは、音楽的な人間と機械のインターフェースにおいて、より意味のある表現、より直感的なデジタル操作、音と音楽の生成につながる可能性がある。
セルオートマトンの研究は、おおまかに以下のサブ問題に分けられる。
コンピュータによる音声解析では、2つ以上のチャンネルへのデジタル音声の直接エンコードから、記号的に表現された合成命令まで、さまざまな方法で表現できる音声信号を扱います。音声信号は通常、アナログまたはデジタル録音の形で表現されます。デジタル録音は、音響波形のサンプル、または音声圧縮アルゴリズムのパラメータです。音楽信号のユニークな特性の1つは、グラフィカルな楽譜やMIDIファイルとしてエンコードされた演奏動作のシーケンスなど、さまざまな種類の表現が組み合わされていることが多い点です。
音声信号は通常複数の音源から構成されるため、特定のモデル（音源フィルタモデルなど）で効率的に記述できる音声信号とは異なり、一般的な音声信号に対してパラメトリック表現を考案することは困難です。パラメトリック音声表現では、通常、フィルタバンクや正弦波モデルを用いて複数の音響パラメータを捉え、信号の内部構造を捉えるために表現サイズを大きくすることもあります。コンピュータによる聴覚評価に関連するその他のデータとしては、音声コンテンツのテキスト記述（注釈、レビュー、音声・映像記録の場合は視覚情報など）が挙げられます。
一般的な音声信号の内容を記述するには、通常、音声信号の特定の側面を捉える特徴を抽出する必要があります。一般的に、特徴は、エネルギー、スペクトル形状の記述などの信号記述子または数学的記述子、変化や新規性の検出などの統計的特性、周波数における感度（帯域幅）の対数的増加やオクターブ不変性（色度）など、音楽信号の性質や聴覚システムにより適した特別な表現に分類できます。
音声におけるパラメトリックモデルは通常、非常に多くのパラメータを必要とするため、特徴量は複数のパラメータの特性をより簡潔かつ分かりやすい形で要約するために使用されます。
音楽に関する知識や、教師あり学習および教師なし学習といった機械学習手法を用いることで、特定の音楽構造を見出すことが可能です。例えば、音階における音符の出現パターンに対応する周波数分布に基づいて調性を検出したり、音符の開始時間の分布に基づいて拍子構造を検出したり、異なる周波数におけるエネルギー分布に基づいて和音を検出したりといったことが挙げられます。
音の比較は、時間軸を参照する場合と参照しない場合の両方で、特徴を比較することによって行うことができます。場合によっては、2つの音の特徴の値が近いことで、全体的な類似性を評価できます。時間構造が重要な場合は、音響イベントの異なる時間スケールを「補正」するために、動的時間伸縮法を適用する必要があります。音響イベントの繰り返しや類似したサブシーケンスを見つけることは、テクスチャ合成や機械による即興演奏などのタスクにとって重要です。
一般的な音声の基本的な特徴の 1 つは、複数の楽器、人の話し声、機械音、動物の鳴き声など、複数の同時発生音源から構成されているため、個々の音源を識別して分離する能力は非常に望ましい。残念ながら、この問題を堅牢に解決できる方法は存在しない。既存の音源分離方法は、マルチチャンネル録音における異なるオーディオチャンネル間の相関に依存することがある。ステレオ信号から音源を分離するには、複数のセンサーが利用可能な通信で通常適用される技術とは異なる技術が必要となる。他の音源分離方法は、モノラル録音における特徴のトレーニングまたはクラスタリングに依存しており、例えば、複数のピッチ検出のために調和的に関連する部分を追跡する。明示的な認識の前に、いくつかの方法は、構造を知らなくてもデータ内の構造を明らかにすることに依存している (意味のあるラベルを付与せずに抽象的な画像内のオブジェクトを認識するような)。これは、最も単純なデータ表現を見つけることによって行われ、例えば、いくつかのトーンパターンとその軌跡 (多声音声) およびトーンによって描かれた音響輪郭 (和音) によって生成されたオーディオシーンを記述する。[ 9 ]
音楽や一般的な音声を聴くことは、通常、特定のタスクを目的とした活動ではありません。人々が音楽を楽しむ理由は様々で、十分に解明されていませんが、一般的には、期待の形成とその実現または裏切りによる音楽の感情的効果に言及されます。動物は音の中に危険の兆候を察知しますが、それは驚きや予期せぬ変化に関する具体的な概念または一般的な概念のいずれかです。一般的に、この状況では、コンピュータの聴覚は特定の機能や音響特性の検出だけに頼ることはできず、変化する聴覚環境に適応し、その構造を監視するための一般的な方法を考案する必要があります。これには、革新性を検出するために音声内のより大きな反復構造や自己類似構造を分析すること、および局所的な特徴のダイナミクスを予測する能力が含まれます。
音楽を記述するためのデータには、ライナーノーツ、レビュー、批評など、音声コンテンツを言葉で記述したテキスト表現があります。また、感情的な判断や心理生理学的測定といった人間の反応も、音声コンテンツの内容や構造を理解する上で役立つ場合があります。コンピュータオーディションは、これらの異なる表現間の関係性を見出すことで、音声コンテンツに対するより深い理解を得ようと試みます。