聴覚シーン分析

知覚と心理物理学において、聴覚情景分析（ASA）は聴覚知覚の基礎モデルとして提案されている。これは、人間の聴覚系が音を知覚的に意味のある要素に整理するプロセスとして理解されている。この用語は心理学者アルバート・ブレグマンによって造られた。^[1]機械知覚 における関連概念は計算聴覚情景分析（CASA）であり、これは音源分離やブラインド信号分離と密接に関連している。

ブレグマンの ASA モデルの 3 つの重要な側面は、セグメンテーション、統合、分離です。

音が耳に届き、鼓膜が全体として振動します。この信号は（何らかの方法で）分析する必要があります。ブレグマンの ASA モデルでは、音は「統合された」（音楽のハーモニーのように全体として聞こえる）か、個々の要素に「分離」されて聞こえる（対位法につながる）かのいずれかであると提案されています。^[2]たとえば、ベルは「単一の」音として聞こえる（統合された）か、または一部の人々は個々の要素を聞くことができ、音を分離することができます。これは、コードを使用して「色」として、または個々の音として聞くことができる場合に行うことができます。人間の声、楽器、または通りを走る車などの自然音は、多くの周波数で構成されており、それが音の知覚品質（音色など）に寄与します。2 つ以上の自然音が同時に発生すると、同時に発生する音のすべての要素が、リスナーの耳によって同時に受信されるか、時間的に重なって受信されます。これにより、聴覚システムに問題が生じます。音のどの部分をグループ化し、同じ音源またはオブジェクトの一部として扱うべきでしょうか。グループ化を間違えると、元のコンポーネントの間違った組み合わせから作られた、存在しない音が聞こえる可能性があります。

多くの場合、分離された要素は時間的にリンクされ、聴覚ストリームを生成できます。この聴覚ストリームの能力は、いわゆるカクテルパーティー効果によって実証できます。ある程度までは、同時に複数の声が話されていたり、背景音が聞こえたりしている場合、他の声や背景音があっても、特定の声を追うことができます。^[3]この例では、耳はこの声を他の音（統合されている）から分離し、心はこれらの分離された音を聴覚ストリームに「ストリーミング」します。これは、ミュージシャン、特に指揮者によって高度に発達したスキルであり、指揮者は1つ、2つ、3つ、またはそれ以上の楽器を同時に聴き（分離）、聴覚ストリームを通じてそれぞれを独立したラインとして追うことができます^[要出典]。

ASA の根底にはいくつかのグループ化の原則があるようですが、その多くはゲシュタルト心理学の学派によって発見された知覚組織化の原則に関連しています。これらは、順次グループ化メカニズム (時間にわたって機能するもの) と同時グループ化メカニズム (周波数にわたって機能するもの) に大まかに分類できます。

• 同時グループ化の誤りにより、別々に聞こえるはずの音が混ざり合うことになり、混ざった音は実際に受け取った音とは異なる知覚特性（ピッチや音色など）を持つことになります。例えば、同時に提示された2つの母音は、分離されている場合は識別できない可能性があります。^[4]
• 連続したグループ化の誤りにより、例えば、2つの異なる声から生成された音節から作成された単語が聞こえる可能性があります。^{[5] [6]}

分離は、主に知覚的な手がかりに基づくか、学習したパターンの認識（「スキーマベース」）に依存します。

ASA の役割は、入ってくる感覚情報をグループ化して、個々の音の正確な精神的表現を形成することです。聴覚システムによって音が他の同時発生シーケンスとは区別される知覚シーケンスにグループ化されると、これらの知覚シーケンスのそれぞれは「聴覚ストリーム」と呼ばれます。現実世界では、ASA が成功すれば、ストリームは、人が話している音、ピアノを弾いている音、または犬が吠えている音など、時間の経過とともに持続するパターンを生成する明確な環境音源に対応します。ただし、ラボでは、音の音響パラメータを操作することで、1 つ以上の聴覚ストリームの知覚を誘発できます。

一例として、ストリーミング現象が挙げられます。これは「ストリーム分離」とも呼ばれます。^[7] 2つの音AとBが時間的に急速に交互に鳴らされると、数秒後に知覚が「分割」されたように聞こえ、リスナーは1つの音の流れではなく2つの音の流れを聞くことになり、各流れは2つの音のうちの1つの繰り返しに対応します。たとえば、AAAA-などにBBBB-などが伴います。別々の流れに分離する傾向は、音Aと音Bの音響特性の違いによって促進されます。分離を促進することが古典的に示されている違いには、周波数（純音の場合）、基本周波数（複音の場合）、周波数構成、音源の位置などがあります。しかし、2つのシーケンス間のほぼあらゆる体系的な知覚の違いは、シーケンスの速度が十分であれば、ストリーミングを引き起こす可能性があることが示唆されています^[8]。

このストリーミングと周波数分離および速度の重要性を説明するインタラクティブな Web ページは、こちらにあります。

アンドラニク・タンジャンは、グループ化の現象はダイナミクスだけでなく静音でも見られると主張している。例えば、和音の感覚は、物理的な因果関係ではなく、音響データ表現の効果である（実際、スピーカーの膜のような単一の物理的物体は、複数の音の効果を生み出すことができ、和音として調律されたオルガンのパイプのような複数の物理的物体は、単一の音の効果を生み出すことができる）。音楽音響の観点から見ると、和音は、そのスペクトル（部分音（正弦波振動）の集合）が、周波数軸に沿った単一の音スペクトルの変位によって生成されると見なすことができる特殊な種類の音である。言い換えれば、和音の音程構造は、音によって描かれる音響的な輪郭である（ダイナミクスでは、多声部の声は音スペクトルの軌跡である）。これは情報理論によって正当化される。生成音が調和的（＝ピッチが顕著）であれば、そのような表現は一意であることが証明され、メモリの消費量が最も少なく、つまりコルモゴロフの意味で最も複雑でない。和音が単一の複合音とみなされる表現を含む他のすべての表現よりも単純であるため、和音は複合音として認識される。生成音が鐘のような音のように不調和な場合、音程構造は音のスペクトルの変位として認識可能であり、そのピッチは検出できないことさえある。この最適表現に基づく和音の定義は、とりわけ絶対音感よりも音程感のほうが優位であることを説明する。^{[9] [10]}

より複雑な音のパターンの分離については、多くの実験で研究されてきました。たとえば、異なるピッチの高音と低音のインターリーブのシーケンスなどです。このようなシーケンスでは、共起する音を別個のストリームに分離すると、それらの音の聞こえ方に大きな影響を与えます。メロディーの知覚は、そのすべての音が同じ聴覚ストリームにある場合に形成されやすくなります。私たちは、他のストリームにある音を除いて、同じストリームにある音の間のリズムを聞く傾向があります。タイミングの判断は、別々のストリームにある音の間よりも、同じストリームにある音の間での方が正確です。知覚される空間的な場所や知覚される音量でさえ、連続したグループ化によって影響を受ける可能性があります。このトピックに関する最初の研究は人間の成人を対象に行われましたが、最近の研究では、一部の ASA 機能が新生児にも存在することが示されており、経験を通じて習得されるものではなく、生まれつき備わっているものであることが示されています。他の研究では、人間以外の動物も ASA を示すことが示されています。現在、科学者たちは ASA の根底にあるメカニズムを解明するために、大脳皮質の聴覚領域のニューロンの活動を研究しています。

• 幻想的な不連続性
• 音韻復元効果
• 不可欠な属性の理論