感覚的な手がかり

世界を三次元的に認識し、物体の大きさや距離を推定する能力は、奥行きの手がかりに大きく依存している。立体視と運動視差という2つの主要な奥行きの手がかりは、どちらも視差に依存している。視差とは、2つの異なる視点から物体が知覚される位置の差である。立体視では、両眼間の距離が2つの異なる視点の源となり、両眼視差が生じる。運動視差は、頭と体の動きによって必要な視点を作り出す。^{[ 5 ]}

視覚系は、複数のニューロン群からの情報に基づく単純なメカニズムと、コントラスト、形状、質感などの複数の手がかりを統合することによって、動きを検出することができます。自己運動を判断する際の主要な視覚情報源の一つは、オプティカルフローです。オプティカルフローは、エージェントが動いているかどうかだけでなく、どの方向に、どのくらいの相対速度で動いているかも示します。

色を識別する能力によって、生物は危険を迅速かつ容易に認識することができます。なぜなら、鮮やかな色の植物や動物の多くは、何らかの脅威、通常は何らかの毒素を保有しているからです。色はまた、運動行動^{[ 8 ]と説得力のあるメッセージの解釈[ 9 ]}の両方を促す推論の手がかりとしても機能します。

音が個人の真正面または真後ろから聞こえない限り、音刺激がそれぞれの耳に到達するまでの距離はわずかに異なります。この距離の違いにより、信号がそれぞれの耳で知覚される時間にわずかな遅延が生じます。両耳間の時間差の大きさは、信号が頭の側面から来るほど大きくなります。したがって、この時間差により、人間は入ってくる音の手がかりの位置を正確に予測することができます。両耳間のレベル差は、両耳に到達する音圧レベルの差によって生じます。これは、頭が遠い方の耳への音波を遮断し、その耳に到達する音の強度を弱めるためです。この両耳間のレベル差により、人間は聴覚信号の方位角を正確に予測することができます。この効果は、高周波の音に対してのみ発生します。^{[ 11 ]}

スペクトルキューは、入力信号の分布に基づいて入力音の位置を特定するためのモノラル（片耳）キューです。音波の分布（またはスペクトル）の違いは、音が外耳道に入る前に頭部と外耳との相互作用によって生じます。^{[ 12 ]}

2つの音が異なる時間に始まった場合、それらは異なる発生源から発せられた可能性が高い。同時に発生した音は、同じ発生源から発せられた可能性が高い。

同じ位置、あるいはゆっくりと変化する位置から発せられる音は、通常、同じ音源から発せられます。2つの音が空間的に離れている場合、位置の手がかり（音源定位を参照）によって、人はそれらを知覚的に区別することができます。音が動いている場合、それは連続的に動きます。不規則に飛び跳ねる音は、同じ音源から発せられている可能性は低いでしょう。

音色とは、音の高さとは無関係な、音の音質または音の特徴のことです。これは、同じ音を演奏する楽器を区別するのに役立ちます。複数の音を聞く場合、それぞれの音の音色は（音の高さに関係なく）変化しないため、時間の経過とともに異なる音源からの音を区別することができます。^{[ 13 ]}

ピッチとは、私たちに届く音波の周波数を指します。単一の物体が時間とともにさまざまなピッチを生成する可能性はありますが、似たような範囲の音を生成する可能性の方が高いです。^{[ 14 ]}ピッチの不規則な変化は、異なる音源から発生していると認識される可能性が高くなります。

ゲシュタルト心理学の連続性の原則（グループ化の原則を参照）と同様に、滑らかに変化する音や一定のままの音は、しばしば同じ音源から発せられます。同じ周波数の音は、他のノイズによって中断されても、連続していると知覚されます。変化の激しい音は、中断されると、別々の音として知覚されます。^{[ 15 ]}

異なる場所から発せられる2番目の音が導入される前に、1つの音が長い間隔で提示されると、人はそれらをそれぞれ正しい場所から発せられた2つの異なる音として聞きます。しかし、最初の音と2番目の音の開始間の遅延が短くなると、聞き手は2つの音を区別できなくなります。代わりに、両方とも先行音の位置から発せられていると認識します。この効果は、各耳と聴覚刺激源との距離の違いによって生じる音の知覚のわずかな差異を打ち消します。^{[ 16 ]}

視覚刺激と聴覚刺激の間には強い相互作用があります。聴覚と視覚の両方の手がかりは、物体の位置に関する正確な情報源となるため、ほとんどの場合、両者のずれは最小限に抑えられます。しかし、2つの手がかりによって提供される情報に不一致が生じる可能性もあります。視覚的捕捉の一例として腹話術効果が挙げられます。これは、個人の視覚系が聴覚刺激の発生源を、聴覚系が位置する位置とは異なる位置に特定した場合に発生します。この場合、視覚的な手がかりが聴覚的な手がかりを上書きします。個人は、音が物体が見える位置から来ていると認識します。聴覚は視覚にも影響を与えることがあります。研究では、画面上に2つの物体を表示することでこの効果が実証されています。1つは右上から左下へ、もう1つは左上から右下へ斜めに移動し、中央で交差します。これらの同一の物体の軌跡は、互いに交差している、あるいは互いに跳ね返っていると解釈される可能性があります。聴覚的な合図がない場合、被験者の大多数は物体が交差して元の軌道を進み続けるのを見た。しかし、小さな「カチッ」という音が加わると、被験者の大多数は物体が互いに跳ね返るのだと認識した。この場合、聴覚的な合図は視覚的な合図の解釈に役立つ。^{[ 17 ]}

触覚コミュニケーションと非言語コミュニケーションの相互作用に加えて、触覚キューをプライマーとして用いることで、視覚刺激を識別するための反応時間を短縮できる可能性が検討されてきた。^{[ 20 ]}被験者は、スクリーン上に刺激が表示される位置を示す触覚キューを提供する背もたれ付きの椅子に座った。有効な触覚キューは反応時間を大幅に短縮したが、無効なキューは反応時間を増加させた。^{[ 20 ]}

触覚キューは、視覚障害のある人がより多くの情報にアクセスできるようにするために頻繁に使用されています。点字は触覚による文字言語であり、隆起した模様を指でなぞることで読みます。点字技術は、点字をデジタルメディアに拡張しようとする試みであり、ウェブページやその他の電子機器の読み取りを支援する新しいツールの開発には、多くの場合、触覚キューと聴覚キューの組み合わせが含まれます。^{[ 21 ]}

この分野のさまざまな技術が克服しようとしている大きな問題は、感覚過負荷です。触覚を介して素早く関連付けることができる情報量は視覚よりも少なく、現在の技術によって制限されています。そのため、視覚情報を触覚と聴覚の両方の出力に変換するマルチモーダルアプローチが、多くの場合最良の結果をもたらします。たとえば、電子ペンをタブレットの画面にマッピングして描画すると、その場所に何があるかに応じて異なる振動と音が発生します。^{[ 21 ]}