ソニックインタラクションデザイン

ソニックインタラクションデザインは、インタラクティブな状況において情報、意味、美的/感情的な性質を伝える主要なチャネルの1つとしての音の研究と活用です。 ^{[1] [2]ソニックインタラクションデザインは、}インタラクションデザインとサウンドおよび音楽コンピューティングの交差点にあります。インタラクションデザインが人々がインタラクションするオブジェクトのデザインであり、そのようなインタラクションがコンピューティング手段によって促進される場合、ソニックインタラクションデザインでは、プロセスの表示または入力媒体として、音がインタラクションを仲介します。

この分野の研究は、インタラクティブな状況における人間の音の受容に関する実験的科学的発見に焦点を当てています。^[3]

閉ループインタラクションでは、ユーザーは音を出すインターフェースを操作し、音のフィードバックがユーザーの操作に影響を与えます。言い換えれば、聴覚知覚と行動は密接に結びついています。^[4]音を聞くことは、音がどのように作られたかという表現を活性化するだけでなく、リスナーが音に反応する準備を整える可能性もあります。音の認知表現は行動計画スキーマと関連している可能性があり、音はリスナーの側で無意識のうちにさらなる反応を促すこともあります。^[5]

音響インタラクションはユーザーの感情に影響を与える可能性があります。音質はインタラクションの快適さに影響し、操作の難しさはユーザーがコントロールできているかどうかに影響します。^[6]

ソニックインタラクションデザインの文脈における製品デザインは、顕著な音響動作を持つインタラクティブな製品を設計するための方法と経験を扱っています。この文脈における製品とは、操作できるように設計された有形かつ機能的なオブジェクト、^{[7] [8] 、または}仮想プロトタイピングのようなオブジェクトの使用可能なシミュレーションのいずれかです。この分野の研究開発は、次のような他の分野の研究に依存しています。

• 製品の音質; ^[9]
• 音響生態学、すなわち、音を介して媒介される生物とその環境との関係。
• 映画の音響^[10]
• コンピュータやビデオゲームのサウンド^[11]
• 音文化、すなわち、音の生産と消費が歴史を通じて、またさまざまな社会の中でどのように変化してきたかを研究する学問。

音響製品のデザイン研究においては、さまざまな分野から一連の実践が受け継がれてきました。こうした実践は、研究と教育が自然に混ざり合う状況でテストされてきました。これらの実践の中で、次のことを述べるだけで十分でしょう。

• ボディストーミングは、特にボーカルスケッチと組み合わせると^[12]、参加者が物体と相互作用しているときの音響的振る舞いを模倣するために声の模倣を行う。
• 演劇的比喩や劇的パフォーマンスなどの演劇的実践^[13]
• 基本設計は^[14]実証と相互主観性に基づいている。
• 音響オーバーレイを備えたビデオプロトタイピング^[15]
• 映画製作におけるフォーリー芸術[ ^16]
• 音劇を演じる。 ^[17]

音響インタラクション デザインの文脈では、インタラクティブ アートや音楽プロジェクトは、音響インタラクションに重点を置いた美的体験を設計および研究しています。創造的かつ表現的な側面、つまり美的感覚は、音を通じて情報を伝達することよりも重要です。実践には、インスタレーション、パフォーマンス、パブリック アート、デジタル拡張オブジェクト/環境を介した人間同士のインタラクションなどがあります。これらには、組み込み技術、ジェスチャー感知デバイス、スピーカー、コンテキスト認識システムなどの要素が統合されることがよくあります。

体験に焦点が当てられ、人間が音にどのように影響されるか、またその逆についても取り上げられています。インタラクティブ アートや音楽により、研究者は、制御のパラダイム (人間が機械を制御する) を超えて、人間がテクノロジーや音とどのように相互作用するかについての既存のパラダイムやモデルに疑問を投げかけることができます。ユーザーは、アクションと知覚を含むループの一部です。

インタラクティブなアートや音楽のプロジェクトは、探索的な行動や遊び心のある関与を促します。また、多感覚的な側面もあり、特に触覚オーディオ^[18]やオーディオビジュアルプロジェクトが人気です。他の多くの影響の中でも、この分野は楽器製作者、作曲家、演奏者の役割の融合の発展によって影響を受けています。^[19]

音響インタラクションデザインにおける芸術的研究は、音響で拡張されたインタラクティブなオブジェクトとの積極的な関わりの役割を活用した、インタラクティブアートや舞台芸術の制作に関するものである。 ^[20]

ソニフィケーションとは、データに依存した音の生成であり、その変換が体系的、客観的、かつ再現可能であれば、科学的手法として使用することができます。^[21]

ソニックインタラクションデザインでは、ソニフィケーションは、関連データをエンコードしたインタラクションサウンドを作成するための一連の方法を提供し、ユーザーは伝達された情報を認識または解釈できます。ソニフィケーションは、必ずしも大量のデータをサウンドで表現する必要はなく、1つまたは少数のデータ値をサウンドで伝達するだけで済みます。例として、起動時にケーブルで消費される電力に応じて短いサウンドを生成する電灯スイッチを想像してください。エネルギーを浪費するランプが増えると、おそらく体系的にスイッチの音がうるさくなるでしょう。この例は、ソニフィケーションがサウンドへの体系的な変換を使用して何らかの情報を提供することを目的としていることを示しています。

インタラクション サウンドにデータ駆動型要素を統合すると、さまざまな目的を達成できます。

• 聴覚フィードバックを介してユーザーが自分の行動を改善できるようにする。例：壁に対して望ましい方向に到達すると音で知らせる音響強化型掘削機^{[22] 。}
• 人間が自分の体の動きをどのように認識するかに影響を与える。^[23]
• インタラクションの音響ゲシュタルトを作成し、ユーザーが繰り返しインタラクションを行って詳細なパフォーマンスを比較できるようにします。たとえば、ボートのストロークを音響化することで、スポーツ選手が動作をより同期させることができます。
• そうでなければ利用できない新しい機能を有効にする（例：グラスに注がれた液体の量を音で表示するボトル。これにより、ユーザーはより簡単に異なるグラスに同量の液体を注ぐことができる）。

ソニフィケーションの分野では、ソニックインタラクションデザインは、聴覚フィードバックを理解して使用するための人間のインタラクションの重要性を認識しています。^[24]ソニックインタラクションデザインでは、ソニフィケーションは、製品やインタラクティブシステムの設計にインスピレーションを与え、導くためのソリューション、方法、テクニックを提供し、役立ちます。

• Franinović, K.、Serafin, S.編『ソニックインタラクションデザイン』MIT Press、マサチューセッツ州ケンブリッジ、2013年。
• Stefano Delle Monache、Pietro Polotti、Davide Rocchesso (2010)。ソニックインタラクションデザインの探究のためのツールキット。第5回オーディオモーストリーカンファレンスの議事録：サウンドとのインタラクションに関するカンファレンス、2010年、ニューヨーク（AM '10）、ISBN 978-1-4503-0046-9、doi :10.1145/1859799.1859800、引用 
• Eoin Brazil および Mikael Fernström (2009)。経験に基づく聴覚ディスプレイ設計。SMC 2009 - 6th Sound and Music Computing Conference の議事録、2009 年 7 月 23 ～ 25 日、ポルトガル、ポルト。オンラインで入手可能。
• Karmen Franinović、Yon Visell、Daniel Hug、(2007)。Sound Embodied: 日常の人工物における音響インタラクション デザインに関するレポート。第 13 回国際聴覚ディスプレイ会議の議事録、カナダ、モントリオール、2007 年 6 月 26 ～ 29 日。オンラインで入手可能。
• アーネスト A. エドモンズ、アラスター ウィークリー、リンダ キャンディ、マーク フェル、ロジャー ノット、サンドラ ポーレット (2005)。「実験室としてのスタジオ: 創造的実践とデジタル技術研究の結合」。国際マンマシン研究ジャーナル63(4–5): 452–481。オンラインで入手可能。
• アーネスト エドモンズ、アンドリュー マーティン、サンドラ ポーレット (2004)。デジタル アートのオーディオビジュアル インターフェイス。2004 ACM SIGCHI 国際コンピュータ エンターテイメント技術の進歩に関する会議 (ACE '04) の議事録、シンガポール、2004 年 6 月 3 ～ 5 日、pp. 331 ～ 336、doi :10.1145/1067343.1067392。オンラインで入手可能。
• Thomas Hermann および Andy Hunt (2004)。「ソニフィケーションにおけるインタラクションの重要性」。ICAD 第 10 回国際聴覚ディスプレイ会議の議事録、オーストラリア、シドニー、2004 年 7 月 6 ～ 9 日。オンラインで入手可能。
• Niklas Röber および Maic Masuch (2004)。「音とのインタラクション: 仮想聴覚世界のためのインタラクション パラダイム」。ICAD 第 10 回国際聴覚ディスプレイ会議の議事録、オーストラリア、シドニー、2004 年 7 月 6 ～ 9 日。オンラインで入手可能。