音楽のモノのインターネット

音楽のモノのインターネット（IoMusTとも呼ばれる）は、音楽や芸術の実践にモノのインターネットの接続性^{[1] [2] [3]をもたらすことを目的とした研究分野です。さらに、}音楽コンピューティング、ユビキタス音楽、^[4] ヒューマンコンピュータインタラクション、^{[5] [6]} 人工知能、^[7] 拡張現実、仮想現実、ゲーム、参加型アート、^[8]音楽表現のための新しいインターフェース[ ^9]などの概念を網羅しています。コンピューティングの観点から見ると、IoMusTは、音楽コンテンツを生成および/または再生できるデバイスが組み込まれたローカルまたはリモートネットワークを指します。^{[10] [11]}

「モノのインターネット」（IoT）という用語は、インターネットに接続されたあらゆる日常的なオブジェクトに拡張可能であり、ネットワーク内に存在する他の要素と情報を交換することで、共通の目標を達成するための機能が向上します。^{[1] [2] [3]}過去数十年間の技術進歩により、その使用はパフォーマンスのさまざまな分野に広がり、医療分析、交通管制、ホームセキュリティの支援に役立っています。その概念が音楽と出会うと、音楽モノのインターネット（IoMusT）が生まれます。

「Internet of Musical Things」という用語も、特定の著者の使用法に応じて、さまざまな分類を受けます。たとえば、Hazzard et al . ^[12]は、製造日や履歴など、この楽器に関する情報のページにユーザーを誘導するQR コードを備えた楽器の文脈でこの用語を使用しています。Keller と Lazzarini . ^{[13] は}、この用語をユビキタス音楽 (ubimus) の研究で使用し、Turchet et al . ^{[14] は、相互運用可能なデバイスが相互に接続して、}ミュージシャンと聴衆のやり取りを支援する IoT のサブフィールドとして IoMusT を定義しています。

IoT と同様に、ミュージック モノのインターネットはさまざまなエコシステムを包含できます。ただし、一般的には、音楽活動 (リハーサル、コンサート、レコーディング、音楽指導) に使用され、サービスおよび情報プロバイダーに依存するという特徴があります。

この分野が提供する技術的、芸術的利点に加えて、音楽業界にとって新たな機会が生まれつつあり、常に芸術的目的を念頭に置きながら、論理的デバイスと物理的デバイス間の相互接続を活用できる新しいサービスやアプリケーションの出現をもたらしています。^[10]

音楽的なものは、正式には「音楽目的に役立つデータを取得、処理、動作、または交換できる計算デバイス」と定義されています。^[10]つまり、これらのオブジェクトは、音楽の練習に使用でき、ローカルおよび/またはリモートネットワークに接続でき、メッセージの送信者または受信者として機能するエンティティです。たとえば、スマート楽器（オーディオ処理にセンサー、アクチュエータ、ワイヤレス接続を使用する楽器）、^{[15] [16]} ウェアラブルデバイス、またはネットワーク経由で音楽コンテンツを制御、生成、または実行できるその他のデバイスです。

マイクやスピーカーなどの従来のオーディオ機器とは異なり、音楽機器はそれ自体では役に立たないため、機器チェーンに組み込む必要があります。^[17]したがって、標準、プロトコル、および機器間の通信手段について考える必要があります。これらの課題については以下で分析します。

最初の課題は、音楽関連のものに使用されるハードウェアに関するものです。^[17]まず、これらのデバイスはアナログではないことを念頭に置く必要があります。このため、再プログラムすることができ、インターネット接続や他の機器と通信する別の方法が必要です。次に、これらは従来のコンピューティングデバイスではありません。つまり、スマートフォンやパソコンの場合のように、特定のタスクを実行するためだけでなく、一般的な目的のためにプログラムされています。最後に、これらは芸術的および音楽的な文脈で使用されることに注意することが重要です。このように、美的特性は計算特性と同じくらい重要です。^[17]

とはいえ、ハードウェアの課題は明らかであり、これには処理能力、音楽機器のストレージと電力消費が含まれます。これらは芸術的なパフォーマンスに耐えられるほど十分に優れている必要がありますが、これらのオブジェクトが高価になったり、人間工学に反したり、扱いにくくなったりしないようにする必要があります。さらに、さまざまなシナリオでさまざまな役割を果たすことができる必要があります。したがって、ユーザーは、適応性、表現力、汎用性を目的として、コンポーネント（センサーやアクチュエータなど）を追加または削除できるようにする必要があります。^{[18] [19]}

2つ目の課題は、音楽機器の動作に関するものです。音楽機器は主にサウンドデータを交換する必要がありますが、制御データや処理パラメータも交換することが望ましいです。^[10]この意味で、ネットワークに存在する他の要素と連携できるように動作モードを適応させる必要があり、またソフトウェアと動作ロジックをリモートで更新する必要があります。

3番目の逆境は、おそらく最も繊細で扱いが難しいトピックです。共有可能なデータとその方法について考える必要があります。オーディオ形式については、リアルタイムオーディオ処理システムで最も一般的であるWAVなどのパルスコード変調（PCM）形式が考えられます。ただし、遅延や品質などの問題は保証されません。一方、 MP3、FLAC、またはOGG形式のファイルは、より多くの処理が必要であり、これに起因する遅延により環境が非実用的になる可能性があります。^[17]

これらの問題の解決策としては、音楽の練習で一般的なIoT要素を使用することや、従来のオーディオ機器の代わりにネットワーク機能を割り当てることが挙げられます。エフェクトユニット（ギターペダルなど）は、ユーザーがボタンやセンサーを自由に取り外したり挿入したりできるように構築する必要がありますが、ロジックユニットではソフトウェアを変更できるようにする必要があります。オーディオ機器は、ネットワークを介してデータを送受信し、リモートコントロールもできる必要があります。これは、これらの要素をネットワーク上で循環するさまざまな種類のデータに適応させるのに役立ちます。^[17]

一方、楽器はスマート楽器と同様に機能し、環境や演奏者自身からの刺激を捉えることができるセンサーやアクチュエーターが装備される。メトロノームやチューナーなどの音楽補助装置はデジタルメディアに転置することができ、ライトやスモークキャノンなどの演奏補助装置はネットワーク経由で制御・同期することができる。^[17]

しかし、IoMusT は、既存のものを適応させるだけでなく、音楽の実践に新たな視点を生み出すことができるデバイスを作成することも目的としています。

このセクションでは、IoMusT 環境を支援するさまざまなアプリケーション ドメインのいくつかについて説明します。このレビューは網羅的なものではなく、各領域の主な特徴と機能を説明することを目的としています。

ネットワーク化されたパフォーマンスは、機械を介したリアルタイムのインタラクションであり、世界中に散らばったアーティストが同じ環境にいるかのように互いに交流することを可能にします。従来のモデルに代わるものではありません。音楽の創作と社会的交流に貢献し、創造性と文化の交流を促進します。^{[20] [21]}

その主な特徴としては、生成された音がほぼ瞬時に聞こえる低遅延、環境内での相互作用を妨げる長い遅延を防ぐ同期、さまざまなデバイスがネットワーク経由で通信できるようにする標準化による相互運用性、システムを包括的にし、ユーザー間の分散参加を可能にするスケーラビリティ、ユーザーがネットワーク上のデバイスを簡単に見つけられ、いつでも接続または切断できることを保証する側面である。^{[22]この分野の課題としては、高}帯域幅と送信されるストリームの順序付けの必要性、およびデータパケットの配信の遅延に対する敏感さが挙げられる。[ ^23]

芸術は常に、芸術家と作品を具現化する媒体との関係によって特徴づけられる相互作用を持ち、観客は受動的にすべてを観察する役割しか持たなかった。アラン・カプローやフルクサス、具体団体が主導する芸術運動が、観客のより積極的な参加を認めるようになってから、この状況は変わり始めた。^[24]このような状況の中で、インタラクティブアートが登場した。これは、鑑賞者がインスタレーションや彫刻の間を歩いたり、音や画像、動きを生み出したりすることで、ある程度積極的にショーに参加できることを特徴とする。 ^{[25] [26]}

これらの環境のアーキテクチャは、音声やビデオから心拍などの人体から発せられる信号まで、さまざまな種類の信号を処理できるように設計されています。そのため、相互運用性を確保し、データ配信の遅延を処理する機能も必要です。

ユビキタスミュージック^{[4]は、通常ユビムスと略され、}音楽、テクノロジー、創造的なプロセスを強力な社会的およびコミュニティの関与と組み合わせた研究分野です。当初の提案は音楽制作に焦点を当てていましたが、現在の技術開発により、この分野に新しい社会的および認知的側面が開かれ、教育や芸術的なトピックへの関心が高まっています。したがって、現在の視点は、カジュアルな参加者から高度な訓練を受けたミュージシャンまで、多種多様な主題とアクターを網羅しています。^[27]

ubimus エコシステムは、オーディオ ツールとオーディエンス インタラクションの統合をサポートし、ユーザーのニーズに合わせて再構成できます。その結果、望ましいコンセプトは特定の実装に依存しません。その他の重要な特徴は、概念的なアプローチと経験的手法への依存です。これらの側面は、音楽制作のためのテクノロジー、特にプロセスに携わる人々の日常生活で一般的なオブジェクトやスペースを利用するテクノロジーの開発を促進します。

Web Audio は、 Web アプリケーションでオーディオ処理と合成を行うJavaScript APIであり、この分野における技術的進化を表しています。オーディオ信号ルーティング、低レイテンシー、エフェクト アプリケーションなど、 DAWに共通するいくつかの機能を備えています。また、参加型のネットワーク パフォーマンスを可能にし、これらのメディアでスマートフォンを使用する機能を拡張します。

その環境では、音楽のコンテキストでサウンドを操作するためにオーディオノードを使用します。それらは入力と出力によって接続され、オーディオをルーティングするためのパスを作成し、途中でエフェクトノードによって変更されます。このようにして、さまざまなレイアウトの多数のソースをサポートできるだけでなく、柔軟性があり、動的なエフェクトを備えた複雑な機能を作成できます。^[28]

Web Audioは、音楽目的でWebブラウザを使用する道を開きます。これにより、配布（インストール不要）とメンテナンスが容易であること、プラットフォームとアーキテクチャに依存しないこと、セキュリティ（ブラウザは不正な動作をするプラグインがシステムに影響を与えるのを防ぐことができる）、新しいタイプのコラボレーションの出現などの利点が見られます。^[28]

一方、クラウドコンピューティングは、集中型ネットワークをシミュレートする分散サーバーで構成された構造であり、負荷分散とリソースの複製を可能にし、ネットワークの消費量を最小限に抑え、スケーラビリティと信頼性を向上させます。ファイルストレージから音楽アプリケーション間の相互通信に至るまで、さまざまなサービスを提供することを目的とし、これまでにないレベルの参加とパフォーマンスを提供します。 ^[29]

その主な特徴は、ユーザーが使用されている技術に関する知識を必要とせずにサービスにアクセスできるようにすることです。したがって、ユーザーはオンデマンドで、場所に関係なくサービスにアクセスできます。このネットワークのその他の注目すべき点は、幅広いアクセス、弾力性、およびリソース管理です。^[30]

クラウドコンピューティングインフラストラクチャは、主にネットワークで接続された多数の物理マシンで構成されています。各マシンのソフトウェア構成は同じですが、中央処理装置、メモリ使用量、ディスクストレージ容量が異なる場合があります。このモデルは、次の3つの主な目的を念頭に置いて開発されました。i) ネットワークインフラストラクチャを構成する要素の取得と構成にかかるコストを削減し、異機種混在で必要なリソースに適応できるようにする。ii) コンピューティングリソースの追加や交換の柔軟性。iii) クラウドで利用可能なリソースにアクセスするために、ユーザーは自分のマシンにオペレーティングシステム、ブラウザ、インターネットアクセスがあればよいという、クラウドが提供するサービスへのアクセスのしやすさ。^[31]

クラウドコンピューティングの使用に関する上記のすべての利点にもかかわらず、その集中型操作モードは、特にデータ転送のコストと帯域幅リソースに関して、ネットワークに多くのサービス負荷を生み出します。さらに、データ量が増えると、ネットワークのパフォーマンスが低下します。この問題に対処するために、エッジコンピューティングが登場しました。これは、クラウドコンピューティングの特性とリアルタイム通信を組み合わせたパラダイムです。「エッジ」という用語は、データソースとクラウドサーバー間のすべての計算およびネットワークリソースを指します。このように、環境内に存在するオブジェクトは、データとサービスを消費するだけでなく、計算処理も実行し、ネットワークのストレスを軽減し、メッセージ交換の遅延を大幅に削減します。^{[32] [33]}

このコンピューティングモデルの主な特徴は、地理的な分散、モビリティのサポート、位置認識、エンドユーザーに近いコンピューティングリソースとサービス、低レイテンシ、コンテキストへの敏感性、異種性です。^[34]

ウェアラブルコンピューティングは、人間と機械の相互作用の方法を再定義する新しいアプローチであり、電子機器がユーザーの体に直接接続される。これらはウェアラブルデバイスと呼ばれ、そこに含まれる技術と構造が目に見えないように構築されており、人間の延長として機能する。今日最も人気のあるモデルには、スマートウォッチとスマートバンドがある。^[35]

小型ですが、多数の生理学的データや感覚データを継続的に検出、収集、アップロードすることができ、支払いの実行、位置追跡の支援、心身の健康のモニタリング、特定の身体活動の分析の提供、芸術的実践の支援など、日常の典型的な活動を改善することを目的としています。

それらは、3つの主な目標を達成できなければなりません。ユーザーにモビリティを割り当てること、つまりさまざまな場所でデバイスを使用できるようにすることです。現実世界の一部ではない画像や音を生成するなど、現実を拡張します。そして、機器がさまざまな環境や刺激に適応する能力であるコンテキスト感度を提供します。^[36]

ウェアラブル デバイスは接続性があり、大量のデータを処理しますが、すべてのウェアラブル デバイスが IoT 要素、つまり IoMusT 要素であるわけではないことに注意することが重要です。IoT 要素と見なされるには、インターネットにアクセスできる必要があります。

ウェアラブルコンピューティングの概念をまだ使っているものの、少し異なる考え方を辿っているのが電子テキスタイルです。これらはセンサーが強化された衣服で構成されており、ウェアラブルデバイスに比べて、より快適で、人間とのやり取りのためのより自然なインターフェース、そして邪魔にならないなどの利点があります。このことから、人体のそばに着用される電子デバイスは、挿入される場所（手首、頭、足など）と、すでに存在しているかまだ試作段階にあるかによって分類できます。^[37]

^{技術の使用に固有の問題[38]}やIoTに存在する問題^[39]に直面することに加えて、ミュージック・モノのインターネットは、技術的な問題から芸術的および環境的な問題に至るまで、特定の問題に直面しています。主なものを以下に挙げます。

IoMusT が発生する可能性は、帯域幅、遅延、ジッターなどのネットワークの側面に依存します。このため、これらのネットワークは、同期とマルチモーダル オーディオ コンテンツの表現の高品質を確保するだけでなく、より優れた接続条件を提供し、前述の 3 つの側面に対処するために、現在の最先端技術を超えて運用を拡張する必要があります。

遅延、信頼性、同期に関しては、ローカルかリモートか、有線か無線かを問わず、ネットワーク経由でリアルタイムにオーディオを伝送する場合の主な要件の 1 つとして浮上します。これは、このタイプの通信のランダムな特性が原因で発生し、小規模なネットワークであっても、送信されたデータの損失やデータ間の非同期が発生する可能性があります。^[10]

同期については、同じグローバルクロックを共有していないデバイスでは同期が困難です。同期が起こったとしても、異なるネットワーク上のオブジェクトでは、時々再同期が必要になります。既存のプロトコルでは、この要求を満たすのに不十分です。^[40]

この環境に存在するデバイスの相互運用性と標準化について議論することの重要性は、これらの概念がその実装に不可欠な柱であるということです。これは、デバイスが以前にお互いを認識しておらず、接続する要素に関する情報を持っていないという事実によるものです。しかし、これらのオブジェクトの異質性を考えると、多くの場合、それらは同じプロトコルで動作せず、隣接するデバイスから送信されるデータを解釈することもできません。^[11]

IoMusTとIoTの主な違いは、前者の分野が芸術的な問題に関心を持っていることです。^[10]世界中のさまざまな場所にいるミュージシャンによる創作の可能性、大規模な接続性、観客による新しい形の参加などの利点があるにもかかわらず、いくつかの問題が目立っています。その中には、バンドやオーケストラに見られるような芸術的な相互作用の伝統的なモデルとの断絶、視覚的なフィードバックの欠如、観客が表示および/または制御する要素の選択、リモートコンサートのバックアップシステムの欠如、高価でアクセスしにくく人間工学に適さないデバイス、必要なインフラストラクチャを構築するための投資の欠如などがあります。^{[10] [11] [41]}

これらの環境で生成される膨大な量のデータにより、デバイスがプロセスに関与するユーザーから情報を収集できるため、個人データに関する法的懸念が生じます。保護された資料の侵害、著作権侵害、知的財産権侵害などの問題も発生します。^[10]

セキュリティの問題も言及する価値がある。ネットワークを介して通信するシステムであるため、IoMusTは機密データの盗難、サービス拒否攻撃、トロイの木馬の標的となる。考えられる解決策には暗号化アルゴリズムが含まれるが、これはデバイスのエネルギーとメモリの使用量の増加につながる可能性がある。^[42]

テクノロジーが社会に与える影響を分析した最初の思想家の一人は、ハーバート・マルクーゼです。^[38]著者が挙げた問題の中には、一部の人々にとってはテクノロジーが豊富だが他の人々にとっては不足していること、支配階級による基準と要求の確立、大企業への労働者の服従、経済力の保持と思考の個性の喪失などがあります。これらすべての問題は、IoMusTにも存在します。^[11]

これに関連して、郊外や田舎に住む人々は人口密集地域に住む人々と同じアクセスの可能性を持たないため、技術への非異質なアクセス、人々や階級間の社会文化的差異を拡大するインフラの欠如、過剰な消費、絶え間ない革新の必要性、社会的アパルトヘイトなど、他の問題も強調される可能性がある。^{[11] [43]}

IoMusTは、サウンドのミキシングや変更が可能な人工知能アルゴリズムを提供し、制作コストを削減することで音楽業界に革命を起こす可能性がありますが、人間の作業を機械ベースのソリューションに置き換えることでこの分野の創造的な部分に悪影響を及ぼし、この分野での雇用機会の減少を引き起こす可能性もあります。^[11]

この地域で生産される電気電子機器の増加に伴い、廃棄物の発生、これらの材料の製造と使用における汚染、有毒な化学物質の使用、再生不可能な資源の使用、生態系の撹乱の可能性など、環境問題に対する懸念も高まっています。^{[44] [45]}

IoMusTは、ライブパフォーマンスやリハーサルなどの音楽活動を再考し、これらのシナリオに関与するアクター（ミュージシャン、観客、サウンドエンジニア、教師、生徒など）間のインタラクションの可能性を増やすことを可能にします。^[10]この簡単な説明を踏まえると、以下に詳述するいくつかの使用シナリオを考えることができます。

人々が好きなバンドのコンサート会場に到着したら、パフォーマンス中ずっと一緒にいるさまざまなインターフェースを選択できると想像してください。ある人はスマートグラス（着用者が見たものに応じて情報を追加するコンピューティングデバイス）を選択し、別の人は音楽刺激に反応するリストバンドを選択し、3人目はセンサーとスピーカーのセットを選択します。これらすべてのオブジェクトはユーザーの動きを追跡し、この情報をバンドに送信できます。バンドは、観客の感情に応じてパフォーマンスを調整したり、彼らが身に着けているオブジェクトによって解釈される刺激を送信したりできます。^[10]

もう一度、生理学的データを取得できるウェアラブル機器をユーザーが持っているところを想像してみてください。装着者の動きや感情（心拍数など）を記録することで、ミュージシャンは次にどの曲を演奏するかを決めることができ、振付師は記録された感情に最も合ったステップを作成することができ、観客自身もこのデータを活用して、ライトや煙幕砲などショーを盛り上げる要素を制御できます。^{[10] [46]}

一方、公演会場に物理的に足を運ぶことができなかった人々は、バーチャルリアリティグラスや360°ビデオシステムを使ってコンサートを体験し、舞台裏やミュージシャンの背後にある細部を見ることができる。IoMusTは、リモートコントロールを可能にするアプリケーションの可能性も予測している。このようにして、コンサートに存在するさまざまな側面を、世界中の観客が変更することができるのだ。^{[10] [46]}

もう1つのシナリオは、IoMusTコンセプトを使用して、ソロアーティスト、デュオ、小グループ、さまざまな楽器のオーケストラを録音するスタジオです。このため、録音インターフェースは、接続されている機器の量に応じてサイズを調整できます。ミュージシャンは同じ物理的な場所にいなくても録音でき、オーディオファイルを録音して後でミキシングやマスタリングすることができます。^[46]その他の可能性としては、同じ物理的な場所にない楽器からのオーディオのキャプチャ、オーディオシステムのリモートミキシングと構成、ミュージシャンからのパフォーマンスデータの取得などがあります。^[10]

IoMusTは、演奏する楽譜を表示したり、リアルタイムで音声をキャプチャしたり、改善点を提案したりするアプリケーションの使用を可能にすることで、音楽学習を充実させます。また、楽器上の指の正しい位置を示すスマートグラスを使用し、クラウドでデータを共有して教師が確認できるようにすることで、改善点や次に取るべきステップを指示することができます。^[10]

このモデルは、伝統的な楽器とネットワークを介して情報を交換する電子機器を組み合わせたジャムセッションに関するものです。これらの楽器はスピーカーに差し込んだりパッチに接続したりすることができ、ユーザー/ミュージシャンはコンピュータシステムからそれらを操作します。ビデオ、アニメーション、音楽情報などのグラフィック要素を表示してプロセスを支援できます。一部のユーザーは、音量、録音、楽器効果（ディレイやリバーブなど）などの楽器のパラメータを制御したり、グラフィックの色や解像度を変更したりするだけで参加できます。また、接続を管理するサウンド技術者を配置して、ネットワーク接続容量の低い接続を削除したり、情報交換を希望する接続を接続したりすることもできます。^[46]

• モノのインターネット
• QRコード
• アルドゥイーノ
• ラズベリーパイ