ソニフィケーション

ソニフィケーションとは、非音声オーディオを使用して情報を伝達したりデータを知覚したりすることです。^[1] 聴覚知覚は、時間、空間、振幅、周波数の解像度において利点があり、視覚化技術の代替または補完としての可能性を広げます。

たとえば、ガイガーカウンターのクリック音の速度は、その装置のすぐ近くの放射線レベルを伝えます。

国際聴覚ディスプレイコミュニティ（ICAD）などのフォーラムでは、データの音声化に関する多くの実験が行われてきましたが、音声化はデータの提示や分析に広く利用されるには多くの課題に直面しています。たとえば、研究では、データの音声化を解釈するための適切なコンテキストを提供することは困難ですが、不可欠であることが示されています。^{[1] [2]}音声化の研究やデータ探索のための柔軟なツールがないため、多くの音声化の試みはゼロからコーディングされています。^[3]

1908 年に発明されたガイガーカウンターは、ソニフィケーションの最も初期かつ最も成功した応用例の 1 つです。ガイガー カウンターには低圧ガスの管があり、検出された各粒子がガスをイオン化して電流パルスを生成し、クリック音を発します。元のバージョンではアルファ粒子しか検出できませんでした。1928 年に、ガイガーとヴァルター ミュラー(ガイガーの博士課程の学生) は、より多くの種類の電離放射線を検出できるようにカウンターを改良しました。

1913年、バーミンガム大学のエドマンド・フルニエ・ダルベ博士がオプトフォンを発明した。これはセレン光センサーを使って黒い印刷物を検知し、それを音声出力に変換するものだった。^[4]視覚障碍のある読者は、本を装置に近づけ、読みたい場所に装置を近づける。オプトフォンは g c' d' e' g' b' c eという音符のセットを再生した。各音符はオプトフォンの読み取り領域の位置に対応しており、黒インクが感知されるとその音符は消音された。つまり、音符が消えた部分はページ上の黒インクの位置を示しており、それを使って読むことができた。

ポラックとフィックスは1954年に聴覚ディスプレイによる情報伝達に関する最初の知覚実験を発表しました。^[5]彼らはタイミング、周波数、音量、持続時間、空間化などの音の次元を組み合わせる実験を行い、被験者に一度に複数の次元の変化を認識させることができることを発見しました。これらの実験では、各次元には2つの値しかなかったため、それ以上の詳細には踏み込みませんでした。

1970年、ノンサッチ・レコードはアメリカの作曲家チャールズ・ドッジによる新しい電子音楽作品「地球の磁場」をリリースした。この作品はコロンビア・プリンストン電子音楽センターで制作された。タイトルが示すように、この作品の電子音は地球の磁場のデータから合成されたものである。そのため、この作品は科学的目的ではなく芸術的目的のために科学的データを音声化した最初の作品であると言えるだろう。^[6]

ベル研究所のジョン・M・チェンバース、マックス・マシューズ、FR・ムーアは、1974年に「聴覚データ検査」技術メモで聴覚グラフ化に関する最も初期の研究を行った。 ^{[7]彼らは、分類に使用するために、周波数、スペクトル内容、振幅変調次元に沿って変化する音を使用して}散布図 を拡張した。彼らは、これらの実験の有効性について正式な評価を行っていなかった。^[8]

1976年、技術哲学者のドン・イーデは、「科学が事実上すべての現象に対して無限の視覚イメージを生み出すように、原子から銀河まで、コーヒーテーブルブックから科学雑誌まで私たちには馴染み深いものであるように、『音楽』もまた、視覚化を生み出すのと同じデータから生み出される可能性がある」と書いています。^[9]これは、創造的な実践としての音響化に関する最も初期の言及の1つであると思われます。

1982 年初頭、カリフォルニア大学デービス校のサラ・ブライは、コンピューターで生成されたサウンドを使用してデータを表示する研究について、例を挙げて 2 つの出版物を発表しました。当時、科学的な視覚化の分野は勢いを増していました。とりわけ、彼女の研究と付随する例は、視覚的プレゼンテーションと聴覚的プレゼンテーションの特性を比較し、「サウンドはグラフィック ツールの強化と代替手段を提供する」ことを実証しました。彼女の研究は、適切なデータ表現をタイプと目的に一致させるのに役立つ、初期の実験ベースのデータを提供しています。 ^{[10] [11]}

1980年代には、パルスオキシメーターも広く使用されるようになりました。パルスオキシメーターは、血中酸素濃度が高いほど高い音を発することで、酸素濃度を音化することができます。しかし、実際には、医療現場では音声刺激が多すぎるというリスクがあるため、パルスオキシメーターのこの機能は医療従事者によって広く利用されていない可能性があります。^[12]

1992年、グレゴリー・クレイマーによって、データの音響化を含む聴覚表示に関する研究フォーラムとして国際聴覚表示コミュニティ（ICAD）が設立されました。ICADはそれ以来、会議や査読付きの議事録を通じて、音を使って情報を伝達することに関心を持つさまざまな分野の研究者の拠点となっています。^[13]

2022年5月、NASAはペルセウス銀河団の中心にあるブラックホールの音響化（圧力波に関連する天文データを音に変換すること）を報告した。^{[14] [15]}

2024年、Adhyâropa Recordsは、Leif KarlstromによるThe Volcano Listening Projectをリリースしました。これは、地球物理学の研究とコンピューター音楽の合成を、Billy Contreras、Todd Sickafoose、その他のアコースティックミュージシャンによるアコースティック楽器とボーカルの演奏と融合させたものです。^[16]

• グライダー（グライダー）のバリオメーター（上昇率計）は、メーターの読み取り値に応じて可変ピッチでビープ音を発します。
• 聴覚温度計^[17]
• 時計、例えば1秒ごとにカチカチと音が鳴るものや15分ごとに特別なチャイムが鳴るものなど^[18]
• コックピット聴覚ディスプレイ
• ガイガーカウンター
• LIGOにおける重力波^[19]
• インタラクティブソニフィケーション^{[20] [21] [22]}
• 医療用^{[23] [24]}および外科用聴覚ディスプレイ^{[25] [26] [27] [28]}
• 視覚的な過負荷と疲労を最小限に抑えるマルチモーダル（複合感覚）ディスプレイ
• ナビゲーション^{[29] [30] [31] [32]}
• ＤＮＡ^[33]
• 宇宙物理学^[34]
• 手術室および集中治療室におけるパルスオキシメーター^{[35] [36] [37]}
• 自動車の速度警報
• ソナー
• 嵐と天気の音響化^{[38] [39]}
• 火山活動の検出
• 粒子軌道音響化を用いた高次元データのクラスター分析^[40]
• ダウ工業株30種平均の出来高と価値^[41]
• 視覚障害者のための画像音響化^{[42] [43]}
• CURAT 音響音響ゲーム^[44]は、心理音響音響^{[31] [32]に基づいています。}
• 心理音響音響化に基づく傾斜法^{[45] [31] [32]}
• Sonified ^[46]はビデオカメラからの視覚情報をリアルタイムで音に変換する（2011年）。^{[47] [48]}
• プライススクワーク オーディブルマーケットテクノロジー^[49]

さまざまなコンポーネントを変更することで、ユーザーのサウンドの認識を変え、結果として、表現されている基礎となる情報の認識を変えることができます。多くの場合、この情報のあるレベルの増加または減少は、ピッチ、振幅、またはテンポの増加または減少によって示されますが、あまり一般的ではない他のコンポーネントを変更することで示すこともできます。たとえば、株価は、株価が上がるとピッチが上がり、下がるとピッチが下がることで表現できます。複数の株が表現されていることをユーザーが判断できるように、株ごとに異なる音色や明るさを使用したり、空間内の異なるポイントから、たとえばヘッドフォンの異なる側から音を再生したりすることができます。

さまざまな種類の情報を提示するための最良の手法を見つけるために多くの研究が行われてきましたが、まだ、使用すべき決定的な手法のセットは策定されていません。音響化の分野はまだ初期段階にあると考えられているため、現在の研究では、さまざまな状況に応じて変化する最良のサウンド コンポーネントのセットを決定することに取り組んでいます。

データを聴覚的に表現するためのさまざまな手法は、次のように分類できます。

• 音響音響化^[50]
• 聴覚化
• モデルベースのソニフィケーション
• パラメータマッピング
• ストリームベースのソニフィケーション^{[51] [52]}

従来のソニフィケーションに代わるアプローチとして「置換によるソニフィケーション」があり、例えばパルスメロディックアフェクティブプロセッシング（PMAP）がある。^{[53] [54] [55]} PMAPでは、データストリームをソニフィケーションするのではなく、計算プロトコルはMIDIなどの音楽データそのものである。データストリームは非音楽的な状態を表すが、PMAPでは感情的な状態を表す。計算は音楽データに対して直接行うことができ、その結果は最小限の翻訳で聞くことができる。

• 聴覚ディスプレイ – コンピュータからユーザーに情報を伝達するために音を使用する
• コンピュータ音楽 – 音楽におけるコンピューティング技術の応用
• 音楽と人工知能 – 音楽を生成するための人工知能の利用

ウィキメディア・コモンズには、 Sonificationに関連するメディアがあります。

• 聴覚ディスプレイに関する国際コミュニティ
• 『Sonification Report (1997)』では、この分野の現状と現在の研究課題について紹介しています。
• 『Sonification Handbook』は、ソニフィケーションと聴覚表示における主要な研究分野を包括的に紹介するオープン アクセス ブックです。
• サウンドを使用して複雑なデータから意味を抽出する、C. Scaletti および A. Craig、1991 年。
• 聴覚情報デザイン、Stephen Barrass 博士論文、1998 年、ソニフィケーションの設計に対するユーザー中心のアプローチ。
• Mozzi: Arduino マイクロプロセッサ上のインタラクティブなセンサー音声化。
• LSL の設計原理、構文、およびセマンティクスに関する予備レポート: プログラム聴覚化のための仕様言語、D. Boardman および AP Mathur、1993 年。
• プログラム聴覚化のための仕様言語、D. Boardman、V. Khandelwal、AP Mathur、1994 年。
• ソニフィケーションチュートリアル
• SonEnvir 一般的なソニフィケーション環境
• Sonification.deは、SonificationとAuditory Displayに関する情報、興味深いイベントや関連プロジェクトへのリンクを提供します。
• 探索的データ分析のための音声化、Thomas Hermann 博士論文 2002、モデル ベースの音声化の開発。
• モバイルおよび無線通信の音声化
• インタラクティブソニフィケーションは、インタラクティブソニフィケーションの分野におけるニュースや今後のイベントのハブです。
• ゼロ次空間時間関連
• CodeSounding — オープン ソースの音響化フレームワーク。コード ステートメント (if、for など) に楽器とピッチを割り当て、実行時に実行しながら再生することで、既存のJavaプログラムが「どのように聞こえるか」を聴くことができます。このように、実行の流れは音楽の流れとして再生され、そのリズムはユーザーの操作に応じて変化します。
• LYCAY、Java ソースコードの音声化のための Java ライブラリ
• WebMelody は、Web サーバーのアクティビティを音声化するシステムです。
• カントール集合の音声化[1]
• Sonification Sandbox v.3.0、データセットをサウンドに変換する Java プログラム、GT Sonification Lab、ジョージア工科大学心理学部。
• Java を使用してソニフィケーションをプログラムする、音声合成、MIDI ノート生成、オーディオ クリップを使用してソニフィケーションを実装する方法を説明するオンライン チャプター (コード付き)。
• [2] オーシャン・スウェルのライブ・ソニフィケーション