音楽情報検索

音楽情報検索( MIR ) は、音楽から情報を検索する学際的な科学です。MIR に携わる人は、学術的な音楽学、心理音響学、心理学、信号処理、情報科学、機械学習、光学的音楽認識、計算知能、またはこれらの組み合わせのバックグラウンドを持っている場合があります。

音楽情報検索は、企業や学術機関によって、音楽を分類、操作、さらには作成するために使用されています。

古典的な MIR 研究トピックの 1 つはジャンル分類です。これは、クラシック、ジャズ、ロックなどの定義済みジャンルのいずれかに音楽アイテムを分類することです。ムード分類、アーティスト分類、楽器識別、音楽タグ付けも人気のあるトピックです。

音楽の推薦システムは既にいくつか存在しますが、ユーザー間の類似性や面倒なデータ コンパイルを利用するのではなく、MIR 技術に基づくシステムは意外にもほとんどありません。たとえば、 Pandora は専門家を利用して、音楽に「女性歌手」や「強いベースライン」などの特定の特性をタグ付けします。他の多くのシステムは、視聴履歴が似ているユーザーを見つけ、それぞれのコレクションからユーザーに聞いたことのない音楽を提案します。音楽の類似性に関する MIR 技術は、現在、このようなシステムの一部を形成し始めています。

音楽ソースの分離とは、混合オーディオ信号から元の信号を分離することです。楽器認識とは、音楽に含まれる楽器を識別することです。マスターコピーにアクセスせずに音楽をコンポーネントトラックに分離できるさまざまな MIR システムが開発されています。この方法では、たとえば、通常の音楽トラックからカラオケトラックを作成できますが、ボーカルが他の楽器と同じ周波数空間を一部占有するため、このプロセスはまだ完璧ではありません。

自動音楽転写は、オーディオ録音を楽譜やMIDIファイルなどの記号表記に変換するプロセスです。^[1]このプロセスには、マルチピッチ検出、オンセット検出、継続時間の推定、楽器の識別、ハーモニー、リズム、メロディー情報の抽出など、いくつかのオーディオ分析タスクが含まれます。このタスクは、楽器の数が増え、ポリフォニーレベルが高くなるほど難しくなります。

音楽の自動生成は、多くの MIR 研究者が抱く目標です。これまでさまざまな試みがなされてきましたが、その結果を人間が評価するという点では、成功には限界があります。

スコアは、作業のベースとなる音楽を明確かつ論理的に説明してくれますが、デジタルであろうとなかろうと、楽譜にアクセスするのは現実的ではないことがよくあります。MIDI音楽も同じような理由で使用されてきましたが、音楽が MIDI 標準を念頭に置いて書かれた場合を除き、他の形式から MIDI に変換すると一部のデータが失われます。これはまれです。オーディオ自体が分析の一部である場合は、 WAV、mp3、oggなどのデジタルオーディオ形式が使用されます。mp3 や ogg などの非可逆形式は人間の耳にはよく聞こえますが、研究にとって重要なデータが欠落している可能性があります。さらに、一部のエンコードでは、自動分析装置を誤解させる可能性のあるアーティファクトが作成されます。それにもかかわらず、mp3 はどこにでもあるため、この分野の多くの研究では、これをソース資料として使用しています。Webからマイニングされたメタデータは、文化的背景の中で音楽をより包括的に理解するために、ますます MIR に組み込まれており、これには最近では音楽の ソーシャルタグの分析が含まれます。

分析には要約が必要になることが多く、^[2]音楽の場合（他の多くのデータ形式と同様に）、これは特徴抽出によって実現されます。特にオーディオコンテンツ自体が分析され、機械学習が適用される場合はそうです。その目的は、膨大な量のデータを扱いやすい値のセットにまで減らし、学習を妥当な時間枠内で実行できるようにすることです。抽出される一般的な特徴の1つは、音楽の音色の尺度であるメル周波数ケプストラム係数（MFCC）です。その他の特徴は、曲のキー、コード、ハーモニー、メロディー、メインピッチ、1分間の拍数、またはリズムを表すために使用できます。利用可能なオーディオ特徴抽出ツールは多数あります^[3]。 こちらから入手できます。

• 分類、クラスタリング、モデリングのための計算手法 - モノラルおよびポリフォニック音楽の音楽的特徴抽出、類似性およびパターンマッチング、検索
• 形式手法とデータベース-楽譜追跡、自動伴奏、音楽および音楽クエリのルーティングとフィルタリング、音楽情報の処理と検索のためのクエリ言語、標準、その他のメタデータまたはプロトコル、マルチエージェントシステム、分散検索などの自動音楽識別および認識のアプリケーション)
• 音楽情報検索用ソフトウェア -セマンティック ウェブと音楽デジタル オブジェクト、インテリジェント エージェント、共同ソフトウェア、ウェブベースの検索とセマンティック検索、ハミングによるクエリ/音による検索、音響フィンガープリンティング
• 音楽分析と知識表現 -自動要約、引用、抜粋、ダウングレード、変換、音楽の形式モデル、デジタル楽譜と表現、音楽のインデックス作成とメタデータ。

• 人間とコンピュータのインタラクションとインターフェース —マルチモーダルインターフェース、ユーザーインターフェースとユーザビリティ、モバイルアプリケーション、ユーザーの行動
• 音楽の知覚、認知、感情、感情 - 音楽の類似性メトリクス、構文パラメータ、意味パラメータ、音楽形式、構造、スタイル、音楽注釈方法論
• 音楽アーカイブ、ライブラリ、デジタルコレクション - 音楽デジタルライブラリ、音楽アーカイブ、ベンチマーク、研究データベースへの一般公開
• 知的財産権と音楽 - 国内および国際著作権問題、デジタル著作権管理、識別と追跡可能性
• 音楽の社会学と経済 - 音楽産業と、制作、流通、消費チェーンにおける MIR の使用、ユーザー プロファイリング、検証、ユーザーのニーズと期待、音楽 IR システムの評価、テスト コレクションの構築、実験設計と測定基準

• 国際音楽情報検索協会 (ISMIR) 会議は、音楽情報検索研究の最高レベルの会場です。
• 国際音響・音声・信号処理会議 (ICASSP)も非常に関連性の高い会場です。

• Michael Fingerhut (2004)。「音楽情報検索、または音楽を検索 (および発見) し、インシピットを排除する方法」、IAML-IASA 会議、オスロ (ノルウェー)、2004 年 8 月 8 ～ 13 日。

• 国際音楽情報検索協会
• 音楽情報検索研究
• M. Schedl、E. Gómez、J. Urbano: 音楽情報検索: 最近の発展と応用
• インテリジェントオーディオシステム：音楽情報検索の基礎と応用、スタンフォード大学音楽音響コンピュータ研究センターの入門コース
• Micheline Lesaffre: 音楽情報検索: 概念フレームワーク、注釈、およびユーザー行動。
• Imagine Research: MIR アプリケーション用のプラットフォームとソフトウェアを開発
• AudioContentAnalysis.org: MIR リソースと MATLAB コード
• Minz Won、Janne Spijkervet、Keunwoo Choi: チュートリアル - 音楽分類: 教師あり学習を超えて、現実世界のアプリケーションへ

• Musipedia — 口笛、タッピング、ピアノキーボード、パーソンズコードなど、さまざまな検索モードを提供するメロディー検索エンジン。
• Peachnote — デジタル化された楽譜を検索するメロディー検索エンジンとNグラムビューア