光学音楽認識

光学式音楽認識( OMR ) は、文書内の楽譜をコンピューターで読み取る方法を研究する分野です。^[1] OMR の目標は、コンピューターに楽譜の読み取りと解釈を教えて、機械で読み取り可能な楽譜を作成することです。デジタルでキャプチャされた音楽は、MIDI (再生用) やMusicXML (ページレイアウト用) など、一般的に使用されているファイル形式で保存できます。過去には、誤解を招くように「音楽光学文字認識」とも呼ばれていました。大きな違いがあるため、この用語は使用しないでください。^[2]

印刷された楽譜の光学的な音楽認識は、最初の画像スキャナが研究機関で手頃な価格になった1960年代後半にマサチューセッツ工科大学で始まりました。 ^{[3] [4] [5]}初期のコンピュータのメモリが限られていたため、最初の試みは数小節の音楽に限られていました。1984年に、早稲田大学の日本の研究グループが、目の前の楽譜を読み取り、電子オルガンで歌手を伴奏する機能を持つWABOT（WAseda roBOT）と呼ばれる特殊なロボットを開発しました。^{[6] [7]}

OMR の初期の研究は、Ichiro Fujinaga、Nicholas Carter、Kia Ng、David Bainbridge、Tim Bell によって行われました。これらの研究者は、今日でも使用されている多くの技術を開発しました。

最初の商用 OMR アプリケーションである MIDISCAN (現在のSmartScore ) は、1991 年に Musitek Corporation によってリリースされました。

優れたカメラと十分な計算能力を備えたスマートフォンの登場により、ユーザーがスマートフォンで写真を撮影し、デバイスが直接画像を処理するモバイル ソリューションが実現しました。

光学的音楽認識は、コンピュータビジョン、文書分析、音楽情報検索などの他の研究分野に関連しています。これは、OMRシステムをコンピュータに音楽を入力する手段として使用して、音楽の作曲、転写、編集のプロセスを容易にする現役のミュージシャンや作曲家にとって重要です。図書館では、OMRシステムにより楽譜を検索可能にすることができ^[8]、音楽学者にとっては、大規模な定量的な音楽学的研究を行うことができます。^[9]

光学式音楽認識は光学式文字認識とよく比較されます。^{[2] [10] [11]}最大の違いは、楽譜が特徴的な表記システムであることです。つまり、アルファベットは明確に定義されたプリミティブ（ステム、符頭、フラグなど）で構成されていますが、その構成（五線譜上での配置方法）によって意味と解釈方法が決まります。

2 つ目の大きな違いは、OCR システムは文字と単語の認識に留まるのに対し、OMR システムでは音楽の意味も復元できるという点です。つまり、ユーザーは、音符の垂直位置 (グラフィック概念) が音楽記法のルールを適用して音高 (音楽概念) に変換されることを期待します。テキスト認識にはこれに相当するものがないことに注意してください。類推すると、楽譜の画像から音楽を復元するのは、Web サイトのスクリーンショットからHTML ソース コードを復元するのと同じくらい難しい場合があります。

3 つ目の違いは、使用されている文字セットから生じます。中国語などの表記体系には極めて複雑な文字セットがありますが、OMR のプリミティブの文字セットは、ドットなどの小さな要素から、中括弧などのページ全体に及ぶ可能性のある大きな要素まで、はるかに幅広いサイズをカバーしています。スラーなどの一部の記号は、どこでも中断できる程度の滑らかな曲線としてのみ定義されているため、外観がほぼ制限されていません。

最後に、音楽記法には普遍的な 2 次元の空間関係が含まれますが、テキストはベースラインが確立されると 1 次元の情報ストリームとして読み取ることができます。

楽譜を認識するプロセスは通常、特殊なパターン認識アルゴリズムで処理される小さなステップに分割されます。

競合する多くのアプローチが提案されていますが、そのほとんどはパイプライン アーキテクチャを共有しており、このパイプラインの各ステップでは、次のステージに進む前に五線譜を検出して削除するなどの特定の操作を実行します。このアプローチの一般的な問題は、1 つのステージで発生したエラーやアーティファクトがシステム全体に伝播し、パフォーマンスに大きな影響を与える可能性があることです。たとえば、五線譜検出ステージで五線譜の存在を正しく識別できない場合、後続のステップではおそらく画像のその領域が無視され、出力で情報が欠落することになります。

光学的音楽認識は、問題が簡単そうに見えることから、しばしば過小評価されている。活字楽譜の完璧なスキャンがあれば、投影やテンプレートマッチングなどの一連のかなり単純なアルゴリズムで視覚認識を解決できる。しかし、スキャンの質が悪い場合や手書きの楽譜の場合、多くのシステムではまったく認識できないため、プロセスは大幅に難しくなる。また、すべての記号が完璧に検出されたとしても、曖昧さや楽譜の規則の頻繁な違反のため、音楽の意味を復元するのは依然として困難である（ショパンのノクターンの例を参照）。ドナルド・バードとヤコブ・シモンセ​​ンは、現代の楽譜は非常に複雑なため、OMR は難しいと主張している。^[11]

ドナルド・バードはまた、音楽記譜法の複雑さを示す 興味深い例^[12]や極端な例^[13]も数多く収集しました。

OMR システムの一般的な用途には、音楽スコアの可聴バージョン (再生可能バージョンと呼ばれる) の作成が含まれます。このようなバージョンを作成する一般的な方法は、オーディオ ファイルに合成できるMIDIファイルを生成することです。ただし、MIDI ファイルでは、彫刻情報 (音符の配置方法) や異名同音のスペルを保存できません。

人間が読みやすいこと（再印刷可能性と呼ばれる）を目的として楽譜を認識する場合、レイアウトと彫刻に関する正確な情報を含む構造化エンコードを復元する必要があります。この情報を保存するのに適した形式には、MEIとMusicXMLがあります。

これら 2 つのアプリケーション以外にも、画像からメタデータを抽出したり、検索を有効にしたりするのも面白いかもしれません。最初の 2 つのアプリケーションとは対照的に、これらのタスクを実行するには、楽譜の理解度が低くても十分かもしれません。

2001年、David BainbridgeとTim BellはOMRの課題に関する研究を発表し、これまでの研究をレビューしてOMRの一般的なフレームワークを抽出しました。^[10]彼らのフレームワークは、2001年以降に開発された多くのシステムで使用されています。このフレームワークには、オブジェクトの視覚的検出に重点を置いた4つの異なる段階があります。彼らは、使用された操作が出力形式に固有のものであるため、音楽の意味の再構築が出版された記事から省略されることが多いことに気づきました。

2012年、Ana Rebeloらは光学式音楽認識の技術を調査しました。^[14]彼らは公開された研究を分類し、OMRパイプラインを前処理、音楽記号認識、音楽記譜の再構築、最終表現の構築の4つの段階に洗練しました。このフレームワークはOMRの事実上の標準となり、現在でも使用されています（ただし、用語が若干異なる場合もあります）。各ブロックでは、その問題に取り組むために使用される技術の概要を示しています。この出版物は、2019年時点でOMR研究で最も引用されている論文です。

ディープラーニングの登場により、多くのコンピュータビジョンの問題は、手作りのヒューリスティックと特徴量エンジニアリングによる命令型プログラミングから機械学習へと移行しました。光学式音楽認識では、五線譜処理段階^{[15] [16]}、音楽オブジェクト検出段階^{[17] [18] [19] [20]}、および楽譜再構成段階^[21]で、ディープラーニングによる解決が成功しています。

まったく新しいアプローチも提案されており、その中には、楽譜の画像を取り込んで認識された音楽を簡略化された形式で直接生成するシーケンスツーシーケンスモデルを使用して、エンドツーエンドでOMRを解決するというものがあります。^{[22] [23] [24] [25]}

2016年以前に開発されたシステムでは、スタッフの検出と除去が大きな障害となっていました。最先端の技術を改善し、この分野を前進させるために、科学的なコンテストが開催されました。 ^[26]優れた結果と、スタッフ除去の段階を時代遅れにした最新の技術により、このコンテストは中止されました。

しかし、このチャレンジのために開発された無料で入手できる CVC-MUSCIMA データセットは、50 人のミュージシャンによって書き起こされた手書きの楽譜の高品質な画像 1,000 枚が含まれているため、OMR 研究にとって依然として非常に関連性があります。このデータセットはさらに拡張され、1,000 ページのうち 140 ページに詳細な注釈が含まれた MUSCIMA++ データセットになりました。

楽譜検索・分析のための単一インターフェースプロジェクト（SIMSSA）^{[27]は、コンピュータに楽譜を認識しアクセスできるように教えるプロジェクトとしてはおそらく最大のものである。Liber Usualis [28]}やCantus Ultimus ^[29]など、いくつかのサブプロジェクトがすでに成功裏に完了している。

より豊かなオンライン音楽パブリックドメインアーカイブを目指して（TROMPA）は、欧州連合が後援する国際的な研究プロジェクトであり、パブリックドメインのデジタル音楽リソースをよりアクセスしやすいものにする方法を研究しています。^[30]

OMRシステムの開発では、開発中のシステムがさまざまな条件下で機能することを保証するために、十分なサイズと多様性を備えたテストデータセットが役立ちます。しかし、法的な理由や著作権侵害の可能性があるため、そのようなデータセットをコンパイルして公開することは困難です。OMRの最も注目すべきデータセットは、OMRデータセットプロジェクト^[31]によって参照および要約されており、CVC-MUSCIMA、^[32] MUSCIMA++、^[33] DeepScores、^[34] PrIMuS、^[35] HOMUS、^[36] SEILSデータセット、^[37]およびUniversal Music Symbol Collection ^{[38]が含まれます。}

フランスの企業Newzikは、OMR技術Maestriaの開発において、ランダムスコア生成を使用するという異なるアプローチを採用しました^[39]。合成データを使用することで、著作権の問題を回避し、実際のレパートリーではめったに発生しない音楽ケースで人工知能アルゴリズムをトレーニングすることができ、最終的には（同社の主張によれば）より正確な音楽認識につながりました。^[40]

オープンソースOMR プロジェクトは、 Audiverisなどの十分に開発されたソフトウェアから、学術界で実現された多くのプロジェクトまで多岐にわたりますが、成熟した状態に達し、ユーザーに正常に展開されたプロジェクトはそのうちのほんのわずかです。これらのシステムには次のものが含まれます。

• アルスピックス^[41]
• オーディヴェリス^[42]
• カンター^[43]
• ガメラのためのMusicStavesツールキット^[44]
• ドモエス^[45]
• オエマー^[46]
• オープンOMR ^[47]
• ロダン^[48]

過去20年間に開発された商用デスクトップアプリケーションのほとんどは、商業的な成功がなかったため再び閉鎖され、現在でもOMR製品の開発、保守、販売を行っているベンダーはわずか数社のみとなっています。これらの製品の中には、認識率が非常に高く、最大100%の精度を誇るものもありますが^{[49] [50]}、その数値がどのように得られたかを明らかにしていないため、検証したり、異なるOMRシステムを比較したりすることはほぼ不可能です。

• カペラスキャン^[51]
• FORTE フォルテ記法^[52]
• 作曲・編曲システムによるMIDI接続スキャン^[53]
• NoteScanはNightingaleにバンドルされています^[54]
• ミリアドSARL
  • OMeR (Optical Music easy Reader) ハーモニーアシスタントとメロディーアシスタントのアドオン: Myriad Software ^[55]
  • PDFtoMusicプロ^[56]
• PhotoScore by Neuratron ^[50] PhotoScoreのLightバージョンはSibeliusで使用されています。PhotoScoreはSharpEye SDKを使用しています。
• npcImagingによるScorscan ^[57]
• MusitekのSmartScore 。 ^{[58]以前は「MIDISCAN」としてパッケージ化されていました。(SmartScore Liteは}Finaleの以前のバージョンで使用されていました)。
• ScanScore ^{[59] （} Forte Notationとのバンドルとしても提供）^[52]
• Soundslice PDF/画像インポーター。^[60] AIベースのOMRシステムは2022年9月にベータ版としてリリースされました。^[61]
• NewzikのMaestria。^[39] 2021年5月にリリースされたMaestriaは、ディープラーニングをベースにした新世代のOMR技術の一例です。同社は、より良い結果をもたらすだけでなく、「変換するたびに精度が上がる」と主張しています。^[62]

カメラの性能向上と処理能力の向上により、Google Play ストアと Apple ストアの両方でさまざまなモバイル アプリケーションが利用できるようになりました。多くの場合、焦点は視奏 (視奏を参照)、つまり楽譜をデバイスで再生できる音に変換することに当てられています。

• Gear Up ABのiSeeNotes ^[63]
• ニューラトロンのNotateMe Now ^[64]
• 宋張のノーテーションスキャナー^[65]
• Organum LtdのPlayScore 2 ^[66]
• Musitek の SmartScore NoteReader ^[67]
• Newzikアプリ^[68]

• 音楽情報検索(MIR) は、楽譜やオーディオなどのメディアから音楽情報を検索するという広範な問題です。
• 光学文字認識（OCR）は、OMRやMIRと同様に、文書検索に適用できるテキスト認識です。しかし、完全なOMRシステムは楽譜にあるテキストを忠実に表現する必要があるため、OMRは実際にはOCRのスーパーセットです。^[10]

• ISMIR 2018 チュートリアル「初心者のための光学式音楽認識」の録画
• 光学式音楽認識 (OMR): プログラムと科学論文
• OMR (光学式音楽認識) システム: OMR の総合表 (最終更新日: 2007 年 1 月 30 日)。

ウィキメディア・コモンズの光学式音楽認識に関連するメディア