Loading article…
NSynth（「ニューラル合成」の略）は、 WaveNetベースの音声合成用オートエンコーダーで、2017 年 4 月に発表された論文で概要が説明されています。[ 1 ]
このモデルは、ニューラルネットワークベースの合成によって音を生成し、WaveNetスタイルのオートエンコーダを使用して、4 種類の音から独自の時間的埋め込みを学習します。[ 2 ] [ 3 ]その後、Google は、NSynth Super と呼ばれるアルゴリズム用のオープンソースのハードウェア インターフェースをリリースしました。 [ 4 ] GrimesやYACHTなどの著名なミュージシャンが、人工知能を使用して実験的な音楽を生成するために使用しています。[ 5 ] [ 6 ]このアルゴリズムの研究開発は、 Google Brain、Magenta、DeepMindの共同作業の一部でした。[ 7 ]
NSynthデータセットは、市販のサンプルライブラリから1,006種類の楽器をサンプリングした、独自のピッチ、音色、エンベロープを持つ305,979個のワンショット楽器音で構成されています。 [ 8 ] 各楽器について、データセットには標準MIDIピアノのすべてのピッチと5種類のベロシティを網羅した4秒間の16kHzオーディオスニペットが含まれています。 [ 9 ]このデータセットは、クリエイティブ・コモンズ表示4.0国際ライセンス（CC BY 4.0）の下で利用可能です。[ 10 ]
スペクトルオートエンコーダーモデルとWaveNetオートエンコーダーモデルはGitHubで公開されています。[ 11 ]ベースラインモデルは、fft_size 1024、hop_size 256 のスペクトログラム、振幅に対する MSE 損失、および再構成のための Griffin-Lim アルゴリズムを使用します。WaveNet モデルは、サイズ 6144 の μ 法則エンコードされた波形チャンクでトレーニングします。時間的に 512 分の 16 次元の埋め込みを学習します。[ 12 ]
2018年にGoogleは、ミュージシャンが芸術制作で使用できるアルゴリズムへのアクセスしやすい物理的インターフェースを提供するように設計されたNSynth Superと呼ばれるNSynthアルゴリズムのハードウェアインターフェースをリリースしました。 [ 13 ] [ 14 ]
設計ファイル、ソースコード、内部コンポーネントはオープンソースのApache License 2.0 [ 15 ]の下で公開されており、趣味家やミュージシャンが自由に楽器を製作・使用できるようになっている。[ 16 ] NSynth Superの中核にはRaspberry Piがあり、インターフェース要素を収容するためにカスタムプリント基板で拡張されている。[ 17 ]
NSynth Superは市販製品としては一般には入手できないものの、GrimesやYACHTなどの著名なアーティストによって使用されている。[ 18 ] [ 19 ]
グライムスは、2020年のスタジオアルバム『Miss Anthropocene』でこの楽器を使用したと報告している。[ 5 ]
YACHTはアルバムChain TrippingでNSynth Superを多用したと発表した。[ 20 ]
クレア・L・エヴァンスは、この楽器の潜在的な影響をローランドTR-808と比較した。[ 21 ]
NSynth Superのデザインは、2018年にD&ADイエローペンシル賞を受賞しました。 [ 22 ]