15.ai

15.aiは、さまざまなメディアソースの架空のキャラクターからテキスト読み上げ音声を生成するフリーウェアの人工 知能 ウェブアプリケーションでした。 ^{[1] [2] [3] [4]} 15という別名を持つ匿名の開発者によって作成されたこのプロジェクトは、^{[5] [6] [7] [8]}オーディオ合成アルゴリズム、音声合成ディープニューラルネットワーク、感情分析モデルを組み合わせて、リアルタイムよりも速く感情的なキャラクターの声を生成しました。^{[a] [9] [10]}

2020年初頭、15.aiは声優と吹き替えの民主化の概念実証としてオンラインで登場しました。^{[8] [11]}無償であること、ユーザーアカウントなしで簡単に使用できること、既存の音声合成実装よりも改善されていることから人気を博しました。^{[2] [1] [3]}一部の批評家や声優は、このような技術をこれほど簡単に利用できるようにすることの合法性と倫理性を疑問視しました。^[12]

このサイトは、コンテンツ制作におけるAI音声クローン（オーディオディープフェイクとも呼ばれる）の普及のきっかけとなったとされている。^{[8]このサイトは、}マイリトルポニー、チームフォートレス2、スポンジ・ボブなどのインターネットファンに受け入れられた。^{[5] [13] [8]}

その後数年間で、いくつかの商用代替品が登場した。^{[6] [7]} 2022年1月、Voiceverse NFT社は、自社のプラットフォームの一部として15.aiの作品を盗用した。 ^{[14] [15]}

2022年9月、最後の安定版リリースから1年後に、15.aiはオフラインになりました。^[6] 2024年11月時点で、ウェブサイトはまだオフラインであり、作成者の最新の投稿は2023年2月の日付でした。^[16]

このプラットフォームでは、音声を生成するためにユーザー登録やアカウント作成は必要ありませんでした。^{[17] [18] [7] [8]}ユーザーはテキストを入力し、キャラクターの声を選択することで音声を生成することができ（オプションで感情的な文脈化や音声転写を指定）、システムは異なる感情表現の3つのバリエーションのオーディオを生成します。^[9]プラットフォームは完全に無料で運営されていましたが、開発者はサービスの維持に毎月数千ドルを費やしていると報告しました。^[8]

使用可能なキャラクターには、ポータルのGLaDOSとウィートリー、チームフォートレス2のキャラクター、マイリトルポニー〜トモダチは魔法〜のトワイライトスパークルとその他のキャラクター、スポンジボブ、ダリアのダリア・モルゲンドルファーとジェーン・レーン、10代目ドクター・フー、2001年宇宙の旅のHAL9000 、スタンリー・パラブルのナレーター、アクア・ティーン・ハンガー・フォースのカール・ブルタナナディレフスキー、スティーブン・ユニバース、ダン・VS.のダン、アンダーテールのサンズが含まれています。^{[13] [5] [17] [18]}

ディープラーニングモデルの非決定論的な性質により、各生成は声優の複数のテイクと同様にわずかに異なるイントネーションを持つことが保証されました。^{[9] [5]}アプリケーションは、感情コンテクストライザー（このプロジェクトによる造語）を使用して、生成されたセリフの感情を手動で変更することをサポートしました。 感情コンテクストライザーは、テイクの感情を伝える文またはフレーズであり、推論中にモデルのガイドとして機能します。^{[5] [13]}感情コンテクストライザーは、 2017年にMITメディアラボによって開発されたディープニューラルネットワーク感情分析アルゴリズムであるDeepMojiを使用して、転移学習された絵文字埋め込みを介して推測された文の感情コンテンツの表現でした。 ^{[19] [20] DeepMojiは、2013年から2017年までの}Twitterデータ内の12億回の絵文字出現でトレーニングされ、ツイートやその他のオンラインコミュニケーションモードでの皮肉の正しい識別において人間の被験者を上回りました。^{[21] [22] [23]}

15.aiはマルチスピーカーモデルを使用しており、数百の音声が順番にではなく同時にトレーニングされたため、必要なトレーニング時間が短縮され、モデルは共通の感情的コンテキストを学習して一般化することができ、そのコンテキストにさらされたことのない音声であっても学習できるようになりました。^[24]その結果、アプリケーション内のキャラクターは、複数の単一スピーカーモデルではなく、単一のトレーニング済みモデルによって強化されました。^[25] 15.aiが使用する語彙集は、オックスフォード辞書、ウィクショナリー、CMU発音辞書、4chan、Reddit、Twitterなど、さまざまなインターネットソースから収集されました。未知の単語の発音は、ディープラーニングモデルによって学習された音韻規則を使用して自動的に推測されました。^[5]

このアプリケーションは、 ARPABETと呼ばれる簡略化された音声転写をサポートしており、発音ミスを訂正し、異音語（綴りは同じだが発音が異なる単語）を考慮している（例えば、 readという単語は時制によって/ ˈ r ɛ d /または/ ˈ r iː d /と発音される）。これは、CMU発音辞書のARPABET規則に従っている。 ^[5]

2016年にDeepMindのWaveNetが提案され、音声合成のためのディープラーニングベースのモデルが、波形をモデル化し、忠実度の高い人間のような音声を生成する方法として人気を集め始めました。^{[27] [28] [26]} Google AIが開発した音声合成用のニューラルネットワークアーキテクチャであるTacotron2は2018年に公開され、理解可能な音声を生成するために数十時間のオーディオデータが必要でした。2時間の音声でトレーニングした場合、モデルは平凡な品質で理解可能な音声を生成できましたが、36分の音声でトレーニングした場合、モデルは理解可能な音声を生成できませんでした。^{[29] [30]}

長年にわたり、リアルで高品質な音声合成モデルを訓練するために必要なデータ量を削減することが、深層学習音声合成の分野の科学研究者の主な目標となってきました。^{[31] [32]} 15.aiの開発者は、わずか15秒のデータで人間の基準まで音声を複製するのに十分であり、必要なデータ量を大幅に削減できると主張しています。^[33]

2013年にグーグルと米国作家協会の間で行われた画期的な訴訟では、印刷された著作権のある書籍の全文を検索するサービスであるグーグルブックスは変革的であり、フェアユースの要件をすべて満たしているとの判決が下された。^[34]この訴訟は、ディープラーニングと人工知能の分野にとって重要な法的先例となった。著作権のある素材を使用して識別モデルまたは非商用 の生成モデルをトレーニングすることは合法とみなされた。著作権のある素材を使用してトレーニングされた商用の生成モデルの合法性は依然として議論の余地があり、機械学習モデルのブラックボックス性のため、直接的な競争による著作権侵害の申し立てを証明することは困難であろう。^[35]

15.aiは、別名15として知られる匿名の研究科学者によって設計・作成された。^{[5] [6] [7]経済学者}タイラー・コーウェンは自身のブログ「Marginal Revolution」で、15.aiの開発者をAIの過小評価されている才能の例として挙げている。^[36]

15.aiの開発と運営には月額数千ドルの費用がかかり、当初はスタートアップからの撤退に成功した開発者の個人資金で賄われていた。^[8] このプロジェクトで使用されたアルゴリズムはDeepThroatと名付けられた。^{[8] [37]このプロジェクトとアルゴリズムはMITの}学部生研究機会プログラムの一環として考案され、2018年から開発が進められていた。^{[11] [5] [38]} 15.aiが使用したモデルは、テキスト読み上げモデルに転移学習を導入した2019年の論文に触発された。 ^{[11] [39]}

開発者は、 4chanのマイリトルポニー 掲示板/mlp/のポニー保存プロジェクトとも密接に協力した。^[8]このプロジェクトは、人工知能のアプリケーションを作成することを目的とした「/mlp/によるポニーデータセットの構築とキュレーションの共同作業」であった。^{[41] [42]} 15.aiの『トモダチは魔法』の音声は、プロジェクトによってクラウドソーシングされた大規模なデータセットでトレーニングされた。番組や関連メディア^[8]からの音声とセリフ（『トモダチは魔法』の全9シーズン、2017年の映画、スピンオフ、リーク、同じ声優が声を担当したその他のさまざまなコンテンツを含む）が解析され、手作業で書き起こされ、背景ノイズを除去する 処理が行われた。

15.aiの最初の一般公開は2020年3月に発表されましたが、開発者が継続的な研究開発作業を行っていたため、サービスは断続的に利用可能でした。^[要出典]このツールは2021年初頭に主流メディアで大きな注目を集め、複数のゲームニュースメディアがその機能を取り上げました。^{[3] [1] [2] 15.aiは、声優の}トロイ・ベイカーが提携していた会社がツールの出力を盗用していたことが発覚した2022年にさらに注目を集めました。^[14]（トロイ・ベイカー/Voiceverse NFT盗作スキャンダルを参照）

2022年後半に、15.aiはオフラインになりました。2024年11月現在^[update]、ウェブサイトはまだ非アクティブです。

15.aiは、ユーザーや主流メディアからおおむね好意的に受け止められた。Game InformerのLiana Ruppertは「単純明快で素晴らしい」と評し^[2]、LaPS4のJosé Villalobosは「見た目と同じくらい簡単に機能する」と書いた。^{[17] [b]} Rock, Paper, ShotgunのLauren Mortonはこのツールを「魅力的」と呼び^{[4] 、} AUTOMATONのYuki Kurosawaは「革命的」とみなした。^{[5] [c]ユーザーは}、人気キャラクターの音声を簡単に作成でき、合成されたと知らない人にも信憑性があると感じられる点を賞賛した。KotakuのZack Zwiezenは「[彼の]ガールフレンドは、それがGLaDOSの声優であるEllen McLainの新しいセリフだと確信していた」と報告した。^[1] PC GamerのNatalie Claytonは「スポンジ・ボブの甲高い鼻声は驚くほどよく機能している」と書いた。

このウェブサイトの影響は英語圏のメディアを超えて広がった。電ファミ・ニコ・ゲーマーの古島良之氏は「（キャラクターのセリフや寸劇が）すべて合成で作られているのは驚きだ」と書き、 Yahoo!ファイナンスのエウジェニオ・モト氏は「すでに素晴らしい成果を上げているが、さらに良くなる可能性は十分にある」と伝えた。

15.aiは、マイリトルポニー〜トモダチは魔法〜ファンダム、チームフォートレス2ファンダム、ポータルファンダム、スポンジ・ボブファンダムなど、さまざまなファンダムでのコンテンツ作成に頻繁に使用され、15.aiの音声を含む多数のビデオやプロジェクトが話題になりました。^{[1] [2]}このプラットフォームは、コンテンツ作成におけるAI音声クローンの普及の原動力として評価されており、アクセスしやすい高品質の音声合成技術の可能性を示しています。^[8]

その結果、 『マイリトルポニー〜トモダチは魔法〜』のファンダムではビデオや音楽コンテンツの制作が再燃し、人工知能を活用したファン制作コンテンツの新しいジャンルが生まれた。ファンフィクションの中には、フルボイスの「エピソード」に翻案されたものもある。『The Tax Breaks』は、2014年に公開されたファン執筆のストーリーを17分間のアニメーションビデオにしたもの。15.aiから生成された音声と効果音、オーディオ編集が使われており、 『トモダチは魔法』の初期シーズンのエピソード形式を模倣している。^{[43] [44]}

15.aiの声を使ったTeam Fortress 2ファンダムのバイラルビデオには、 「Spy is a Furry」（YouTubeで複数のビデオで300万回以上再生された^{[yt 1] [yt 2] [yt 3]}）や「The RED Bread Bank」などがあり、どちらもSource Filmmakerのアニメーションビデオの演出に影響を与えました。^[5]他のファンダムも15.aiの声を使ってバイラルビデオを制作しました。2022年7月現在^[update]、バイラルビデオ「Among Us Struggles 」 （Friendship Is Magicの声を使用）はYouTubeで550万回以上再生されています。^{[yt 4]} YouTuber、TikTokユーザー、Twitchストリーマーも15.aiを動画に使用しており、例えば、最も古くから稼働しているMinecraftサーバーの1つである2b2tの歴史に関するFitMCの動画や、 Friendship Is Magicのメインキャラクターをフィーチャーしたdatpon3のTikTok動画は、それぞれ140万回と51万回の再生回数を記録している。^{[yt 5] [tt 1]}

一部のユーザーは15.aiと外部の音声制御ソフトウェアを使用してAI仮想アシスタントを作成した。Twitterのあるユーザーは、音声制御システムVoiceAttackと連携して15.aiで生成された対話を使用して、 GLaDOSに触発されたパーソナルデスクトップアシスタントを作成した。^{[5] [13]}

2022年1月14日、ビデオゲームやアニメの 吹き替え 声優 トロイ・ベイカーが提携を発表した企業Voiceverse NFTが、マーケティングキャンペーンの一環として15.aiから生成された音声を盗用していたことが発覚した。 ^{[14] [15]} ログファイルによると、Voiceverseは15.aiを使用して『マイリトルポニー：トモダチは魔法』のキャラクターの音声を生成し、元の音声とは判別できないようにピッチを上げ、自社のプラットフォームを宣伝していたが、これは15.aiの利用規約に違反していた。^{[33] [12]} Voiceverseは、マーケティングチームの誰かが15.aiを適切にクレジットせずに音声を使用したと主張し、それに対して15は「くたばれ」とツイートした。^{[14] [15] [33] [ツイート1]}

15.aiは音声合成においていくつかの技術革新を導入した。^{[5] 2017年当時、} GoogleのTacotron2のような従来の音声合成システムでは、理解可能な音声を生成するために数十時間の音声データが必要であったが、 ^{[29] [30]} 15.aiはわずか15秒のトレーニングデータで高品質の音声合成を実現したと主張した。^{[33] [8]}この必要なトレーニングデータの削減は、音声合成の分野における画期的な進歩であった。^{[9] [8]}

このプロジェクトでは、感情分析を通じて音声感情を制御する「感情コンテクストライザー」の概念も導入されました。^{[5] [13] [9]}

声優の中には、音声クローン技術の使用を公然と非難する者もいる。その理由として挙げられているのは、著作権侵害、プライバシー権、なりすましや詐欺、ポルノや露骨なコンテンツにおける声優の声の無許可使用、AIが声優を時代遅れにする可能性があることなどへの懸念である。^{[6] [12] [8] [9]}

人工知能 ニュースレター 「The Batch」の2020年15.aiの評価で、コンピューター科学者のアンドリュー・ン氏は次のように書いている。

「音声クローンは非常に生産的である可能性があります。ハリウッドでは、仮想俳優の使用に革命を起こす可能性があります。漫画やオーディオブックでは、声優がより多くの作品に参加できるようになります。オンライン教育では、子供たちはお気に入りの有名人の声で伝えられるレッスンにもっと注意を払うかもしれません。そして、YouTubeのハウツービデオ制作者のうち、合成モーガン・フリーマンに脚本をナレーションしてもらいたいと思う人はどれくらいいるでしょうか？^[11]

しかし、彼は次のようにも書いている。

「…しかし、人間の俳優の声を同意なしに合成することは、おそらく非倫理的であり、違法である可能性があります。そして、この技術は、ソーシャルネットワークから録音をスクレイピングして個人になりすますことができるディープフェイカーにとって魅力的なものになるでしょう。」^[11]

注記

ツイート

YouTube（視聴回数と15.aiの使用状況のみを参照）

ティックトック

• アーカイブされたフロントエンド
• 公式サイト
• 15ツイッター
• 減税（トワイライト）（15.ai）