音声ディープフェイク

リプレイベースのディープフェイクは、会話相手の声の録音を再現することを目的とした悪意のある作品である。^{[ 8 ]}

遠距離検出と切り貼り検出の2 種類があります。遠距離検出では、被害者のマイク録音をハンズフリー電話でテストセグメントとして再生します。^{[ 9 ]}一方、切り貼りでは、テキスト依存システムから要求された文を偽造します。^{[ 10 ]}テキスト依存話者検証は、リプレイベースの攻撃から防御するために使用できます。^{[ 8 ] [ 11 ]}エンドツーエンドのリプレイ攻撃を検出する現在の技術は、ディープ畳み込みニューラルネットワークの使用です。^{[ 12 ]}

音声合成に基づくカテゴリは、ソフトウェアまたはハードウェアシステムプログラムを使用して人間の音声を人工的に生成することを指します。音声合成には、テキストをリアルタイムで許容可能で自然な音声に変換することを目的としたテキスト音声合成が含まれます。^{[ 13 ]}テキストの言語記述の規則を使用して、音声をテキスト入力に一致させます。

この種の古典的なシステムは、テキスト分析モデル、音響モデル、ボコーダーの3つのモジュールで構成されています。音声生成は通常、2つの重要なステップに従う必要があります。まず、元の音声文の書き起こしテキストとともに、クリーンで構造化された生の音声データを収集する必要があります。次に、これらのデータを使用してテキスト音声合成モデルをトレーニングし、合成音声生成モデルを構築する必要があります。

具体的には、対象話者の音声が書き起こされたテキストが生成モデルへの入力となります。テキスト分析モジュールは入力テキストを処理し、言語的特徴に変換します。次に、音響モジュールはテキスト分析モジュールによって生成された言語的特徴に基づいて、音声データから対象話者のパラメータを抽出します。^{[ 14 ]}最後に、ボコーダーは音響的特徴のパラメータに基づいて音声波形を生成することを学習します。最終的な音声ファイルが生成され、波形形式の合成シミュレーション音声が含まれ、トレーニングされていない話者も含め、多くの話者の声の音声が生成されます。

この点における最初のブレークスルーは、WaveNet ^{[ 15 ]}によって導入されました。これは、さまざまな話者の特性を模倣できる生の音声波形を生成するニューラルネットワークです。このネットワークは、長年にわたって、誰もが利用できる非常にリアルな人工音声を合成する他のシステム^{[ 16 ] [ 17 ] [ 18 ] [ 19 ] [ 20 ] [ 21 ]}に追い抜かれました。^{[ 22 ]}

テキスト音声合成は、システムを実現するために使用される音声コーパスの品質に大きく依存しており、音声コーパス全体を作成するにはコストがかかります。また、音声合成システムはピリオドや特殊文字を認識しないという欠点もあります。さらに、同じように書かれた2つの単語が異なる意味を持つ可能性があるため、曖昧さの問題も依然として存在します。

模倣に基づくオーディオディープフェイクは、ある話者（オリジナル）の元の音声を、別の話者（ターゲット）が話しているように聞こえるように変換する方法です。^{[ 23 ]}模倣に基づくアルゴリズムは、音声信号を入力として受け取り、スタイル、イントネーション、またはプロソディを変更することによってそれを変更し、言語情報を変更せずにターゲットの声を模倣しようとします。^{[ 24 ]}この技術は音声変換としても知られています。

この方法は、生成プロセスに関して2つのアプローチの間に明確な区別がないため、以前の合成ベースの方法と混同されることが多い。実際、どちらの方法も音声信号の音響スペクトル特性とスタイル特性を変更するが、模倣ベースの方法では通常、入力テキストと出力テキストは変更されない。これは、この文の話し方をターゲット話者の特徴​​に合わせることで実現される。^{[ 25 ]}

音声は、元の話者と似た声を持つ人間を使って模倣するなど、いくつかの方法で模倣できます。近年、最も普及しているアプローチは、柔軟性と高品質な結果から、生成敵対ネットワーク（GAN）と呼ばれる特定のニューラルネットワークを使用することです。 ^{[ 8 ] [ 23 ]}

次に、元の音声信号を、新しい音声を生成する模倣生成方法を使用して、ターゲット音声のスピーチに変換します。この偽のスピーチが、偽のスピーチとして示されています。

2023年2月、調査会社Graphikaは、国家と連携する主体が政治的な偽情報のためにAI生成のニュースキャスターを使用した最初の既知の事例を記録した。中国のプロパガンダネットワークSpamouflageは、Synthesia AIソフトウェアを使用して「Alex」と「Anna」という2人の架空のニュースキャスターを作成した。ディープフェイクのキャスターは、2022年後半からFacebook、Twitter、YouTubeに投稿された動画に登場した。動画は親中国的な主張を宣伝し、米国を批判した。この作戦には、AIソフトウェアのサブスクリプションに月額約30ドルかかった。検出指標には、ロボットのような話し方、口パクのずれ、動画の字幕の文法ミスなどがあった。^{[ 55 ]}

生成に関して最も重要な側面は、被害者の信憑性、つまり音声ディープフェイクの知覚品質である。

音声ディープフェイク生成の精度レベルを決定する指標はいくつかあり、最も広く使用されているのは平均意見スコア（MOS）で、これはユーザー評価の算術平均です。通常、評価対象となるテストには、異なる音声生成アルゴリズムによって作成された文の知覚評価が含まれます。この指標は、単一の話者でトレーニングされたアルゴリズムによって生成された音声のMOSが高いことを示しています。^{[ 25 ] [ 15 ] [ 56 ] [ 57 ] [ 20 ]}

サンプリングレートも、音声ディープフェイクの検出と生成において重要な役割を果たします。現在利用可能なデータセットのサンプリングレートは約 16  kHz であり、音声品質を著しく低下させています。サンプリングレートを上げると、より高品質な生成につながる可能性があります。^{[ 18 ]}

2020年3月、マサチューセッツ工科大学の研究者が、 15.aiというWebアプリケーションを通じてデータ効率の良い音声ディープフェイク生成を実証しました。これは、わずか15秒のトレーニングデータを使用して高品質の音声を生成できるもので、以前のシステムでは数十時間かかっていたのと比較すると非常に効率的です。^{[ 58 ] [ 59][60 ]このシステムは}、スピーカー埋め込みによって複数の音声を同時にトレーニングできる統一されたマルチスピーカーモデルを実装しており、個々の音声に特定の感情的文脈の例がなくても、モデルが異なる音声間で共有されるパターンを学習できるようにしています。^{[ 61 ]}このプラットフォームは、感情表現のためにDeepMojiによる感情分析を統合し、 ARPABET音声転写による正確な発音制御をサポートしています。^{[ 62 ]} 15秒のデータ効率ベンチマークは、後に2024年にOpenAIによって検証されました。 ^{[ 63 ]}

検出部分に焦点を当てると、最近のモデルに影響を与える主な弱点の1つは、採用されている言語である。

ほとんどの研究は英語の音声ディープフェイクの検出に焦点を当てており、中国語やスペイン語^{[ 64 ]} 、ヒンディー語やアラビア語など、最も話されている言語にはあまり注意を払っていません。

また、特定の個人、場所、または国に厳密に関連付けられた発音方法を表すさまざまなアクセントに関連するより多くの要素を考慮することも不可欠です。話者認識などの他のオーディオ分野では、アクセントがパフォーマンスに大きく影響することがわかっているため^{[ 65 ]}、この特徴は、この検出タスクでもモデルのパフォーマンスに影響を与える可能性があると予想されます。

さらに、音声データの過剰な前処理は、非常に高い、そしてしばしば持続不可能な計算コストにつながっています。このため、多くの研究者は、ラベルなしデータを処理して検出タスクで効果的に機能し、モデルのスケーラビリティを向上させると同時に計算コストを削減する自己教師あり学習アプローチを採用することを^提案しています[66]。さらに、未知のなりすまし攻撃に対処する上で重要な要素は、モデルをより広範囲の音響的変動にさらし、未知の攻撃条件への汎化能力を高める効果的なデータ拡張戦略の使用にあります^{[ 67 ] 。}

実際の音声データを用いたモデルの学習とテストは、まだ発展途上の分野である。実際、現実世界の背景雑音を含む音声を使用することで、偽音声検出モデルの堅牢性を高めることができる。

さらに、ほとんどの取り組みは合成音声ディープフェイクの検出に集中しており、模倣ベースのディープフェイクは生成プロセスが本質的に難しいため、分析している研究はほとんどありません。^{[ 10 ]}

近年、音声ディープフェイクが引き起こす可能性のある悪意のある行為、例えば個人情報の窃盗や国家元首の演説の改ざんなどから身を守るための技術が増加している。

ディープフェイクを防ぐために、ブロックチェーンやその他の分散型台帳技術（DLT）を使用してデータの出所を特定し、情報を追跡することを提案する人もいる。^{[ 14 ] [ 68 ] [ 69 ] [ 70 ]}

デジタルコンテンツから知覚された感情に対応する情動の手がかりを抽出して比較することも、ディープフェイクに対抗するために提案されている。^{[ 71 ] [ 72 ] [ 73 ]}

もう1つの重要な側面は、この問題の軽減に関するものです。独自の検出ツールは、ジャーナリストのファクトチェッカーなど、必要とする人だけに提供するのが望ましいという提案があります。^{[ 8 ]}そうすれば、悪意のある目的で生成モデルを作成する人は、ディープフェイクの検出を容易にする特徴を正確に知ることができないため、^{[ 8 ]}攻撃者を思いとどまらせることができます。

代わりに検出を改善するために、研究者たちはプロセスを一般化しようとしており、^{[ 74 ]}パフォーマンスを向上させる前処理技術を探したり、トレーニングに使用されるさまざまな損失関数をテストしたりしています。^{[ 32 ] [ 75 ]}

2023年1月、中国はディープフェイクコンテンツに明確なラベル表示を義務付ける規制を施行した。この規則は、ディープ合成技術を使用して偽ニュースを作成または拡散することを禁じている。サービスプロバイダーはユーザーの身元を確認し、コンテンツログを保持しなければならない。この規制は、ディープフェイク技術を特に対象とした最初の包括的な政府枠組みの1つである。^{[ 76 ]}

世界中の数多くの研究グループが、メディア操作、すなわち音声ディープフェイクだけでなく、画像や動画のディープフェイクの検出に取り組んでいる。これらのプロジェクトは通常、公的または民間の資金援助を受けており、大学や研究機関と密接な連携を取っている。

この目的のために、国防高等研究計画局(DARPA) はセマンティックフォレンジック (SemaFor) を運営しています。^{[ 77 ] [ 78 ]}また、DARPA のメディアフォレンジック (MediFor) ^{[ 79 ] [ 80 ]}プログラムの研究の一部を活用し、これらのセマンティック検出アルゴリズムは、メディアオブジェクトが生成されたか操作されたかを判断し、メディアの出所分析を自動化し、さまざまなコンテンツの偽造の背後にある意図を明らかにする必要があります。^{[ 81 ] [ 77 ]}

もう一つの研究プログラムは、イタリア教育・大学・研究省（MIUR）が資金提供し、イタリアの5つの大学が運営する人工知能時代のメディアの信頼性維持（PREMIER） ^{[ 82 ]}プログラムです。PREMIERは、より解釈しやすく安全なフォレンジック検出器を得るための新しいハイブリッドアプローチを追求します。^{[ 83 ]}

DEEP-VOICE ^{[ 84 ]}は、検索ベース音声変換 (RVC) と呼ばれるプロセスを通じて、音声がニューラルネットワークによって生成されたかどうかを検出するシステムを開発するための研究目的で公開されているデータセットです。予備研究では、人間の音声に見られる特徴と人工知能アルゴリズムによって生成された音声の特徴との間に、統計的に有意な違いが多数あることが示されました。

ここ数年、音声ディープフェイク研究の分野をさらに発展させるために、数多くのコンテストが開催されてきた。

世界で最も有名なチャレンジは、ASVspoof ^{[ 26 ]}、つまり自動話者検証スプーフィングと対策チャレンジです。このチャレンジは、スプーフィングの検討と対策の開発を促進することを目的とした、コミュニティ主導の隔年開催の取り組みです。^{[ 85 ]}

最近のもう一つの課題は、ADD ^{[ 86 ]} —Audio Deepfake Detection—であり、これはより現実的なシナリオにおける偽の状況を考慮している。^{[ 87 ]}

また、音声変換チャレンジ^{[ 88 ]}は、同じ音声データを使用してさまざまな音声変換システムとアプローチを比較する必要性から作成された、2年に1回のチャレンジです。