フレシェ開始距離

フレシェ開始距離（FID）は、生成的敵対的ネットワーク（GAN）^[1]や拡散モデル^[2]などの生成モデルによって作成された画像の品質を評価するために使用される指標です。^{[ 3]}

FID は、生成された画像の分布を実際の画像セット (「グラウンド トゥルース」セット) の分布と比較します。個々の画像を比較するのではなく、モデルによって生成された多数の画像の平均および共分散統計を、グラウンド トゥルースまたは参照セットの画像から生成された同じ統計と比較します。インセプションアーキテクチャなどの畳み込みニューラル ネットワークは、画像を説明する高レベルの特徴を生成するために使用されるため、フレシェインセプション距離 という名前が付けられています。

FIDは、生成された画像の分布のみを評価する以前のインセプションスコア（IS）メトリックに触発されています。 ^[1] FIDメトリックはISメトリックに代わるものではありません。最高（最低）のFIDスコアを達成する分類器はサンプルの多様性が高くなる傾向があり、最高（最高）のISスコアを達成する分類器は個々の画像の品質が優れている傾向があります。^[2]

FID指標は2017年に導入され^[1]、2024年時点で合成画像を生成するモデルの品質を評価するための現在の標準指標となっています。高解像度のStyleGAN1 ^[4]やStyleGAN2 ^[5]ネットワーク、拡散モデルなど、最近の多くのモデルの品質を測定するために使用されています。^{[2] [3]}

FIDは、インセプションネットワークの深い層を通して画像を視覚的に比較しようとします。最近の研究では、画像のCLIP埋め込みを比較することでこれをさらに進めています。 ^{[6] [7]}

FIDスコアの目的は、参照データセット内の画像を使用して生成モデルによって作成された画像の多様性を測定することです。参照データセットはImageNetまたはCOCO-2014です。^{[3] [8]}参照として大規模なデータセットを使用することは重要です。参照画像セットは、モデルが作成しようとする画像の完全な多様性を表す必要があるためです。

拡散モデルなどの生成モデルは、参照セットの特徴を持つ新しい画像を生成しますが、それ自体はトレーニング セット内のどの画像ともまったく異なります。そのため、これらのモデルの品質は、たとえば L2 ノルムで行われるように、各画像をトレーニング セット内の画像とピクセルごとに単純に比較するだけでは評価できません。

代わりに、FID は 2 セットの画像を、 2 つの多次元ガウス分布 とから描画されたかのようにモデル化します。2 つの分布間の距離は、2 つのガウス分布間の地球移動距離またはワッサーシュタイン距離として計算されます。 ${\displaystyle {\mathcal {N}}(\mu ,\Sigma )}$${\displaystyle {\mathcal {N}}(\mu ',\Sigma ')}$

FID は、画像をピクセルごとに直接比較する (たとえば、L2 ノルムによって行われる) のではなく、 Inception v3の最も深いレイヤー (最後のプーリング レイヤーの 2048 次元の活性化ベクトル) の平均と標準偏差を比較します。これらのレイヤーは、特定の種類の犬や飛行機など、現実世界のオブジェクトに対応する出力ノードに近く、入力画像に近い浅いレイヤーからは遠くなっています。そのため、FID は、2 セットの画像内で同じ高レベルの特徴が見つかる頻度を比較します。すべての画像が Inception アーキテクチャで処理された後、2 つのデータセットの最後のレイヤーの活性化の平均と共分散が距離と比較されます。距離が大きいほど、生成モデルの品質が低いことを示します。スコア 0 は、完璧なモデルを示します。 $${\displaystyle d_{F}({\mathcal {N}}(\mu ,\Sigma ),{\mathcal {N}}(\mu ',\Sigma '))^{2}=\lVert \mu -\mu '\rVert _{2}^{2}+\operatorname {tr} \left(\Sigma +\Sigma '-2\left(\Sigma \Sigma '\right)^{\frac {1}{2}}\right)}$$

有限の平均と分散を持つ上の任意の 2 つの確率分布に対して、それらのアースムーバー距離またはフレシェ距離は^[9]で表されます。ここで は、それぞれ第 1因子と第 2 因子の周辺分布を持つ上のすべての測度の集合です。(この集合はとのすべての結合の集合とも呼ばれます。) ${\displaystyle \mu,\nu}$${\displaystyle \mathbb {R} ^{n}}$$${\displaystyle d_{F}(\mu ,\nu ):=\left(\inf _{\gamma \in \Gamma (\mu ,\nu )}\int _{\mathbb {R} ^{n} \times \mathbb {R} ^{n}}\|xy\|^{2}\,\mathrm {d} \gamma (x,y)\right)^{1/2},}$$${\displaystyle \Gamma (\mu ,\nu )}$${\displaystyle \mathbb {R} ^{n}\times \mathbb {R} ^{n}}$ ${\displaystyle \mu}$${\displaystyle \nu}$${\displaystyle \Gamma (\mu ,\nu )}$${\displaystyle \mu}$${\displaystyle \nu}$

2つの多次元ガウス分布 との場合、閉じた形式では^[10]のように表現されます。これにより、FIDを擬似コード形式で定義できます。${\displaystyle {\mathcal {N}}(\mu ,\Sigma )}$${\displaystyle {\mathcal {N}}(\mu ',\Sigma ')}$$${\displaystyle d_{F}({\mathcal {N}}(\mu ,\Sigma ),{\mathcal {N}}(\mu ',\Sigma '))^{2}=\lVert \mu -\mu '\rVert _{2}^{2}+\operatorname {tr} \left(\Sigma +\Sigma '-2\left(\Sigma \Sigma '\right)^{\frac {1}{2}}\right)}$$

関数を入力します。 ${\displaystyle f:\Omega _{X}\to \mathbb {R} ^{n}}$

2 つのデータセットを入力します。 ${\displaystyle S,S'\subset \Omega _{X}}$

計算します。 ${\displaystyle f(S),f(S')\subset \mathbb {R} ^{n}}$

それぞれ に対して2 つのガウス分布を近似します。 ${\displaystyle {\mathcal {N}}(\mu ,\Sigma ),{\mathcal {N}}(\mu ',\Sigma ')}$${\displaystyle f(S),f(S')}$

戻る 。${\displaystyle d_{F}({\mathcal {N}}(\mu ,\Sigma ),{\mathcal {N}}(\mu ',\Sigma '))^{2}}$

FID の最も実用的な用途では、は画像の空間であり、はImageNetでトレーニングされたInception v3モデルですが、最終分類層がありません。技術的には、最後のプーリング層の 2048 次元の活性化ベクトルです。2 つのデータセットのうち、1 つは参照データセット（ImageNet 自体である可能性があります）であり、もう 1 つはGANや拡散モデルなどの生成モデルによって生成された画像のセットです。^[1]${\displaystyle \Omega_{X}}$${\displaystyle f}$${\displaystyle S,S'}$

FIDの特殊な変種は、音楽強調アルゴリズムの評価指標としてフレシェオーディオ距離（FAD）^[11]、ビデオ生成モデルの評価指標としてフレシェビデオ距離（FVD）^[12]、AI生成分子の評価指標としてフレシェケミネット距離（FCD）^[13]として提案されている。

ChongとForsyth ^[14]は、有限データに対する期待値が真の値ではないという意味で、FIDが統計的に偏っていることを示した。また、FIDは真の分布に対するワッサーシュタイン距離を測定するため、ドメイン適応設定やゼロショット生成におけるジェネレータの品質を評価するには不十分である。最後に、FIDはこれまで使用されていたインセプションスコアよりも人間の判断と一致しているが、FIDが人間の判断と一致しないケースもある（例えば、Liuらの図3、5 ）。^[15]

• フレシェ距離