困惑

無料辞書のウィクショナリーで「perplexity」を調べてください。

情報理論において、パープレキシティとは離散確率分布からのサンプル値の不確実性の尺度である。パープレキシティが大きいほど、観察者が分布から抽出される値を推測できる可能性が低くなる。パープレキシティは、もともと1977年にフレデリック・ジェリネック、ロバート・ルロイ・マーサー、ラリット・R・バール、ジェームズ・K・ベイカーによって音声認識の文脈で導入された。^[1]

離散確率分布pのパープレキシティPPは、情報理論、機械学習、統計モデリング で広く使用されている概念です。次のように定義されます。

${\displaystyle {\mathit {PP}}(p):=2^{H(p)}=2^{-\sum _{x}p(x)\log _{2}p(x)}=\prod _{x}p(x)^{-p(x)}}$

ここで、H ( p ) は分布のエントロピー(ビット単位) であり、x はイベントの範囲です。対数の底は 2 である必要はありません。エントロピーと累乗が同じ底を使用する限り、パープレキシティは底に依存しません。状況によっては、この尺度は(真の 1 次) 多様性とも呼ばれます。

ランダム変数 Xのパープレキシティは、その可能な値xに対する分布のパープレキシティとして定義できます。これは、結果に関連する不確実性または「驚き」の尺度と考えることができます。

確率分布pにおいて、ちょうどk 個の結果がそれぞれ1/kの確率を持ち、その他すべての結果の確率が 0 である場合、この分布のパープレキシティは単にkです。これは、分布が公平なk面サイコロをモデル化しており、 k 個の結果のそれぞれが等しく起こり得るためです。この文脈では、パープレキシティk は、公平なk面サイコロを振ったときと同じくらいの不確実性があることを示しています。ランダム変数にk を超える結果の可能性がある場合でも、分布がk 個の結果に対して均一であればパープレキシティはkのままで、それ以外では 0 になります。したがって、パープレキシティがkのランダム変数は「 k通りのパープレキシティ」と表現でき、公平なk面サイコロと同じレベルの不確実性があることを意味します。

困惑度は、予測問題の難しさの尺度として使用されることがあります。ただし、一般的には、関連する確率をそのまま表すものではありません。たとえば、2 つの選択肢があり、そのうち 1 つが確率 0.9 の場合、最適な戦略を使用して正しく推測できる可能性は 90 パーセントです。しかし、困惑度は 2 ^{−0.9 log ₂ 0.9 - 0.1 log ₂ 0.1} = 1.38 です。困惑度の逆数 1/1.38 = 0.72 は、確率 0.9 に対応しません。

パープレキシティは、より単純な量であるエントロピーの累乗です。エントロピーは、最適な可変長コードを使用してランダム変数の結果をエンコードするために必要な、予想されるまたは「平均」のビット数を測定します。また、ランダム変数の結果を学習することで得られる予想される情報ゲインと見なすこともできます。これにより、基礎となる確率分布の不確実性と複雑さに関する洞察が得られます。

未知の確率分布pのモデルは、 pから抽出されたトレーニングサンプルに基づいて提案されることがあります。提案された確率モデルqが与えられた場合、pから抽出された別のテストサンプルx ₁、x ₂、 ...、x _Nをどれだけ正確に予測するかを尋ねることでq を評価できます。モデルqのパープレキシティは次のように定義されます 。

${\displaystyle b^{-{\frac {1}{N}}\sum _{i=1}^{N}\log _{b}q(x_{i})}=\left(\prod _{i}q(x_{i})\right)^{-1/N}}$

ここで、通常は 2 です。未知の分布pのより優れたモデルqは、テスト イベントにより高い確率q ( x _i ) を割り当てる傾向があります。したがって、テスト サンプルによって驚かされることが少ないため、これらのモデルはより低い困惑度を持ちます。これは、より優れたモデルはテスト データに対してより高い尤度を持ち、より低い困惑度値につながるということと同じです。 ${\displaystyle b}$

上記の指数は、qに基づく最適なコードを使用する場合、テストイベントx _iを表すために必要な平均ビット数と見なすことができます。 低複雑度モデルはテストサンプルをより適切に圧縮し、 q ( x _i ) が高くなる傾向があるため、平均してテスト要素あたり必要なビット数が少なくなります。

指数はクロスエントロピーとして解釈することもできます。 ${\displaystyle -{\tfrac {1}{N}}\sum _{i=1}^{N}\log _{b}q(x_{i})}$

${\displaystyle H({\tilde {p}},q)=-\sum _{x}{\tilde {p}}(x)\log _{b}q(x)}$

ここで、はテストサンプルの経験分布を表します（つまり、サイズNのテストサンプルにxがn回出現した場合）。 ${\displaystyle {\tilde {p}}}$${\displaystyle {\tilde {p}}(x)=n/N}$

KL ダイバージェンスの定義により、はにも等しくなります。つまり、 のときに、困惑度は最小になります。 $${\displaystyle H({\tilde {p}})+D_{KL}({\tilde {p}}\|q)}$$${\displaystyle \geq H({\tilde {p}})}$${\displaystyle q={\tilde {p}}}$

自然言語処理(NLP)では、コーパスは構造化されたテキストまたはドキュメントのコレクションであり、言語モデルはテキストまたはドキュメント全体の確率分布です。したがって、NLP では、トークン(単語、またはより一般的にはサブワード) あたりのパープレキシティがより一般的に使用される尺度であり、次のように定義されます。 はコーパス内のドキュメントで、 はコーパス内のトークンの数です。これにより、パープレキシティがテキストの長さで正規化され、ドキュメント間ではなく異なるテキストまたはモデル間のより意味のある比較が可能になります。 $${\displaystyle \left(\prod _{i=1}^{n}q(s_{i})\right)^{-1/N}}$$${\displaystyle s_{1},...,s_{n}}$${\displaystyle n}$${\displaystyle N}$

コーパス内の平均テキストx _{i が}言語モデルに従って確率を持つと仮定します。この場合、モデルのパープレキシティは文ごとに 2 ¹⁹⁰になります。ただし、NLP では、テキストの長さで正規化することが一般的です。したがって、テスト サンプルの長さが 1,000 トークンで、トークンごとに 7.95 ビットを使用してコード化できる場合、モデルのパープレキシティはトークンごとに 2 ^7.95 = 247と報告できます。言い換えると、モデルはテスト データに対して、トークンごとに 247 の可能性から均一かつ独立して選択しなければならないのと同じくらい混乱します。 ${\displaystyle 2^{-190}}$

言語モデルには、パープレキシティまたは単語誤り率 (WER) という 2 つの標準的な評価基準があります。これらの基準のうちより単純な WER は、音声認識タスクにおける単語の総数 N に対する、誤って認識された単語 E (削除、挿入、置換) の割合です。2つ目の基準であるパー​​プレキシティ (トークンあたり) は、提案されたモデルmと元の分布pの類似性を評価する情報理論的基準です。これは、テスト セットTの (幾何) 平均確率の逆数として計算できます。$${\displaystyle WER=\left({\frac {E}{\mathbb {N} }}\right)*100\%}$$

${\displaystyle PPL(D)={\sqrt[{N}]{\frac {1}{m(T)}}}=2^{-{\frac {1}{N}}\log _{2}{\big (}m(T){\big )}}}$

ここで、NはテストセットT内のトークンの数です。この式は指数化されたクロスエントロピーとして見ることができ、クロスエントロピーH ( p ; m )は次のように近似されます。

${\displaystyle H(p;m)=-{\frac {1}{N}}\log _{2}{\big (}m(T){\big )}}$

2007 年以降、特にディープラーニング技術の登場により、言語モデルは大きく進歩しました。言語モデルの予測力を定量化する尺度であるトークンあたりのパープレキシティは、Google のBERT、OpenAI のGPT-4などの主要トランスフォーマーモデルやその他の大規模言語モデル(LLM) などのモデルを評価する上で中心的な役割を果たし続けています。

この尺度は、同じデータセット上の異なるモデルを比較し、ハイパーパラメータの最適化を導くために採用されましたが、言語的特徴や文の長さなどの要因に敏感であることが判明しています。^[2]

言語モデル開発において極めて重要な役割を果たしているにもかかわらず、パープレキシティには限界があり、特に音声認識性能、過剰適合、一般化の予測因子としては不十分であるため、^{[3] [4]}盲目的にパープレキシティのみを最適化することの利点について疑問が生じています。

1992年時点でブラウンコーパス（様々なトピックやジャンルのアメリカ英語100万語）で発表された最も低いパープレキシティは、単語/トークンあたり約247で、トライグラムモデルを使用した場合、単語あたりlog ₂ 247 = 7.95ビット、または文字あたり1.75ビットのクロスエントロピーに相当します^[5]。この数字は当時の最先端技術（SOTA）を表していましたが、ディープラーニングなどの技術の進歩により、10億語ベンチマークなどの他のベンチマークでもパープレキシティが大幅に改善されました。^[6]

Brown Corpusの文脈では、次の単語が「the」であると単純に推測すると、7 パーセントの精度が達成されます。これは、単純なパープレキシティの使用から予想される 1/247 = 0.4 パーセントとは対照的です。この違いは、使用される統計モデルの重要性と、予測性の尺度としてのパープレキシティの微妙な性質を強調しています。^[7]この推測は、247 のパープレキシティをもたらしたトリグラム統計ではなく、ユニグラム統計に基づいています。トリグラム統計を使用すると、予測がさらに洗練されます。

• クロスエントロピー
• 統計モデルの検証