単語誤り率

単語エラー率( WER ) は、音声認識または機械翻訳システムのパフォーマンスを測る一般的な指標です。 WER 指標は通常 0 から 1 の範囲で、0 は比較したテキストが完全に同一であることを示し、1 (またはそれ以上) は完全に異なっており、類似点がないことを示します。 つまり、WER が 0.8 の場合、比較した文のエラー率は 80% であることを意味します。

パフォーマンスを測定する際の一般的な難しさは、認識された単語シーケンスの長さが参照単語シーケンス（正しいと思われるもの）と異なる場合があることです。WER は、音素レベルではなく単語レベルで機能するレーベンシュタイン距離から導き出されます。WER は、異なるシステムを比較したり、1 つのシステム内での改善を評価したりするのに役立つツールです。ただし、この種の測定では翻訳エラーの性質に関する詳細は提供されないため、エラーの主な原因を特定し、研究努力を集中させるにはさらなる作業が必要です。

この問題は、まず認識された単語シーケンスを、動的な文字列アライメントを使用して参照（発話）単語シーケンスとアライメントすることで解決されます。この問題の検討は、パープレキシティと単語エラー率の相関関係を示すべき乗法則と呼ばれる理論を通して行われます。 ^[1]

単語エラー率は次のように計算されます。

${\displaystyle {\mathit {WER}}={\frac {S+D+I}{N}}={\frac {S+D+I}{S+D+C}}}$

どこ

• Sは置換数であり、
• Dは削除数であり、
• Iは挿入数であり、
• Cは正しい単語の数です。
• Nは参照内の単語数です（N=S+D+C）

「削除」と「挿入」の背後にある直感は、参照から仮説に到達する方法です。したがって、「これは wikipedia です」という参照と「これは _ wikipedia です」という仮説がある場合、それを削除と呼びます。

N は参照内の単語数であるため、挿入数Iが正しい単語数Cより大きい場合、単語エラー率は 1.0 より大きくなる可能性があることに注意してください。

音声認識システムのパフォーマンスを報告する場合、代わりに単語精度 (WAcc)が使用されることがあります。

${\displaystyle {\mathit {WAcc}}=1-{\mathit {WER}}={\frac {NSDI}{N}}={\frac {CI}{N}}}$

WER は 1.0 より大きくなる可能性があるため、単語の精度は 0.0 より小さくなる可能性があります。

一般的に、単語エラー率が低いほど、単語エラー率が高い場合よりも音声認識の精度が優れていると考えられています。しかし、少なくとも 1 つの研究では、これは正しくない可能性があることが示されています。Microsoft Research の実験では、「理解の最適化目標に一致する」という条件でトレーニングを受けた人は、単語エラー率が低い他の人よりも言語理解の精度が高くなることが示されました (Wang、Acero、Chelba、2003)。これは、話し言葉の真の理解は、単語認識の精度が高いだけではないことを示しているのです。^[2]

ただし、上記のような一般的な公式を使用する場合の問題は、さまざまな種類のエラーが成功の可能性に与える影響が考慮されないことです。たとえば、一部のエラーは他のエラーよりも破壊的であったり、一部のエラーは他のエラーよりも簡単に修正できる場合があります。これらの要因は、テスト対象の構文に固有のものである可能性があります。さらに問題なのは、最適なアライメントを使用しても、公式が置換エラーと削除と挿入の組み合わせエラーを区別できないことです。

Hunt (1990) は、置換エラーの重み付けを 1 にする一方で、削除エラーと挿入エラーの重み付けを両方とも 0.5 にする、パフォーマンス精度の重み付け測定法を提案しました。

${\displaystyle {\mathit {WER}}={\frac {S+0.5D+0.5I}{N}}}$

しかし、ハントの公式は、より公平に競合する候補システムを比較する手段として開発されたため、単一システムのパフォーマンスを評価するために適切に使用できるかどうかについては議論があります。特定の構文でエラー修正が可能かどうか、また可能であれば、そのプロセスがユーザーにとってどれほど簡単であるかによって、状況はさらに複雑になります。したがって、パフォーマンス メトリックは、測定対象の特定のシステムに合わせて開発する必要があるという議論には、ある程度の価値があります。

ただし、どの測定基準を使用する場合でも、システムのパフォーマンスを評価する上での 1 つの大きな理論的問題は、単語が「誤って発音された」かどうかを判断することです。つまり、誤りがユーザーにあるか、認識器にあるかを判断することです。これは、特定の言語を母国語としない話者や、強い地方訛りの人に対応するように設計されたシステムでは特に重要です。

測定プロセス中に言葉を話すペースも、被験者間のばらつきの原因になります。被験者が休憩したり、呼吸をしたりする必要があるかどうかも同様です。こうしたすべての要因を何らかの方法で制御する必要があるかもしれません。

テキストディクテーションの場合、パフォーマンス精度が 95% 未満では受け入れられないことが一般的に認められていますが、これも構文やドメインに固有のものである可能性があります (たとえば、タスクを完了するためにユーザーに時間的なプレッシャーがあるかどうか、完了するための代替方法があるかどうかなど)。

「単一単語エラー率」という用語は、システム語彙内の各単語の誤認識率を指すこともあります。

単語誤り率は長さ正規化編集距離とも呼ばれる。^[3] XとY間の正規化編集距離d (X,Y)はW(P)/L(P)の最小値として定義される。ここでPはXとY間の編集パス、W(P)はPの基本編集操作の重みの合計、L(P)はこれらの操作の数（Pの長さ）である。^[4]

• ブルー
• F値
• 流星
• NIST (メートル法)
• ルージュ（メートル法）

• McCowan et al. 2005: 音声認識評価のための情報検索尺度の使用について 2019-02-24 にWayback Machineでアーカイブ
• ハント、MJ、1990：連続単語認識装置を評価するための性能指標（音声通信、9、1990、pp 239-336）
• Zechner, K., Waibel, A.話し言葉のテキスト要約における単語誤り率の最小化