レポル

LEPOR (長さペナルティ、精度、n-gram位置差ペナルティ、リコール) は、調整可能なパラメータと強化された要素を備えた、 言語に依存しない自動機械翻訳評価メトリックです。

IBMが機械翻訳（MT）評価の自動メトリクスとしてBLEU ^[1]のシステムを提案し実現して以来、 ^[2] TER 、METEOR ^[3]など、それを改訂または改善する多くの方法が提案されてきました。しかし、従来の自動評価メトリクスにはいくつかの問題があります。一部のメトリクスは特定の言語ではうまく機能しますが、他の言語では弱く、これは通常、言語バイアス問題と呼ばれます。一部のメトリクスは多くの言語機能または言語情報に依存しているため、他の研究者が実験を繰り返すことが困難です。LEPORは、既存の問題のいくつかに対処しようとする自動評価メトリクスです。^[4] LEPORは、言語バイアス問題に対処するために、拡張された要素と対応する調整可能なパラメーターを使用して設計されています。さらに、LEPORの改良版であるhLEPOR ^[5]では、ツリーバンクから抽出された最適化された言語機能を使用しようとします。 LEPORのもう一つの進化版はnLEPORメトリック^[6]であり、これはnグラムの特徴を前の要素に追加します。これまでに、LEPORメトリックはLEPORシリーズに開発されています。^{[7] [8]}

^{LEPORメトリクスは、機械翻訳[9] 、} 自然言語生成^[10]、検索^[11]など、さまざまな分野の多くの研究者によって研究され、分析されてきました。LEPORメトリクスは、自然言語処理の科学的研究者からますます注目を集めています。

LEPOR ^{[4]は、拡張長さペナルティ、}精度、n-gram語順ペナルティ、再現率の係数を用いて設計されている。拡張長さペナルティは、機械翻訳システムによって通常翻訳される仮説翻訳が参照翻訳よりも長いか短い場合にペナルティが課されることを保証する。精度スコアは仮説翻訳の正確さを反映している。再現率スコアは、参照翻訳またはソース言語に対する仮説翻訳の忠実度を反映している。n-gramベースの語順ペナルティ係数は、仮説翻訳と参照翻訳間の異なる位置順序に合わせて設計されている。語順ペナルティ係数は、WongとKit (2008)の研究など、多くの研究者によって有用であることが証明されている。^[12]

単語表面文字列マッチングメトリクスが構文と意味の認識が欠如していると批判されたことを受けて、さらに開発されたLEPORメトリクス(hLEPOR)は、品詞(POS)などの言語的特徴の統合を調査します。^{[5] [8]} POSは、構文と意味の両方の観点から特定の機能として導入されます。たとえば、出力文のトークンが名詞であると予想されるのに動詞である場合、ペナルティが課されます。また、POSは同じでも正確な単語が同じでない場合(たとえばgoodとnice)、この候補は特定のクレジットを獲得します。hLEPORの全体的なスコアは、単語レベルのスコアとPOSレベルのスコアを重み付けセットと組み合わせて計算されます。言語モデリングに触発されたnグラムの知識もnLEPORで広範囲に調査されています。^{[6] [8]} n-gram位置差ペナルティ計算のためのn-gram知識に加えて、n-gramはnLEPORのn-gram精度とn-gram再現率にも適用され、パラメータnは調整可能な係数です。 hLEPORのPOS知識に加えて、構文解析情報からの句構造が新しいバリアントHPPRに含まれています。^[13] HPPR評価モデリングでは、候補テキストから参照テキストへのマッチング中に、名詞句、動詞句、前置詞句、副詞句などの句構造セットが考慮されます。

LEPORメトリクスはもともとPerlプログラミング言語で実装されていましたが^[14]、最近ではPythonバージョン^[15]が他の研究者やエンジニアによって利用可能になり、^[16] Logrus Global Language Service社のプレス発表^[17]により利用可能になりました。

LEPORシリーズは、ACLの年次国際統計的機械翻訳ワークショップ（ACL-WMT）で優れたパフォーマンスを示しました。ACL-WMTは、国際計算言語学会（ACL）の機械翻訳特別利益団体（SIGMT）が開催しています。ACL-WMT 2013では、^[18]英語から他言語への翻訳と評価のトラックと、他言語から英語へのトラックの2つがあります。「他」の言語には、スペイン語、フランス語、ドイツ語、チェコ語、ロシア語が含まれます。英語から他言語への方向では、nLEPORメトリックは、ピアソン相関係数を使用した人間の判断とのシステムレベルの相関スコアが最も高く、スピアマン順位相関係数を使用した人間の判断とのシステムレベルの相関スコアが2番目に高くなっています。英語から他言語への方向では、nLEPOR のパフォーマンスは中程度で、METEOR は人間の判断との相関スコアが最も高くなります。これは、nLEPOR が、公式に提供されているトレーニング データを除いて、簡潔な言語機能である品詞情報のみを使用しているためです。ただし、METEOR は、同義語辞書、言い換え、ステミングなど、他の多くの外部リソースも使用しています。

純粋な語表形式、品詞特徴、句タグ特徴など、さまざまな条件でのLEPORのパフォーマンスに関する拡張された研究と紹介が、マカオ大学の論文に記載されています。^[8]

WMT13 の hLEPOR と nLEPOR のパフォーマンスに関する詳細な統計分析があり、この分析では、スペイン語から英語への個々の言語ペアの評価と 9 つの言語ペアの集約セットの両方で、WMT13 が最高のメトリックの 1 つとして機能したことが示されています。論文 (セグメント レベルの機械翻訳メトリックの正確な評価)「https://www.aclweb.org/anthology/N15-1124」Graham ら 2015 NAACL (https://github.com/ygraham/segment-mteval) を参照してください。

LEPOR自動メトリックシリーズは、自然言語処理のさまざまな分野の多くの研究者によって応用され、使用されています。たとえば、標準MTやニューラルMTなどです。^[19]また、MTコミュニティ以外では、たとえば^[11]はLEPORを検索評価に適用しました。^[20]は、コード（プログラミング言語）生成評価へのLEPORの適用について言及しました。^[10]は、 LEPORを含むメトリックを使用して自然言語生成の自動評価を調査し、 ^[21]自動メトリックがシステムレベルの評価に役立つと主張しました。また、LEPORは画像キャプションの評価にも適用されています。^[22]

• 機械翻訳の評価
• 機械翻訳
• 翻訳研究
• 言語技術
• 自然言語処理
• 計算言語学
• 自然言語生成
• 自然言語理解
• 人工知能

• LEPOR-Googleコード
• Git 上の LEPOR と hLEPOR
• ヘポル
• エブル
• HPPR
• ブルー
• F値
• 流星
• テル