ブルー

BLEUスコアを定義する基本的な最初の試みでは、2つの引数を取ります。候補文字列${\displaystyle {\hat {y}}}$参照文字列のリスト${\displaystyle (y^{(1)},...,y^{(N)})}$その考えは、${\displaystyle BLEU({\hat {y}};y^{(1)},...,y^{(N)})}$1に近い値になるはずです${\displaystyle {\hat {y}}}$に似ています${\displaystyle y^{(1)},...,y^{(N)}}$そうでなければ、0に近い値になります。

例えるなら、BLEUスコアは、語学教師が学生の翻訳の質を採点しようとするようなものです。${\displaystyle {\hat {y}}}$参考解答にどれだけ忠実に従っているかを確認する${\displaystyle y^{(1)},...,y^{(N)}}$。

自然言語処理では、多数の候補文字列を評価する必要があるため、BLEUスコアをM個の候補文字列のリスト（「コーパス」と呼ばれる）がある場合に一般化する必要がある。${\displaystyle ({\hat {y}}^{(1)},\cdots ,{\hat {y}}^{(M)})}$、そして各候補文字列について${\displaystyle {\hat {y}}^{(i)}}$参照候補文字列のリスト${\displaystyle S_{i}:=(y^{(i,1)},...,y^{(i,N_{i})})}$。

任意の文字列が与えられた場合${\displaystyle y=y_{1}y_{2}\cdots y_{K}}$、任意の整数${\displaystyle n\geq 1}$、そのn-グラムの集合を次のように定義します。$${\displaystyle G_{n}(y)=\{y_{1}\cdots y_{n},y_{2}\cdots y_{n+1},\cdots ,y_{K-n+1}\cdots y_{K}\}}$$これは重複要素を許容する多重集合ではなく、一意の要素の集合であることに注意してください。たとえば、${\displaystyle G_{2}(abab)=\{ab,ba\}}$。

任意の２つの文字列が与えられた場合${\displaystyle s,y}$部分文字列のカウントを定義します${\displaystyle C(s,y)}$の出現回数${\displaystyle s}$部分文字列として${\displaystyle y}$。 例えば、${\displaystyle C(ab,abcbab)=2}$。

次に、候補コーパスを修正します。${\displaystyle {\hat {S}}:=({\hat {y}}^{(1)},\cdots ,{\hat {y}}^{(M)})}$参照候補コーパス${\displaystyle S=(S_{1},\cdots ,S_{M})}$それぞれ${\displaystyle S_{i}:=(y^{(i,1)},...,y^{(i,N_{i})})}$。

修正n-gram精度関数を次のように定義する。$${\displaystyle p_{n}({\hat {S}};S):={\frac {\sum _{i=1}^{M}\sum _{s\in G_{n}({\hat {y}}^{(i)})}\min(C(s,{\hat {y}}^{(i)}),\max _{y\in S_{i}}C(s,y))}{\sum _{i=1}^{M}\sum _{s\in G_{n}({\hat {y}}^{(i)})}C(s,{\hat {y}}^{(i)})}}}$$複雑に見える修正n-gramは、典型的なケース（1つの候補文と1つの参照文）を単純に一般化したものです。この場合、$${\displaystyle p_{n}(\{{\hat {y}}\};\{y\})={\frac {\sum _{s\in G_{n}({\hat {y}})}\min(C(s,{\hat {y}}),C(s,y))}{\sum _{s\in G_{n}({\hat {y}})}C(s,{\hat {y}})}}}$$この式にたどり着くために、まず最も分かりやすいnグラムカウントの合計から始めます。$${\displaystyle \sum _{s\in G_{n}({\hat {y}})}C(s,y)={\text{y に含まれる n 個の部分文字列のうち、y に現れるものの数}$$ この量は、参照文中の n-グラムが候補文によって再現される数を表します。n-グラムではなく、n-部分文字列を数えることに注意してください。たとえば、${\displaystyle {\hat {y}}=aba,y=abababa,n=2}$、すべての 2 部分文字列${\displaystyle {\hat {y}}}$(ab と ba) は${\displaystyle y}$それぞれ3回ずつなので、合計は2回ではなく6回です。

しかし、上記の場合、候補文字列が短すぎます。${\displaystyle ab}$1つしか含まれていないため、それを修正するために最小値関数を追加します。$${\displaystyle {\sum _{s\in G_{n}({\hat {y}})}\min(C(s,{\hat {y}}),C(s,y))}}$$このカウントの合計は正規化されていないため、文間の比較には使用できません。参照文と候補文の両方が長い場合、候補文の質が非常に低くてもカウントが大きくなる可能性があります。そのため、正規化を行います。$${\displaystyle {\frac {\sum _{s\in G_{n}({\hat {y}})}\min(C(s,{\hat {y}}),C(s,y))}{\sum _{s\in G_{n}({\hat {y}})}C(s,{\hat {y}})}}}$$正規化によって、常に数値になります${\displaystyle [0,1]}$これにより、コーパス間の意味のある比較が可能になります。候補内の n 部分文字列が参照内のいずれにも含まれていない場合は 0 になります。候補内のすべての n グラムが、少なくとも候補内の回数以上参照内に現れる場合は 1 になります。特に、候補が参照の部分文字列である場合は 1 になります。

修正されたn-gram精度は、「電報式」の候補文字列、つまり参照文字列のすべてのn-gramを含みながらも、その出現回数が可能な限り少ない文字列に対して、不当に高いスコアを与えます。

候補文字列が短すぎる場合にペナルティを課すために、簡潔性ペナルティを次のように定義します。$$BP(S;S):=e^{-(r/c-1)^{+}}$$どこ${\displaystyle (r/c-1)^{+}=\max(0,r/c-1)}$は、${\displaystyle r/c-1}$。

• いつ${\displaystyle r\leq c}$簡潔さのペナルティ${\displaystyle BP=1}$つまり、長い候補は罰せず、短い候補のみを罰するということです。
• いつ${\displaystyle r>c}$簡潔さのペナルティ$BP=e^{1-r/c}}$

${\displaystyle c}$は候補コーパスの長さ、つまり、$${\displaystyle c:=\sum _{i=1}^{M}|{\hat {y}}^{(i)}|}$$どこ${\displaystyle |y|}$の長さは${\displaystyle y}$。

${\displaystyle r}$は有効な参照コーパスの長さ、つまり、$${\displaystyle r:=\sum _{i=1}^{M}|y^{(i,j)}|}$$どこ${\displaystyle y^{(i,j)}=\arg \min _{y\in S_{i}}||y|-|{\hat {y}}^{(i)}||}$つまり、${\displaystyle S_{i}}$その長さは${\displaystyle |{\hat {y}}^{(i)}|}$可能な限り。

BLEUには単一の定義はなく、重みベクトルによってパラメータ化された一連の定義が存在する。${\displaystyle w:=(w_{1},w_{2},\cdots )}$これは確率分布です${\displaystyle \{1,2,3,\cdots \}}$つまり、${\displaystyle \sum _{i=1}^{\infty }w_{i}=1}$、 そして${\displaystyle \forall i\in \{1,2,3,\cdots \},w_{i}\in [0,1]}$。

選択肢は${\displaystyle w}$BLEUスコアは$${\displaystyle BLEU_{w}({\hat {S}};S):=BP({\hat {S}};S)\cdot \exp \left(\sum _{n=1}^{\infty }w_{n}\ln p_{n}({\hat {S}};S)\right)}$$簡単に言うと、これは修正されたすべてのn-gram精度の加重幾何平均に、簡潔性ペナルティを乗じたものです。複数のn-gram精度において同時に優れた候補コーパスを強く優先するため、加重算術平均ではなく加重幾何平均を使用します。

最も典型的な選択肢、つまり元の論文で推奨されている選択肢は${\displaystyle w_{1}=\cdots =w_{4}={\frac {1}{4}}}$[ ^{1 ]​}