NLTK 的 BLEU 分数和 SacreBLEU 有什么区别？

Question

我很好奇是否有人熟悉使用 NLTK's BLEU score calculation and the SacreBLEU library 之间的区别。

特别是，我使用了两个库的句子 BLEU 分数，对整个数据集进行平均。两者给出不同的结果：

>>> from nltk.translate import bleu_score
>>> from sacrebleu import sentence_bleu
>>> print(len(predictions))
256
>>> print(len(targets))
256
>>> prediction = "this is the first: the world's the world's the world's the \
... world's the world's the world's the world's the world's the world's the world \
... of the world of the world'"
...
>>> target = "al gore: so the alliance for climate change has launched two campaigns."
>>> print(bleu_score.sentence_bleu([target], prediction))
0.05422283394039736
>>> print(sentence_bleu(prediction, [target]).score)
0.0
>>> print(sacrebleu.corpus_bleu(predictions, [targets]).score)
0.678758518214081
>>> print(bleu_score.corpus_bleu([targets], [predictions]))
0

如您所见，存在许多令人困惑的不一致之处。我的 BLEU 分数不可能是 67.8%，但也不应该是 0%（有很多重叠的 n-gram，比如“the”）。

如果有人能对此有所说明，我将不胜感激。谢谢

Answer 1

NLTK 和 SacreBLEU 使用不同的分词规则，主要是在它们处理标点符号的方式上。 NLTK 使用自己的标记化，而 SacreBLEU 复制了 2002 年的原始 Perl 实现。标记化规则在 NLTK 中可能更加详尽，但它们使数量无法与原始实现相比。

你从 SacreBLEU 得到的语料库 BLEU 不是 67.8%，而是 0.67%——SacreBLEU 的数字已经乘以 100，不像 NLTK。所以，我不会说分数之间有很大的差异。

句子级别的 BLEU 可以使用不同的 smoothing techniques，即使 3-gram 或 4-gram 的精度为零，也应确保得分会得到合理的值。但是请注意，BLEU 作为句子级别的指标非常不可靠。

NLTK 的 BLEU 分数和 SacreBLEU 有什么区别？

What's the difference between NLTK's BLEU score and SacreBLEU?

nltk

machine-translation

bleu