GIZA++ : 禁止零句长度 0
GIZA++ :Forbidden zero sentence length 0
我一直在使用 GIZA++ 翻译句子，当我在测试数据集上使用时显示错误 "ERROR: Forbidden zero sentence length 0"。有没有办法避免这个错误
我在 en-vi 语料库中遇到了同样的问题。 (英语-越南语)
因为你的语料数据太长或者不干净
你应该清理你的语料库数据。
它将句子长度限制为 80。这是使用 Moses 工具 的命令。
~/mosesdecoder/scripts/training/clean-corpus-n.perl
~/corpus/train en vi
~/corpus/train.clean 1 80
或者您可以手动调整。
尽量将每行的长度减少到 100 个字符或 80 个单词以内。
我一直在使用 GIZA++ 翻译句子，当我在测试数据集上使用时显示错误 "ERROR: Forbidden zero sentence length 0"。有没有办法避免这个错误
我在 en-vi 语料库中遇到了同样的问题。 (英语-越南语) 因为你的语料数据太长或者不干净
你应该清理你的语料库数据。
它将句子长度限制为 80。这是使用 Moses 工具 的命令。
~/mosesdecoder/scripts/training/clean-corpus-n.perl
~/corpus/train en vi
~/corpus/train.clean 1 80
或者您可以手动调整。
尽量将每行的长度减少到 100 个字符或 80 个单词以内。