"text degeneration" 是什么意思？

Question

在机器学习，尤其是 NLP 中，退化文本是什么意思？

几天前我在办公室听到这个短语，谷歌搜索后我看到有一些关于它的论文，所以我认为它可能很重要，我来这里是为了询问这个术语。

Answer 1

这个术语，根据this article，表示文本生成过程中当任一生成器模型找到状态x使得G( x) = x 这意味着生成的文本会无限重复，或者根据生成过程中的错误状态，模型开始再现不连贯的文本模式。