如何使用 Pytorch 计算语言模型的困惑度

Question

我正在使用 huggingface Transformers library-pytorch 为语言生成任务微调 GPT-2 模型，我需要计算微调模型的评估分数（困惑度）。但我不确定如何使用损失来完成。我想知道如何使用 sum_loss 或均值损失或任何其他建议来计算模型的困惑度。提供任何帮助。

编辑：

outputs = model(article_tens, labels=article_tens)

        loss, prediction_scores = outputs[:2]                        
        loss.backward()
        sum_loss = sum_loss + loss.detach().data

以上是微调任务中每批数据的损失计算方法

sum loss 1529.43408203125
loss 4.632936000823975
prediction_scores tensor([[[-11.2291,  -9.2614, -11.8575,  ..., -18.1927, -17.7286, -11.9215],
         [-67.2786, -63.5928, -70.7110,  ..., -75.3516, -73.8672, -67.6637],
         [-81.1397, -80.0295, -82.9357,  ..., -83.7913, -85.7201, -78.9877],
         ...,
         [-85.3213, -82.5135, -86.5459,  ..., -90.9160, -90.4393, -82.3141],
         [-44.2260, -43.1702, -49.2296,  ..., -58.9839, -55.2058, -42.3312],
         [-63.2842, -59.7334, -61.8444,  ..., -75.0798, -75.7507, -54.0160]]],
       device='cuda:0', grad_fn=<UnsafeViewBackward>)

以上给出的是仅针对批次打印损失的情况

Answer 1

如Wikipedia - Perplexity of a probability model所示，一个概率模型的perplexity计算公式为：

指数是交叉熵。虽然传统上在交叉熵中使用以 2 为底的对数 (b = 2)，但 PyTorch 等深度学习框架使用自然对数 (b = e).

因此，要从交叉熵损失中得到困惑，你只需要将torch.exp应用于损失。

perplexity = torch.exp(loss)

在这种情况下使用平均损失（指数的 1 / N 部分），如果您使用损失总和而不是均值，则perplexity 会失控（非常大），很容易超过最大浮点数，导致无穷大。

如何使用 Pytorch 计算语言模型的困惑度

How to calculate perplexity for a language model using Pytorch

nlp

pytorch

huggingface-transformers