pytorch 中的自定义交叉熵损失

Question

我已经完成了pytorch交叉熵损失函数的自定义实现（因为我需要更多的灵活性，稍后再介绍）。我打算用它训练的模型需要相当多的时间来训练，可用的资源不能仅仅用于测试函数是否正确实现。我已经实现了矢量化实现，因为它会更快运行.

以下是我的代码：

def custom_cross(my_pred,true,batch_size=BATCH_SIZE):
    loss= -torch.mean(torch.sum(true.view(batch_size, -1) * torch.log(my_pred.view(batch_size, -1)), dim=1))
    return loss

如果您能提出更优化的实施建议，或者如果我在目前的实施中犯了错误，我将不胜感激。该模型将使用 Nvidia Tesla K-80 进行训练。

Answer 1

如果您只需要 cross entropy，您可以利用 PyTorch 定义的优势。

import torch.nn.functional as F
loss_func = F.cross_entropy

suggest a more optimized implementation

PyTorch 具有 F. 损失函数，但您可以使用普通 python 轻松编写自己的损失函数。 PyTorch 将自动为您的函数创建快速 GPU 或矢量化 CPU 代码。

因此，您可以查看 PyTorch 原始实现，但我认为是这样的：

def log_softmax(x):
    return x - x.exp().sum(-1).log().unsqueeze(-1)

而here是交叉熵损失的原始实现，现在你可以改变：

nll_loss(log_softmax(input, 1), target, weight, None, ignore_index, None, reduction)

你需要的东西，你就有了。

pytorch 中的自定义交叉熵损失

Custom cross-entropy loss in pytorch

machine-learning

artificial-intelligence

pytorch

cross-entropy