零损失会影响反向传播更新吗

Question

假设我正在执行标准的 DNN 分类任务，并且我正在使用交叉熵损失。损失计算后，我将掩码向量 ([0, 0, 0, 1, 1, ...] 应用于损失以将一些损失设置为零。
问题是 Tensorflow 将如何处理这种零损失？会不会参与反向传播？

Answer 1

是的，tensorflow 将能够处理这个问题。导致屏蔽损失值的梯度将仅为 0，因为它们不影响损失值。

Answer 2

在计算出实际损失后对模型损失应用掩码实质上意味着在向后传播过程中忽略了梯度的零元素。例如，在处理时间序列数据时，将掩码向量应用于损失是一种非常常见的方法，通常将其填充为具有相同的长度。这些额外的零值在计算梯度时对您的模型没有用处，因此将被忽略。