为什么 "softmax_cross_entropy_with_logits_v2" 反向传播到标签中

Why "softmax_cross_entropy_with_logits_v2" backprops into labels

我想知道为什么在 Tensorflow 1.5.0 及更高版本中,softmax_cross_entropy_with_logits_v2 默认反向传播到标签和 logits。有哪些 applications/scenarios 您想反向传播到标签中的地方?

我看到下面的 github 问题问了同样的问题,您可能希望在以后的更新中关注它。

https://github.com/tensorflow/minigo/issues/37

我不代表做出此决定的开发人员,但我推测他们会默认这样做,因为它确实经常使用,并且对于大多数不反向传播到标签的应用程序,无论如何,标签都是常量,不会受到不利影响。

反向传播到标签的两个常见用例是:

  • 创建对抗样本

整个研究领域都围绕着构建欺骗神经网络的对抗样本展开。许多用于这样做的方法涉及训练网络,然后固定网络并反向传播到标签(原始图像)以调整它(通常在某些约束下)以产生愚弄网络错误分类图像的结果。

  • 可视化神经网络的内部结构。

我还建议人们在 youtube 上观看 deepviz 工具包视频,你会学到很多关于神经网络学习的内部表示的知识。

https://www.youtube.com/watch?v=AgkfIQ4IGaM

如果您继续深入研究并找到原始论文,您会发现它们还会反向传播到标签中以生成图像,这些图像会高度激活网络中的某些过滤器以便理解它们。