使用 Keras categorical_crossentropy loss 时，是否应该在最后一层使用 softmax？

Question

我见过的大多数示例都在最后一层实现 softmax。但是我读到 Keras categorical_crossentropy 在最后一层之后自动应用 softmax，所以这样做是多余的并且会导致性能下降。谁是对的？

Answer 1

默认情况下，Keras categorical_crossentropy 不会将 softmax 应用于输出（请参阅 categorical_crossentropy implementation and the Tensorflow backend call）。但是，如果直接使用后端函数，则存在设置 from_logits=True.

的选项