tf.nn.softmax_cross_entropy_with_logits 是否考虑批量大小?

Does tf.nn.softmax_cross_entropy_with_logits account for batch size?

tf.nn.softmax_cross_entropy_with_logits 是否考虑了批量大小?

在我的 LSTM 网络中,我输入了不同大小的批次,我想知道在优化之前是否应该根据批次大小对误差进行归一化。

documentation 中它表示 softmax_cross_entropy_with_logits returns 一个长度等于批量大小的向量。要获得标量成本,您可以对该向量执行 tf.reduce_mean。那么你的损失就不会受到batch size的影响了。