神经分割网络根据测试批量大小给出不同的输出
Neural segmentation network gives different output based on test batch size
我已经在 (224, 224) 幅图像上实施并训练了神经分割模型。
但是，在测试过程中，根据测试批次的形状，模型 returns 的结果略有不同。
以下图片是在我的预训练模型上测试得到的结果。
第一张图片是我预测单个示例时得到的预测（我们称之为 img0）（所以 输入 是 [img0] 并且具有形状 (1,224,224))
第二张图片是我对同一张图片的预测，但是当它与其他 7 张图片放在一起时（所以 input 是 [img0, img1, ..., img7] 并且具有形状(8,224,224)).
与第二个输出相比，第一个输出比我预期的更接近。
但是，我不明白为什么输出一开始就不同...这应该是正常行为吗？
提前致谢。
是的，批量大小是一个超参数，这意味着您应该反复试验以找到最佳值（超参数调整）。但你也应该意识到它对训练过程的影响。在每个批次中，损失将通过前馈批次中的样本来计算，然后使用该损失值进行反向传播。因此，如果您为批量大小选择了一个较小的值，您很可能无法找到全局最优值，而只是围绕它波动，甚至陷入局部最优值（从优化的角度来看）。非常不推荐批量大小值非常小（尤其是 1）。
此外，您需要一组验证集（不止一个样本）才能完全确定您的模型是否准确。
此行为来自我模型中的批量归一化层。
我在调用模型时使用 training=true。
因此，批量归一化根据批次的范数对批次进行归一化，并且该范数会根据批次大小而变化。
因此，这是正常现象！
我已经在 (224, 224) 幅图像上实施并训练了神经分割模型。 但是，在测试过程中，根据测试批次的形状，模型 returns 的结果略有不同。
以下图片是在我的预训练模型上测试得到的结果。
第一张图片是我预测单个示例时得到的预测（我们称之为 img0）（所以 输入 是 [img0] 并且具有形状 (1,224,224))
第二张图片是我对同一张图片的预测，但是当它与其他 7 张图片放在一起时（所以 input 是 [img0, img1, ..., img7] 并且具有形状(8,224,224)).
与第二个输出相比，第一个输出比我预期的更接近。
但是，我不明白为什么输出一开始就不同...这应该是正常行为吗？ 提前致谢。
是的，批量大小是一个超参数，这意味着您应该反复试验以找到最佳值（超参数调整）。但你也应该意识到它对训练过程的影响。在每个批次中，损失将通过前馈批次中的样本来计算，然后使用该损失值进行反向传播。因此，如果您为批量大小选择了一个较小的值，您很可能无法找到全局最优值，而只是围绕它波动，甚至陷入局部最优值（从优化的角度来看）。非常不推荐批量大小值非常小（尤其是 1）。
此外，您需要一组验证集（不止一个样本）才能完全确定您的模型是否准确。
此行为来自我模型中的批量归一化层。
我在调用模型时使用 training=true。
因此，批量归一化根据批次的范数对批次进行归一化，并且该范数会根据批次大小而变化。
因此，这是正常现象！