SyncBatchNorm 的最小总批量大小是多少
What is the least total batch size for SyncBatchNorm
对于正常 BatchNorm，每个 GPU 的最小批量大小为 2。
我想知道如果我使用 SyncBatchNorm，我可以为每个具有多个 GPU 的 GPU 使用 batch_size=1 吗？
即 total_batch_size 大于 1 但 batch_size_per_gpu 为 1。
对于任何深度学习框架、pytorch、tensorflow、mxnet 等，我将不胜感激
对于 PyTorch，使用 batch_size_per_gpu=1 和多个 GPU 是可以的。
对于正常 BatchNorm，每个 GPU 的最小批量大小为 2。
我想知道如果我使用 SyncBatchNorm，我可以为每个具有多个 GPU 的 GPU 使用 batch_size=1 吗？
即 total_batch_size 大于 1 但 batch_size_per_gpu 为 1。
对于任何深度学习框架、pytorch、tensorflow、mxnet 等，我将不胜感激
对于 PyTorch，使用 batch_size_per_gpu=1 和多个 GPU 是可以的。