SyncBatchNorm 的最小总批量大小是多少
What is the least total batch size for SyncBatchNorm
对于正常 BatchNorm
,每个 GPU 的最小批量大小为 2。
我想知道如果我使用 SyncBatchNorm
,我可以为每个具有多个 GPU 的 GPU 使用 batch_size=1
吗?
即 total_batch_size
大于 1 但 batch_size_per_gpu
为 1。
对于任何深度学习框架、pytorch、tensorflow、mxnet 等,我将不胜感激
对于 PyTorch,使用 batch_size_per_gpu=1
和多个 GPU 是可以的。
对于正常 BatchNorm
,每个 GPU 的最小批量大小为 2。
我想知道如果我使用 SyncBatchNorm
,我可以为每个具有多个 GPU 的 GPU 使用 batch_size=1
吗?
即 total_batch_size
大于 1 但 batch_size_per_gpu
为 1。
对于任何深度学习框架、pytorch、tensorflow、mxnet 等,我将不胜感激
对于 PyTorch,使用 batch_size_per_gpu=1
和多个 GPU 是可以的。