PyTorch DataLoader 对批处理运行并行使用相同的随机种子

Question

在PyTorch/Numpy中有一个bug，当加载批次与DataLoader并行时（即设置num_workers > 1），相同的NumPy随机种子用于每个工作人员，导致在并行批次中应用的任何随机函数都是相同的。

最小示例：

import numpy as np
from torch.utils.data import Dataset, DataLoader

class RandomDataset(Dataset):
    def __getitem__(self, index):
        return np.random.randint(0, 1000, 2)

    def __len__(self):
        return 9
    
dataset = RandomDataset()
dataloader = DataLoader(dataset, batch_size=1, num_workers=3)

for batch in dataloader:
    print(batch)

如您所见，对于每个并行化的批处理集 (3)，结果都是相同的：

# First 3 batches
tensor([[891, 674]])
tensor([[891, 674]])
tensor([[891, 674]])
# Second 3 batches
tensor([[545, 977]])
tensor([[545, 977]])
tensor([[545, 977]])
# Third 3 batches
tensor([[880, 688]])
tensor([[880, 688]])
tensor([[880, 688]])

解决此问题的 recommended/most 优雅方法是什么？即让每批产生不同的随机化，而不管工人的数量。

Answer 1

这似乎行得通，至少在 Colab 中是这样：

dataloader = DataLoader(dataset, batch_size=1, num_workers=3, 
    worker_init_fn = lambda id: np.random.seed(id) )

编辑：

it produces identical output (i.e. the same problem) when iterated over epochs. – iacob

到目前为止我找到的最佳修复：

...
dataloader = DataLoader(ds, num_workers= num_w, 
           worker_init_fn = lambda id: np.random.seed(id + epoch * num_w ))

for epoch in range ( 2 ):
    for batch in dataloader:
        print(batch)
    print()

仍然不能建议封闭形式，这取决于然后调用的 var (epoch)。理想情况下，它必须类似于 worker_init_fn = lambda id: np.random.seed(id + EAGER_EVAL(np.random.randint(10000) )，其中 EAGER_EVAL 在 lambda 作为参数传递之前评估加载器构造的种子。 python有可能吗，我想知道。

Answer 2

要添加到，如果您保留工作人员，那么您只需在初始化时使用 worker_init_fn 为每个工作人员设置一次种子。有一个明确的数据加载器参数。

另一种可能最好的选择是将 torch 本身用于 RNG，因为它默认处理并行性，而不是 python 的内置随机数或 numpys 的随机数。然后在调用任何数据加载器以获得确定性结果之前使用 torch.seed(my_fav_number)。

PyTorch DataLoader 对批处理运行并行使用相同的随机种子

PyTorch DataLoader uses same random seed for batches run in parallel

python

parallel-processing

numpy

pytorch

dataloader

PyTorch DataLoader 对批处理 运行 并行使用相同的随机种子

PyTorch DataLoader uses same random seed for batches run in parallel

python

parallel-processing

numpy

pytorch

dataloader

PyTorch DataLoader 对批处理运行并行使用相同的随机种子