计算火炬张量数组的均值和标准差

Question

我正在尝试计算一组火炬张量的均值和标准差。我的数据集有 720 张训练图像，每张图像都有 4 个地标，X 和 Y 代表图像上的二维点。

to_tensor = transforms.ToTensor()

landmarks_arr = []

for i in range(len(train_dataset)):
    landmarks_arr.append(to_tensor(train_dataset[i]['landmarks']))
                     
mean = torch.mean(torch.stack(landmarks_arr, dim=0))#, dim=(0, 2, 3))
std = torch.std(torch.stack(landmarks_arr, dim=0)) #, dim=(0, 2, 3))



print(mean.shape)
print("mean is {} and std is {}".format(mean, std))

结果：

torch.Size([])
mean is nan and std is nan

上面有几个问题：

为什么 to_tensor 不转换 0 和 1 之间的值？
如何正确计算均值？
我应该除以 255 吗？

我有：

len(landmarks_arr)
    
720

和

landmarks_arr[0].shape

torch.Size([1, 4, 2])

和

landmarks_arr[0]

tensor([[[502.2869, 240.4949],
         [688.0000, 293.0000],
         [346.0000, 317.0000],
         [560.8283, 322.6830]]], dtype=torch.float64)

Answer 1

来自 ToTensor() 的 pytorch 文档：

Converts a PIL Image or numpy.ndarray (H x W x C) in the range [0, 255] to a torch.FloatTensor of shape (C x H x W) in the range [0.0, 1.0] if the PIL Image belongs to one of the modes (L, LA, P, I, F, RGB, YCbCr, RGBA, CMYK, 1) or if the numpy.ndarray has dtype = np.uint8

In the other cases, tensors are returned without scaling.

由于您的 Landmark 值不是 PIL 图像，并且不在 [0, 255] 范围内，因此未应用缩放。

您的计算似乎是正确的。看来，您的数据中可能有一些 NaN 值。

你可以试试

for i in range(len(train_dataset)):
    landmarks = to_tensor(train_dataset[i]['landmarks'])
    landmarks[landmarks != landmarks] = 0  # this will set all nan to zero
    landmarks_arr.append(landmarks)

在你的循环中。或者在循环中断言 nan 以找到罪魁祸首：

for i in range(len(train_dataset)):
    landmarks = to_tensor(train_dataset[i]['landmarks'])
    assert(not torch.isnan(landmarks).any()), f'nan encountered in sample {i}'  # will trigger if a landmark contains nan
    landmarks_arr.append(landmarks)

否，请参阅 1)。您可以除以地标的最大坐标，但如果您愿意，可以将它们限制为 [0, 1]。

计算火炬张量数组的均值和标准差

calculating the mean and std on an array of torch tensors

python

numpy

deep-learning

torch

pytorch