Pytorch DataLoader 没有将数据集分成批次

Question

我正在尝试使用以下代码在 DataLoader 中加载训练数据

class Dataset(Dataset):
    def __init__(self, x, y):
        self.x = x
        self.y = y
        
    def __getitem__(self, index):
        x = torch.Tensor(self.x[index])
        y = torch.Tensor(self.y[index])
        return (x, y)

    def __len__(self):
        count = self.x.shape[0]
        return count
    
X_train = np.reshape(X_train,(-1,1,X_train.shape[0],X_train.shape[1]))
y_train = np.reshape(y_train,(-1,1,y_train.shape[0],y_train.shape[1]))
train_dataset = Dataset(X_train, y_train)
train_loader = torch.utils.data.DataLoader(dataset=train_dataset,batch_size=128,shuffle=True)

现在，当我检查DataLoader 的长度时，我每次都得到一个数据集。加载器没有将数据集拆分成批次。我在这里做错了什么？

Answer 1

测试您的代码后，如果您删除重塑步骤，它似乎可以完美运行。您正在引入一个新的维度，因此 X_train 的新形状是（1，某事，某事），但是您正在使用 self.x[index] 为您的项目编制索引，因此您始终访问的是批次维度.您在计算数据集的长度时犯了同样的错误：始终为 1。

解决方法：不整形。

X_train = np.random.rand(12_000, 1280)
y_train = np.random.rand(12_000, 1)
train_dataset = Dataset(X_train, y_train)
train_loader = torch.utils.data.DataLoader(dataset=train_dataset,batch_size=128,shuffle=True)

for x, y in train_loader:
    print(x.shape)
    print(y.shape)
    break

Pytorch DataLoader 没有将数据集分成批次

Pytorch DataLoader is not dividing the dataset into batches

python

deep-learning

pytorch

pytorch-dataloader