将不均匀大小的列表转换为 LSTM 输入张量

Question

所以我有一个 1366 个样本的嵌套列表，每个样本具有 2 个特征和 不同的序列 应该是 LSTM 的输入数据的长度。标签应该是每个序列的一对值，即 [-0.76797587, 0.0713816]。本质上，数据如下所示：

X = [[[-0.11675862, -0.5416186], [-0.76797587, 0.0713816]], [[-0.5115555, 0.25823522], [0.6099151999999999, 0.21718016], [-0.0022403747, 0.6470206999999999]]]

我想做的是将此列表转换为输入张量。据我了解，LSTM 接受不同长度的序列，因此在这种情况下，第一个样本的长度为 2，第二个样本的长度为 3。

目前我正在尝试通过以下方式转换列表：

train_data = TensorDataset(torch.tensor(X, dtype=torch.float32), torch.tensor(Y, dtype=torch.float32))
train_dataloader = DataLoader(train_data, batch_size=batch_size, shuffle=True)

尽管这会产生以下错误ValueError: expected sequence of length 5 at dim 1 (got 3)

我猜这是因为第一个序列的长度为 5，第二个序列的长度为 3，这是不可转换的？

如何将给定列表转换为张量？还是我想错了训练 LSTM 的方法？

感谢您的帮助！

Answer 1

所以正如你所说，序列长度可以不同。但是因为我们处理批次，所以在每个批次中序列长度无论如何都必须相同。那是因为所有样本都是同时处理的。因此，您要做的是通过采用批次中长度最长的序列来将样本填充到相同的大小，并用零填充所有其他样本，以便它们具有相同的大小。为此你必须使用 pytorch 的 pad functionn，像这样：

from torch.nn.utils.rnn import pad_sequence

# the batch must be a python list containing the tensor samples
sample_batch = [torch.tensor((4,2)), torch.tensor((2,2)), torch.tensor((5,2))]

# pad all samples in the batch to the length of the biggest sample
padded_batch = pad_sequence(sample_batch, batch_first=True)

# get the new size of the samples and reshape it to (BATCH_SIZE, SEQUENCE/PAD_SIZE. INPUT_SIZE)
padded_to = list(padded_batch.size())[1]
padded_batch = padded_batch.reshape(len(sample_batch), padded_to, 1)

现在批次中的所有样本都应具有 (5,2) 形状，因为最大样本的序列长度为 5。

如果您不知道如何使用 pytorch Dataloader 实现它，您可以创建自定义 collate_fn:

def custom_collate(batch):
    batch_size = len(batch)

    sample_batch, target_batch = [], []
    for sample, target in batch:

        sample_batch.append(sample)
        target_batch.append(target)

    padded_batch = pad_sequence(sample_batch, batch_first=True)
    padded_to = list(padded_batch.size())[1]
    padded_batch = padded_batch.reshape(len(sample_batch), padded_to, 1)        

    return padded_batch, torch.cat(target_batch, dim=0).reshape(len(sample_batch)

现在您可以告诉 DataLoader 在返回之前对您的批次应用此函数：

train_dataloader = DataLoader(
        train_data,
        batch_size=batch_size,
        num_workers=1,
        shuffle=True,
        collate_fn=custom_collate    # <-- NOTE THIS
    )

现在 DataLoader returns 填充批次！

将不均匀大小的列表转换为 LSTM 输入张量

Converting lists of uneven size into LSTM input tensor

python

lstm

pytorch