如何使用 pytorch 将 python 列表列表转换为张量

Question

我得到了一个包含不同长度列表的列表。我如何在不使用填充的情况下将它转换为 pytorch 中的张量？可能吗？

[[3, 5, 10, 11], [1, 5, 10]]

Answer 1

这取决于你想用数据结构实现什么。您可以使用torch.sparse，例如：

ll = [[3, 5, 10, 11], [1, 5, 10]]
n = len(ll)
m = max(len(l) for l in ll)

ids = [[], []]
values = []
for i, l in enumerate(ll):
    length = len(l)
    ids[0] += [i] * length  # rows
    ids[1] += list(range(length))  # cols
    values += l

t = torch.sparse_coo_tensor(ids, values, (n, m))

否则，您可以尝试文档语料库的嵌入技术，例如词袋（尽管它仍会生成一些“填充”）、tf-idf 等

内部列表中可能有重复项的词袋

corpus = [[3, 5, 10, 11], [1, 5, 10]]
n = len(corpus)
m = max(max(inner) for inner in corpus)
t = torch.zeros(n, m)

for i, doc in enumerate(corpus):
    torch.bincount(corpus)

内部列表中具有不同值的词袋

corpus = [[3, 5, 10, 11], [1, 5, 10]]
n = len(corpus)
m = max(max(inner) for inner in corpus)

t = torch.zeros(n, m)
for i, doc in enumerate(corpus):
    t[i, doc] = 1

如何使用 pytorch 将 python 列表列表转换为张量

how to convert a python list of lists to tensor using pytorch

python

list

pytorch

tensor