是否可以使用 pyTorch 创建一个 FIFO 队列？

Question

我需要在 pyTorch 中创建一个固定长度 Tensor，它的作用类似于 FIFO 队列。

我有这个功能可以做到：

def push_to_tensor(tensor, x):
    tensor[:-1] = tensor[1:]
    tensor[-1] = x
    return tensor

比如我有：

tensor = Tensor([1,2,3,4])

>> tensor([ 1.,  2.,  3.,  4.])

然后使用该函数将得到：

push_to_tensor(tensor, 5)

>> tensor([ 2.,  3.,  4.,  5.])

不过，我想知道：

pyTorch 是否有执行此操作的本机方法？
如果没有，有没有更聪明的方法？

Answer 1

我实现了另一个 FIFO 队列：

def push_to_tensor_alternative(tensor, x):
    return torch.cat((tensor[1:], Tensor([x])))

功能是一样的，但后来我检查了它们在速度上的表现：

# Small Tensor
tensor = Tensor([1,2,3,4])

%timeit push_to_tensor(tensor, 5)
>> 30.9 µs ± 1.26 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)

%timeit push_to_tensor_alternative(tensor, 5)
>> 22.1 µs ± 2.25 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)

# Larger Tensor
tensor = torch.arange(10000)

%timeit push_to_tensor(tensor, 5)
>> 57.7 µs ± 4.88 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)

%timeit push_to_tensor_alternative(tensor, 5)
>> 28.9 µs ± 570 ns per loop (mean ± std. dev. of 7 runs, 10000 loops each)

似乎这样 push_to_tensor_alternative 使用 torch.cat（而不是将所有项目向左移动）更快。

Answer 2

可能有点晚了，但我找到了另一种方法来做到这一点并节省了一些时间。在我的例子中，我需要一个类似的 FIFO 结构，但我只需要实际解析每 N 次迭代一次的 FIFO 张量。即我需要一个 FIFO 结构来保存 n 整数，并且每 n 次迭代我都需要通过我的模型解析该张量。我发现实现 collections.deque 结构并将该双端队列转换为张量火炬要快得多。

import time
import torch
from collections import deque
length = 5000

que = deque([0]*200)

ten = torch.tensor(que)

s = time.time()
for i in range(length):
    for j in range(200):  
        que.pop()      
        que.appendleft(j*10)        
    torch.tensor(que)
    # after some appending/popping elements, cast to tensor
print("finish deque:", time.time()-s)


s = time.time()
for i in range(length):
    for j in range(200):
        newelem = torch.tensor([j*10])
        ten = torch.cat((ten[1:], newelem))
        #using tensor as FIFO, no need to cast to tensor
print("finish tensor:", time.time()-s)

结果如下：

finish deque: 0.15857529640197754
finish tensor: 9.483643531799316

我还注意到，当使用双端队列时，总是转换为 torch.tensor 使用 push_alternative 它可以使您的时间增加约 20%。

s = time.time()
for j in range(length):    
        que.pop()      
        que.appendleft(j*10)        
        torch.tensor(que)    
print("finish queue:", time.time()-s)


s = time.time()
for j in range(length):    
        newelem = torch.tensor([j*10])
        ten = torch.cat((ten[1:], newelem))
print("finish tensor:", time.time()-s)

结果：

finish queue: 8.422480821609497
finish tensor: 11.169137477874756

是否可以使用 pyTorch 创建一个 FIFO 队列？

Is it possible to create a FIFO queue with pyTorch?

python

queue

machine-learning

pytorch

tensor