如何从 gpu 内存地址创建 PyCUDA GPUArray？

Question

我正在使用 PyTorch 并希望在 PyCUDA 的帮助下对张量数据进行一些运算。我可以通过 t.data_ptr() 获取 cuda 张量 t 的内存地址。我能否以某种方式使用此地址以及我对大小和数据类型的了解来初始化 GPUArray？我希望避免复制数据，但这也是一种替代方法。

Answer 1

事实证明这是可能的。我们需要一个指针来处理数据，这需要一些额外的功能：

class Holder(PointerHolderBase):

    def __init__(self, tensor):
        super().__init__()
        self.tensor = tensor
        self.gpudata = tensor.data_ptr()

    def get_pointer(self):
        return self.tensor.data_ptr()

    def __int__(self):
        return self.__index__()

    # without an __index__ method, arithmetic calls to the GPUArray backed by this pointer fail
    # not sure why, this needs to return some integer, apparently
    def __index__(self):
        return self.gpudata

然后我们可以使用这个 class 来实例化 GPUArrays。该代码使用 Reikna 数组，它是一个 subclass 但也应该与 pycuda 数组一起使用。

def tensor_to_gpuarray(tensor, context=pycuda.autoinit.context):
    '''Convert a :class:`torch.Tensor` to a :class:`pycuda.gpuarray.GPUArray`. The underlying
    storage will be shared, so that modifications to the array will reflect in the tensor object.
    Parameters
    ----------
    tensor  :   torch.Tensor
    Returns
    -------
    pycuda.gpuarray.GPUArray
    Raises
    ------
    ValueError
        If the ``tensor`` does not live on the gpu
    '''
    if not tensor.is_cuda:
        raise ValueError('Cannot convert CPU tensor to GPUArray (call `cuda()` on it)')
    else:
        thread = cuda.cuda_api().Thread(context)
    return reikna.cluda.cuda.Array(thread, tensor.shape, dtype=torch_dtype_to_numpy(tensor.dtype), base_data=Holder(tensor))

我们可以返回此代码。我还没有找到不复制数据的方法。

def gpuarray_to_tensor(gpuarray, context=pycuda.autoinit.context):
    '''Convert a :class:`pycuda.gpuarray.GPUArray` to a :class:`torch.Tensor`. The underlying
    storage will NOT be shared, since a new copy must be allocated.
    Parameters
    ----------
    gpuarray  :   pycuda.gpuarray.GPUArray
    Returns
    -------
    torch.Tensor
    '''
    shape = gpuarray.shape
    dtype = gpuarray.dtype
    out_dtype = numpy_dtype_to_torch(dtype)
    out = torch.zeros(shape, dtype=out_dtype).cuda()
    gpuarray_copy = tensor_to_gpuarray(out, context=context)
    byte_size = gpuarray.itemsize * gpuarray.size
    pycuda.driver.memcpy_dtod(gpuarray_copy.gpudata, gpuarray.gpudata, byte_size)
    return out

旧答案

from pycuda.gpuarray import GPUArray


def torch_dtype_to_numpy(dtype):
    dtype_name = str(dtype)[6:]     # remove 'torch.'
    return getattr(np, dtype_name)


def tensor_to_gpuarray(tensor):
    if not tensor.is_cuda:
        raise ValueError('Cannot convert CPU tensor to GPUArray (call `cuda()` on it)')
    else:
        array = GPUArray(tensor.shape, dtype=torch_dtype_to_numpy(tensor.dtype),
                         gpudata=tensor.data_ptr())
        return array.copy()

不幸的是，将 int 作为 gpudata 关键字（或 pytorch 论坛中建议的 pycuda.driver.PointerHolderBase 的子类型）传递在表面上似乎可行，但许多操作失败，看似无关错误。复制数组似乎将其转换为可用格式。我认为这与 gpudata 成员应该是一个 pycuda.driver.DeviceAllocation 对象似乎不能从 Python 实例化的事实有关。

现在如何从原始数据返回张量是另一回事。

如何从 gpu 内存地址创建 PyCUDA GPUArray？

How can I create a PyCUDA GPUArray from a gpu memory address?

python

memory-address

pytorch

pycuda

旧答案