python 中的高效张量收缩

Question

我有一个张量列表 L（ndarray 个对象），每个都有几个索引。我需要根据连接图来收缩这些指数。

连接以 ((m,i),(n,j)) 形式编码在元组列表中，表示“将张量 L[m] 的第 i 索引与j-张量的第一个索引L[n].

如何处理非平凡的连接图？第一个问题是，一旦我收缩一对索引，结果就是一个不属于列表 L 的新张量。但即使我解决了这个问题（例如，通过为所有张量的所有索引提供唯一标识符），也存在一个问题，即人们可以选择任何顺序来执行收缩，并且某些选择会在中间计算中产生不必要的巨大野兽（即使最终结果很小）。建议？

Answer 1

抛开内存方面的考虑，我相信您可以在对 einsum 的一次调用中进行缩略，尽管您需要进行一些预处理。我不完全确定你所说的“当我收缩一对索引时，结果是一个不属于列表 L”的新张量是什么意思，但是我认为一步完成收缩就可以完全解决这个问题。

我建议使用替代的、数字索引的语法 einsum:

einsum(op0, sublist0, op1, sublist1, ..., [sublistout])

所以你需要做的是对索引进行编码，以在整数序列中收缩。首先，您需要最初设置一系列唯一索引，并保留另一个副本用作 sublistout。然后，迭代您的连接图，您需要在必要时将收缩索引设置为相同的索引，同时从 sublistout.

中删除收缩索引

import numpy as np

def contract_all(tensors,conns):
    '''
    Contract the tensors inside the list tensors
    according to the connectivities in conns

    Example input:
    tensors = [np.random.rand(2,3),np.random.rand(3,4,5),np.random.rand(3,4)]
    conns = [((0,1),(2,0)), ((1,1),(2,1))]
    returned shape in this case is (2,3,5)
    '''

    ndims = [t.ndim for t in tensors]
    totdims = sum(ndims)
    dims0 = np.arange(totdims)
    # keep track of sublistout throughout
    sublistout = set(dims0.tolist())
    # cut up the index array according to tensors
    # (throw away empty list at the end)
    inds = np.split(dims0,np.cumsum(ndims))[:-1]
    # we also need to convert to a list, otherwise einsum chokes
    inds = [ind.tolist() for ind in inds]

    # if there were no contractions, we'd call
    # np.einsum(*zip(tensors,inds),sublistout)

    # instead we need to loop over the connectivity graph
    # and manipulate the indices
    for (m,i),(n,j) in conns:
        # tensors[m][i] contracted with tensors[n][j]

        # remove the old indices from sublistout which is a set
        sublistout -= {inds[m][i],inds[n][j]}

        # contract the indices
        inds[n][j] = inds[m][i]

    # zip and flatten the tensors and indices
    args = [subarg for arg in zip(tensors,inds) for subarg in arg]

    # assuming there are no multiple contractions, we're done here
    return np.einsum(*args,sublistout)

一个简单的例子：

>>> tensors = [np.random.rand(2,3), np.random.rand(4,3)]
>>> conns = [((0,1),(1,1))]
>>> contract_all(tensors,conns)
array([[ 1.51970003,  1.06482209,  1.61478989,  1.86329518],
       [ 1.16334367,  0.60125945,  1.00275992,  1.43578448]])
>>> np.einsum('ij,kj',tensors[0],tensors[1])
array([[ 1.51970003,  1.06482209,  1.61478989,  1.86329518],
       [ 1.16334367,  0.60125945,  1.00275992,  1.43578448]])

如果有多个收缩，循环中的物流会变得有点复杂，因为我们需要处理所有重复项。然而，逻辑是相同的。此外，上面显然缺少检查以确保相应的索引可以收缩。

事后看来，我意识到不必指定默认的 sublistout，einsum 无论如何都使用该顺序。我决定将该变量留在代码中，因为万一我们需要 non-trivial 输出索引顺序，我们必须适当地处理该变量，它可能会派上用场。

至于收缩顺序的优化，您可以在 np.einsum 版本 1.12 中实现内部优化（正如@hpaulj 在 now-deleted 评论中指出的那样）。此版本向 np.einsum 引入了 optimize 可选关键字参数，允许选择以内存为代价减少计算时间的收缩顺序。传递 'greedy' 或 'optimal' 作为 optimize 关键字将使 numpy 选择一个收缩顺序，大致按维度大小的降序排列。

可用于 optimize 关键字的选项来自显然未记录的（就在线文档而言；help() 幸运的是）函数 np.einsum_path:

einsum_path(subscripts, *operands, optimize='greedy')

Evaluates the lowest cost contraction order for an einsum expression by
considering the creation of intermediate arrays.

np.einsum_path 的输出收缩路径也可以用作 np.einsum 的 optimize 参数的输入。在你的问题中，你担心使用了太多内存，所以我怀疑默认没有优化（可能运行时间更长，内存占用更小）。

Answer 2

可能有帮助：查看 https://arxiv.org/abs/1402.0939 which is a description of an efficient framework for the problem of contracting so called tensor networks in a single function ncon(...). As far as I see implementations of it are directly available for Matlab (can be found within in the link) and for Python3 (https://github.com/mhauru/ncon).

python 中的高效张量收缩

Efficient tensor contraction in python

python

numpy

vectorization

numpy-einsum