Numba jit nopython 模式：告诉 numba 外部任意函数的签名

Question

我需要为通用指标构建差异矩阵。由于我需要算法快速运行，因此我在 nopython 模式下使用了 numba 0.35。这是我的代码

import numpy as np
from numba import jit
from jellyfish import levenshtein_distance

def _dissimilarity_matrix(metric):
    @jit(nopython=True)
    def dm(data):
        n = data.shape[0]
        diss = np.zeros((n, n))
        for i in range(n):
            for j in range(i+1):
                dist = metric(data[i], data[j])
                diss[i, j] = dist
                diss[j, i] = dist
        return diss

    return dm

@jit(nopython=True)
def euclidean_distance(vec1, vec2):
    return np.sqrt(((vec1 - vec2)**2).sum())

test1 = np.random.randn(10, 2)
dissimilarity_matrix1 = _dissimilarity_matrix(euclidean_distance)
diss1 = dissimilarity_matrix1(test1)

test2 = np.array(["this", "is", "a", "test"])
dissimilarity_matrix2 = _dissimilarity_matrix(levenshtein_distance)
diss2 = dissimilarity_matrix2(test2)

但输出是：

numba.errors.TypingError: Failed at nopython (nopython frontend)
Untyped global name 'metric': cannot determine Numba type of <class 'builtin_function_or_method'>
File "test.py", line 12

注意函数euclidean_distance是我定义的，有装饰器@jit(nopython=True)，而函数levenshtein_distance来自外部模块（不是我写的）。有没有办法明确地告诉 numba 传入函数的签名（即 metric in _dissimilarity_matrix）？我真的需要 nopython 模式下的函数 _dissimilarity_matrix 到运行并接受任意函数作为输入。

Answer 1

当 metric 为 euclidean_distance 时，您的代码适用于我，因为该函数也是 nopython jitted numba 函数。但是，您不能传入任意函数。为了让某些东西在 nopython 模式下工作，numba 必须支持每个可调用函数（参见 http://numba.pydata.org/numba-doc/latest/reference/pysupported.html and http://numba.pydata.org/numba-doc/latest/reference/numpysupported.html）或用户定义为 numba nopython 函数。没有办法绕过这个限制。

Numba jit nopython 模式：告诉 numba 外部任意函数的签名

Numba jit nopython mode: tell numba the signature of an external arbitrary function

python

numpy

numba