Cython：融合类型的使用无效，类型不能专门化
Cython: Invalid use of fused types, type cannot be specialized
我有以下 MCVE：
import numpy as np
cimport numpy as np
cimport cython
from cython cimport floating
def func1(floating[:] X_data, floating alpha):
if floating is double:
dtype = np.float64
else:
dtype = np.float32
cdef floating[:] prios = np.empty(12, dtype=dtype)
cdef int ws_size = 10
C = np.argpartition(np.asarray(prios), ws_size)[:ws_size].astype(np.int32)
cdef int res = func2(X_data, alpha, C)
cpdef int func2(floating[:] X_data, floating alpha, int[:] C):
cdef int epoch = 1
return epoch
尝试 运行 cython test_fused.pyx 给我：
Error compiling Cython file:
------------------------------------------------------------
...
cdef floating[:] prios = np.empty(12, dtype=dtype)
cdef int ws_size = 10
C = np.argpartition(np.asarray(prios), ws_size)[:ws_size].astype(np.int32)
cdef int res = func2(X_data, alpha, C)
^
------------------------------------------------------------
test_fused.pyx:21:24: no suitable method found
Error compiling Cython file:
------------------------------------------------------------
...
cdef floating[:] prios = np.empty(12, dtype=dtype)
cdef int ws_size = 10
C = np.argpartition(np.asarray(prios), ws_size)[:ws_size].astype(np.int32)
cdef int res = func2(X_data, alpha, C)
^
------------------------------------------------------------
test_fused.pyx:21:24: no suitable method found
Error compiling Cython file:
------------------------------------------------------------
...
cdef floating[:] prios = np.empty(12, dtype=dtype)
cdef int ws_size = 10
C = np.argpartition(np.asarray(prios), ws_size)[:ws_size].astype(np.int32)
cdef int res = func2(X_data, alpha, C)
^
------------------------------------------------------------
test_fused.pyx:21:19: Invalid use of fused types, type cannot be specialized
Error compiling Cython file:
------------------------------------------------------------
...
cdef floating[:] prios = np.empty(12, dtype=dtype)
cdef int ws_size = 10
C = np.argpartition(np.asarray(prios), ws_size)[:ws_size].astype(np.int32)
cdef int res = func2(X_data, alpha, C)
^
------------------------------------------------------------
test_fused.pyx:21:19: Invalid use of fused types, type cannot be specialized
我有一个更复杂的代码，它还将数组 C 作为 运行 时间定义的值传递，这没有引起任何问题。这个编译错误的原因是什么？
我很困惑，因为稍作修改（向 func1 添加一个虚拟关键字参数，向 func2 添加两个关键字参数）使代码编译通过：
def func1(floating[:] X_data, floating alpha,
int dummy_variable=1): # added dummy_variable here
# same as before here
cdef int res = func2(X_data, alpha, C,
dummy_variable=dummy_variable)
cpdef int func2(floating[:] X_data, floating alpha, int[:] C,
int K=6, int dummy_variable=1): # added K and dummy variable here
cdef int epoch = 1
return epoch
让我们从一个较小的复制器开始：
%%cython
import numpy as np
from cython cimport floating
def func1(floating[:] X_data):
C = np.empty(12, dtype=np.int_32)
func2(X_data, C)
cpdef func2(floating[:] X_data, int[:] C):
pass
它不编译。
一个重要的观察结果：func2 是一个 cpdef，这意味着 Cython 会将其作为来自 func1 的原始 C 函数调用。这两个 C 签名将由 Cython 为融合的 func2 函数生成（一个用于 double，一个用于 float）：
static PyObject *__pyx_fuse_0__pyx_f_4test_func2(__Pyx_memviewslice, __Pyx_memviewslice, int __pyx_skip_dispatch); /*proto*/
static PyObject *__pyx_fuse_1__pyx_f_4test_func2(__Pyx_memviewslice, __Pyx_memviewslice, int __pyx_skip_dispatch); /*proto*/
所以C应该是一个__Pyx_memviewslice，但是对于Cython来说就是func1中的一个PyObject，所以没办法函数可以调用为 cdef。我不明白的是：为什么 Cython 不退回到 python-def 版本？
C 签名有点误导，Cython 在编译期间做了更多的类型检查，所以将 C 定义为
无济于事
cdef float[:] C
因为即使 C 在这种情况下也是 __Pyx_memviewslice 它没有正确的类型，只有
cdef int[:] C
会起作用。
如果func2被定义为
cpdef func2(floating[:] X_data, C):
相应的两个 C 签名将是
static PyObject *__pyx_fuse_0__pyx_f_4test_func2(__Pyx_memviewslice, PyObject *, int __pyx_skip_dispatch); /*proto*/
static PyObject *__pyx_fuse_1__pyx_f_4test_func2(__Pyx_memviewslice, PyObject *, int __pyx_skip_dispatch); /*proto*/
因此可以将 C 传递给这些函数 PyObject。
所以有两种方法可以解决编译问题：
- 在
func1中使用cdef int[:] C，或者
- 在
func2 的签名中加入int[:] C
那么为什么要添加一个虚拟参数，即
%%cython -a
import numpy as np
from cython cimport floating
def func1(floating[:] X_data, int dummy_variable=1):
C = np.empty(12, dtype=np.int_32)
func2(X_data, C, dummy_variable=dummy_variable)
cpdef func2(floating[:] X_data, int[:] C, int k=6, dummy_variable = 1):
pass
有效吗？
实际上还有第三种方法可以编译代码：通过使 func2 成为 python-only def- 函数。在这种情况下，C 的类型在编译时不起作用，将在 运行 时检查。
问题是：在你的虚拟变量的情况下，Cython 决定将 func2 作为 Python 函数而不是 C 函数调用，因此类型不匹配不会扮演一个角色。
您可以通过检查带注释的 html 文件轻松地看到这一点。
但是，我不能说，Cython 回退到 Python-函数调用来解决问题的原因是什么。我只能说：不为 k 提供价值起着重要作用。
我有以下 MCVE：
import numpy as np
cimport numpy as np
cimport cython
from cython cimport floating
def func1(floating[:] X_data, floating alpha):
if floating is double:
dtype = np.float64
else:
dtype = np.float32
cdef floating[:] prios = np.empty(12, dtype=dtype)
cdef int ws_size = 10
C = np.argpartition(np.asarray(prios), ws_size)[:ws_size].astype(np.int32)
cdef int res = func2(X_data, alpha, C)
cpdef int func2(floating[:] X_data, floating alpha, int[:] C):
cdef int epoch = 1
return epoch
尝试 运行 cython test_fused.pyx 给我：
Error compiling Cython file:
------------------------------------------------------------
...
cdef floating[:] prios = np.empty(12, dtype=dtype)
cdef int ws_size = 10
C = np.argpartition(np.asarray(prios), ws_size)[:ws_size].astype(np.int32)
cdef int res = func2(X_data, alpha, C)
^
------------------------------------------------------------
test_fused.pyx:21:24: no suitable method found
Error compiling Cython file:
------------------------------------------------------------
...
cdef floating[:] prios = np.empty(12, dtype=dtype)
cdef int ws_size = 10
C = np.argpartition(np.asarray(prios), ws_size)[:ws_size].astype(np.int32)
cdef int res = func2(X_data, alpha, C)
^
------------------------------------------------------------
test_fused.pyx:21:24: no suitable method found
Error compiling Cython file:
------------------------------------------------------------
...
cdef floating[:] prios = np.empty(12, dtype=dtype)
cdef int ws_size = 10
C = np.argpartition(np.asarray(prios), ws_size)[:ws_size].astype(np.int32)
cdef int res = func2(X_data, alpha, C)
^
------------------------------------------------------------
test_fused.pyx:21:19: Invalid use of fused types, type cannot be specialized
Error compiling Cython file:
------------------------------------------------------------
...
cdef floating[:] prios = np.empty(12, dtype=dtype)
cdef int ws_size = 10
C = np.argpartition(np.asarray(prios), ws_size)[:ws_size].astype(np.int32)
cdef int res = func2(X_data, alpha, C)
^
------------------------------------------------------------
test_fused.pyx:21:19: Invalid use of fused types, type cannot be specialized
我有一个更复杂的代码，它还将数组 C 作为 运行 时间定义的值传递，这没有引起任何问题。这个编译错误的原因是什么？
我很困惑，因为稍作修改（向 func1 添加一个虚拟关键字参数，向 func2 添加两个关键字参数）使代码编译通过：
def func1(floating[:] X_data, floating alpha,
int dummy_variable=1): # added dummy_variable here
# same as before here
cdef int res = func2(X_data, alpha, C,
dummy_variable=dummy_variable)
cpdef int func2(floating[:] X_data, floating alpha, int[:] C,
int K=6, int dummy_variable=1): # added K and dummy variable here
cdef int epoch = 1
return epoch
让我们从一个较小的复制器开始：
%%cython
import numpy as np
from cython cimport floating
def func1(floating[:] X_data):
C = np.empty(12, dtype=np.int_32)
func2(X_data, C)
cpdef func2(floating[:] X_data, int[:] C):
pass
它不编译。
一个重要的观察结果：func2 是一个 cpdef，这意味着 Cython 会将其作为来自 func1 的原始 C 函数调用。这两个 C 签名将由 Cython 为融合的 func2 函数生成（一个用于 double，一个用于 float）：
static PyObject *__pyx_fuse_0__pyx_f_4test_func2(__Pyx_memviewslice, __Pyx_memviewslice, int __pyx_skip_dispatch); /*proto*/
static PyObject *__pyx_fuse_1__pyx_f_4test_func2(__Pyx_memviewslice, __Pyx_memviewslice, int __pyx_skip_dispatch); /*proto*/
所以C应该是一个__Pyx_memviewslice，但是对于Cython来说就是func1中的一个PyObject，所以没办法函数可以调用为 cdef。我不明白的是：为什么 Cython 不退回到 python-def 版本？
C 签名有点误导，Cython 在编译期间做了更多的类型检查，所以将 C 定义为
cdef float[:] C
因为即使 C 在这种情况下也是 __Pyx_memviewslice 它没有正确的类型，只有
cdef int[:] C
会起作用。
如果func2被定义为
cpdef func2(floating[:] X_data, C):
相应的两个 C 签名将是
static PyObject *__pyx_fuse_0__pyx_f_4test_func2(__Pyx_memviewslice, PyObject *, int __pyx_skip_dispatch); /*proto*/
static PyObject *__pyx_fuse_1__pyx_f_4test_func2(__Pyx_memviewslice, PyObject *, int __pyx_skip_dispatch); /*proto*/
因此可以将 C 传递给这些函数 PyObject。
所以有两种方法可以解决编译问题：
- 在
func1中使用cdef int[:] C，或者 - 在
func2的签名中加入
int[:] C
那么为什么要添加一个虚拟参数，即
%%cython -a
import numpy as np
from cython cimport floating
def func1(floating[:] X_data, int dummy_variable=1):
C = np.empty(12, dtype=np.int_32)
func2(X_data, C, dummy_variable=dummy_variable)
cpdef func2(floating[:] X_data, int[:] C, int k=6, dummy_variable = 1):
pass
有效吗？
实际上还有第三种方法可以编译代码：通过使 func2 成为 python-only def- 函数。在这种情况下，C 的类型在编译时不起作用，将在 运行 时检查。
问题是：在你的虚拟变量的情况下，Cython 决定将 func2 作为 Python 函数而不是 C 函数调用，因此类型不匹配不会扮演一个角色。
您可以通过检查带注释的 html 文件轻松地看到这一点。
但是，我不能说，Cython 回退到 Python-函数调用来解决问题的原因是什么。我只能说：不为 k 提供价值起着重要作用。