使用从 Cython 中的方法创建的 PyCapsule 的错误结果

Question

我们需要从 Cython 中的 class 方法创建 PyCapsule。我们设法编写了编译甚至运行s 没有错误的代码，但结果是错误的。

这里有一个简单的例子：https://github.com/paugier/cython_capi/tree/master/using_cpython_pycapsule_class

胶囊由Pythran执行（需要使用githubhttps://github.com/serge-sans-paille/pythran上的版本）。

.pyx 文件：

from cpython.pycapsule cimport PyCapsule_New


cdef int twice_func(int c):
    return 2*c


cdef class Twice:
    cdef public dict __pyx_capi__

    def __init__(self):
        self.__pyx_capi__ = self.get_capi()

    cpdef get_capi(self):
        return {
            'twice_func': PyCapsule_New(
                <void *>twice_func, 'int (int)', NULL),
            'twice_cpdef': PyCapsule_New(
                <void *>self.twice_cpdef, 'int (int)', NULL),
            'twice_cdef': PyCapsule_New(
                <void *>self.twice_cdef, 'int (int)', NULL),
            'twice_static': PyCapsule_New(
                <void *>self.twice_static, 'int (int)', NULL)}

    cpdef int twice_cpdef(self, int c):
        return 2*c

    cdef int twice_cdef(self, int c):
        return 2*c

    @staticmethod
    cdef int twice_static(int c):
        return 2*c

pythran编译的文件(call_capsule_pythran.py).

# pythran export call_capsule(int(int), int)

def call_capsule(capsule, n):
    r = capsule(n)
    return r

这又是 Pythran 的一项新功能，因此需要 github...

上的版本

和测试文件：

try:
    import faulthandler
    faulthandler.enable()
except ImportError:
    pass

import unittest

from twice import Twice
from call_capsule_pythran import call_capsule


class TestAll(unittest.TestCase):
    def setUp(self):
        self.obj = Twice()
        self.capi = self.obj.__pyx_capi__

    def test_pythran(self):
        value = 41
        print('\n')

        for name, capsule in self.capi.items():
            print('capsule', name)
            result = call_capsule(capsule, value)

            if name.startswith('twice'):
                if result != 2*value:
                    how = 'wrong'
                else:
                    how = 'good'

                print(how, f'result ({result})\n')


if __name__ == '__main__':
    unittest.main()

它有问题并给出：

capsule twice_func
good result (82)

capsule twice_cpdef
wrong result (4006664390)

capsule twice_cdef
wrong result (4006664390)

capsule twice_static
good result (82)

这表明它对于标准函数和静态函数都工作正常，但方法存在问题。

请注意，它适用于两个胶囊这一事实似乎表明问题并非来自 Pythran。

编辑

在 DavidW 的评论之后，我了解到我们必须在运行时间（例如在 get_capi 中）从绑定方法创建一个带有签名 int(int) 的 C 函数 twice_cdef 其签名实际上是 int(Twice, int).

我不知道这是否真的不可能用 Cython 来做...

Answer 1

关注 up/expand 我的评论：

基本问题是 Pythran 期望在 PyCapsule 中包含一个带有签名 int f(int) 的 C 函数指针。但是，您的方法的签名是 int(PyObject* self, int c)。 2 作为 self 传递（不会造成灾难，因为它实际上没有被使用......）并且一些任意位的内存被用来代替 int c。不幸的是，不可能使用纯 C 代码通过 "bound arguments" 创建 C 函数指针，因此 Cython 不能（实际上也不能）做到这一点。

修改 1 是通过创建一个接受正确类型并在其中进行转换的函数，而不是仅仅转换为 <void*>盲目。这并不能解决您的问题，但会在它无法正常工作时在编译时警告您：

ctypedef int(*f_ptr_type)(int)

cdef make_PyCapsule(f_ptr_type f, string):
    return PyCapsule_New(
                <void *>f, string, NULL)

# then in get_capi:
'twice_func': make_PyCapsule(twice_func, b'int (int)'), # etc

实际上可以使用 ctypes（或 cffi）从任意 Python 可调用对象创建 C 函数 - 请参阅（答案底部）。这增加了一层额外的 Python 调用，所以速度不是很快，而且代码有点乱。 ctypes 通过使用运行时代码生成（这不是可移植的或者你可以在纯 C 中做的事情）动态构建一个函数然后创建一个指向它的指针来实现这一点。

虽然您在评论中声称您认为您不能使用 Python 解释器，但我不认为这是真的 - Pythran 生成 Python 扩展模块（这很漂亮绑定到 Python 解释器）并且它似乎适用于此处显示的测试用例：

 _func_cache = []

cdef f_ptr_type py_to_fptr(f):
    import ctypes
    functype = ctypes.CFUNCTYPE(ctypes.c_int,ctypes.c_int)
    ctypes_f = functype(f)
    _func_cache.append(ctypes_f) # ensure references are kept
    return (<f_ptr_type*><size_t>ctypes.addressof(ctypes_f))[0]

# then in make_capi:
'twice_cpdef': make_PyCapsule(py_to_fptr(self.twice_cpdef), b'int (int)')

不幸的是，它只适用于 cpdef 而不是 cdef 函数，因为它确实依赖于 Python 可调用。 cdef 函数可以与 lambda 一起工作（假设您将 get_capi 更改为 def 而不是 cpdef）：

'twice_cdef': make_PyCapsule(py_to_fptr(lambda x: self.twice_cdef(x)), b'int (int)'),

有点乱，但可以解决。

使用从 Cython 中的方法创建的 PyCapsule 的错误结果

Wrong result using a PyCapsule created from a method in Cython

python

cython

pythran

编辑