使用 python-c-api 调用的 Cython 回调段错误
Cython callback segfaults using python-c-api calls
我正在研究 eGige 相机的控制，拥有一个 C 库，我已经开始 cython code project 的想法是拥有每种语言的最好的东西。
该库提供了一种方法来监听摄像头的心跳，以了解它是否已断开连接。在 C++ class 中的回调我已经做了，但是从这个 C++ class，调用 class 的 python 方法正在落入 分段错误 在我尝试过的所有方法中。
我已经用特定的C++封装了它class:
#include <Python.h>
/* (...) */
PyCallback::PyCallback(PyObject* self, const char* methodName)
{
Py_XINCREF(self);
_self = self;
_method = PyObject_GetAttrString(self, methodName);
}
PyCallback::~PyCallback()
{
Py_XDECREF(_self);
}
void PyCallback::execute()
{
try
{
PyObject *args = PyTuple_Pack(1,_self);
PyObject_CallFunctionObjArgs(_method, args);
}catch(...){
_error("Exception calling python");
}
}
来自 cython 对象的代码是：
cdef class Camera(...):
# (...)
cdef registerRemovalCallback(self):
cdef:
PyCallback* obj
obj = new PyCallback(<PyObject*> self, <char*> "cameraRemovalCallback")
cdef cameraRemovalCallback(self):
self._isPresent = False
回溯的最低部分就是在尝试准备参数时。
#0 0x00007ffff7b24592 in PyErr_Restore () from /usr/lib64/libpython2.6.so.1.0
#1 0x00007ffff7b23fef in PyErr_SetString () from /usr/lib64/libpython2.6.so.1.0
#2 0x00007ffff7b314dd in ?? () from /usr/lib64/libpython2.6.so.1.0
#3 0x00007ffff7b313ca in ?? () from /usr/lib64/libpython2.6.so.1.0
#4 0x00007ffff7b316c1 in ?? () from /usr/lib64/libpython2.6.so.1.0
#5 0x00007ffff7b31d2f in ?? () from /usr/lib64/libpython2.6.so.1.0
#6 0x00007ffff7b31e9c in Py_BuildValue () from /usr/lib64/libpython2.6.so.1.0
#7 0x00007ffff637cbf8 in PyCallback::execute (this=0x16212a0) at pylon/PyCallback.cpp:53
#8 0x00007ffff6376248 in CppCamera::removalCallback (this=0x161fb30, pDevice=<value optimized out>) at pylon/Camera.cpp:387
我尝试使用 _Py_BuildValue("(self)", self); 进行论证，但后来我得到了 段错误那里。
我也尝试过在参数字段中使用 PyObject_CallFunctionObjArgs 和 NULL，认为也许指向“ self" 已嵌入，因为方法指向此对象中的特定地址。但是我在那里得到了 segfault。
有人看到我的错误吗？那里应该以不同的方式制作的东西？我希望这是我方对谁来做那件事的误解。
更新@2016/08/01:
根据注释提示，对代码做了两处修改：
首先，指向 PyCallback 的指针存储已存储为 Camera cython class 的成员：
cdef class Camera(...):
cdef:
#(...)
PyCallback* _cbObj
# (...)
cdef registerRemovalCallback(self):
self._cbObj = new PyCallback(<PyObject*> self, <char*> "cameraRemovalCallback")
cdef cameraRemovalCallback(self):
self._isPresent = False
即使这是 segfaults 的基本来源，它看起来没有涉及当前的。
然后在c++中的PyCallback::execute()，我做了一些改动。在阅读了 GIL（全局解释器锁）并为其添加了一些调用之后，我添加了一个可以指导解决方案的检查：
PyCallback::PyCallback(PyObject* self, const char* methodName)
{
Py_Initialize();
Py_XINCREF(self);
_self = self;
_method = PyObject_GetAttrString(self, methodName);
}
PyCallback::~PyCallback()
{
Py_XDECREF(_self);
Py_Finalize();
}
void PyCallback::execute()
{
PyGILState_STATE gstate;
gstate = PyGILState_Ensure();
try
{
if ( PyCallable_Check(_method) )
{
_info("Build arguments and call method");
PyObject *args = Py_BuildValue("(O)", _self);
PyObject *kwargs = Py_BuildValue("{}", "", NULL);
PyObject_Call(_method, args, kwargs);
}
else
{
_warning("The given method is not callable!");
}
}
catch(...)
{
// TODO: collect and show more information about the exception
_error("Exception calling python");
}
PyGILState_Release(gstate);
}
连我都不知道怎么调用，主要是_PyCallable_Check_ returns false.
我也测试过使用 typedef 选项和 C 指向函数的指针来使用相同的 segfault 结果。
更新@2016/08/03:
我已经进行了建议的修改。 cameraRemovalCallback 现在从 cdef 更改为 def 并且 PyCallback 中的一些 if 报告现在找到了该方法。还添加到 ~PyCallback() 对 Py_XDECREF(_method) 的调用，以防在构造函数中找到它。没用的try-catch也被去掉了
根据对 Python's Object protocol, that DavidW 提及的参考，我检查了很多 *Call* 组合：陷入段错误。
我认为这个问题变得 肮脏 并且看起来像 论坛 （问题->答案->重播-> ...）。对此我感到很抱歉，下次我写的时候，我会尽量告诉段错误已经解决了。
我不敢保证这是唯一的问题，但这肯定是一个问题：
cameraRemovalCallback 是一个 cdef 函数。这意味着该函数只能从 C/Cython 访问，但不能从 Python 访问。这意味着 PyObject_GetAttrString 失败（因为 cameraRemovalCallback 不是 Python 属性）。
您应该使用 def 而不是 cdef 来定义 cameraRemovalCallback，这样就可以通过正常的 Python 机制访问它。您还应该检查 PyObject_GetAttrString 的结果 - 如果它 returns NULL 那么它找不到属性。
因此您最终尝试将 NULL 作为 Python 函数调用。
其他小问题：
你应该在 ~PyCallback 中减少 _method。
你应该不调用Py_Initialize和Py_Finalize。无论如何，您似乎是从 Python 中创建 class，因此它不需要初始化或完成。 finalizing 肯定会给你带来麻烦。
我认为您不需要将 self 作为参数传递给 PyObject_Call。 （虽然我可能是错的）
Python C api 不会引发 C++ 异常，因此您的 try{} catch(...) 永远不会捕捉到任何东西。而是检查 return 值。
您需要减少 Py_BuildValue 的两个调用的结果（当您完成它们时）以及 PyObject_Call 的结果。如果你不这样做，你就会泄漏内存。
以下完整示例适用于我（使用 Python 3.5 - 我无法轻松地使用早期版本对其进行测试）。如果它对您有用，那么您可能需要确定您的情况有何不同？如果它不适合你，那就更神秘了。
pycallback.hpp:
#include <Python.h>
#include <stdexcept>
inline PyObject* getCallable(PyObject* o, const char* methodName) {
// assume o is not null
PyObject* callable = PyObject_GetAttrString(o,methodName);
if (callable == nullptr) {
throw std::runtime_error("Attribute does not exist");
}
return callable;
}
class PyCallback {
private:
PyObject* _callable;
public:
PyCallback(PyObject* callable) {
// assume callable isn't null
if (!PyCallable_Check(callable)) {
throw std::runtime_error("object passed to PyCallback is not callable");
}
_callable = callable;
Py_XINCREF(_callable);
}
PyCallback(PyObject* o, const char* methodName) :
PyCallback(getCallable(o,methodName)) { // needs C++11 to compile
}
// don't define copy operators
PyCallback(const PyCallback&) = delete;
PyCallback& operator=(const PyCallback&) = delete;
~PyCallback() {
Py_XDECREF(_callable);
}
void execute() {
PyGILState_STATE gstate;
gstate = PyGILState_Ensure();
PyObject* result = PyObject_CallFunctionObjArgs(_callable,nullptr);
Py_XDECREF(result); // allowed to be null
PyGILState_Release(gstate);
}
};
camera.pyx
cdef extern from "pycallback.hpp":
cdef cppclass PyCallback:
PyCallback(object) except +
PyCallback(object, const char*) except +
void execute()
cdef class Camera:
cdef PyCallback* o
cdef public ispresent
def __init__(self):
self.o = NULL
self.ispresent = True
def registerRemovalCallback(self):
self.o = new PyCallback(self,'cameraRemovalCallback')
#self.o = new PyCallback(self.cameraRemovalCallback)
def cameraRemovalCallback(self):
self.ispresent = False
def triggerCallback(self):
if self.o != NULL:
self.o.execute()
setup.py
from distutils.core import setup
from distutils.extension import Extension
from Cython.Distutils import build_ext
setup(
ext_modules = [
Extension('camera',sources=["camera.pyx"],
language="c++",
extra_compile_args=['-std=c++11'])],
cmdclass={'build_ext': build_ext})
test.py
import camera
c = camera.Camera()
print(c.ispresent)
c.triggerCallback()
print(c.ispresent)
c.registerRemovalCallback()
print(c.ispresent)
c.triggerCallback()
print(c.ispresent)
注意 - 这有一个小问题。 Camera 和它持有的回调形成一个引用循环，所以它们永远不会被释放。这会导致少量内存泄漏，但不会导致分段错误。
我正在研究 eGige 相机的控制，拥有一个 C 库，我已经开始 cython code project 的想法是拥有每种语言的最好的东西。
该库提供了一种方法来监听摄像头的心跳，以了解它是否已断开连接。在 C++ class 中的回调我已经做了，但是从这个 C++ class，调用 class 的 python 方法正在落入 分段错误 在我尝试过的所有方法中。
我已经用特定的C++封装了它class:
#include <Python.h>
/* (...) */
PyCallback::PyCallback(PyObject* self, const char* methodName)
{
Py_XINCREF(self);
_self = self;
_method = PyObject_GetAttrString(self, methodName);
}
PyCallback::~PyCallback()
{
Py_XDECREF(_self);
}
void PyCallback::execute()
{
try
{
PyObject *args = PyTuple_Pack(1,_self);
PyObject_CallFunctionObjArgs(_method, args);
}catch(...){
_error("Exception calling python");
}
}
来自 cython 对象的代码是：
cdef class Camera(...):
# (...)
cdef registerRemovalCallback(self):
cdef:
PyCallback* obj
obj = new PyCallback(<PyObject*> self, <char*> "cameraRemovalCallback")
cdef cameraRemovalCallback(self):
self._isPresent = False
回溯的最低部分就是在尝试准备参数时。
#0 0x00007ffff7b24592 in PyErr_Restore () from /usr/lib64/libpython2.6.so.1.0
#1 0x00007ffff7b23fef in PyErr_SetString () from /usr/lib64/libpython2.6.so.1.0
#2 0x00007ffff7b314dd in ?? () from /usr/lib64/libpython2.6.so.1.0
#3 0x00007ffff7b313ca in ?? () from /usr/lib64/libpython2.6.so.1.0
#4 0x00007ffff7b316c1 in ?? () from /usr/lib64/libpython2.6.so.1.0
#5 0x00007ffff7b31d2f in ?? () from /usr/lib64/libpython2.6.so.1.0
#6 0x00007ffff7b31e9c in Py_BuildValue () from /usr/lib64/libpython2.6.so.1.0
#7 0x00007ffff637cbf8 in PyCallback::execute (this=0x16212a0) at pylon/PyCallback.cpp:53
#8 0x00007ffff6376248 in CppCamera::removalCallback (this=0x161fb30, pDevice=<value optimized out>) at pylon/Camera.cpp:387
我尝试使用 _Py_BuildValue("(self)", self); 进行论证，但后来我得到了 段错误那里。
我也尝试过在参数字段中使用 PyObject_CallFunctionObjArgs 和 NULL，认为也许指向“ self" 已嵌入，因为方法指向此对象中的特定地址。但是我在那里得到了 segfault。
有人看到我的错误吗？那里应该以不同的方式制作的东西？我希望这是我方对谁来做那件事的误解。
更新@2016/08/01:
根据注释提示，对代码做了两处修改：
首先，指向 PyCallback 的指针存储已存储为 Camera cython class 的成员：
cdef class Camera(...):
cdef:
#(...)
PyCallback* _cbObj
# (...)
cdef registerRemovalCallback(self):
self._cbObj = new PyCallback(<PyObject*> self, <char*> "cameraRemovalCallback")
cdef cameraRemovalCallback(self):
self._isPresent = False
即使这是 segfaults 的基本来源，它看起来没有涉及当前的。
然后在c++中的PyCallback::execute()，我做了一些改动。在阅读了 GIL（全局解释器锁）并为其添加了一些调用之后，我添加了一个可以指导解决方案的检查：
PyCallback::PyCallback(PyObject* self, const char* methodName)
{
Py_Initialize();
Py_XINCREF(self);
_self = self;
_method = PyObject_GetAttrString(self, methodName);
}
PyCallback::~PyCallback()
{
Py_XDECREF(_self);
Py_Finalize();
}
void PyCallback::execute()
{
PyGILState_STATE gstate;
gstate = PyGILState_Ensure();
try
{
if ( PyCallable_Check(_method) )
{
_info("Build arguments and call method");
PyObject *args = Py_BuildValue("(O)", _self);
PyObject *kwargs = Py_BuildValue("{}", "", NULL);
PyObject_Call(_method, args, kwargs);
}
else
{
_warning("The given method is not callable!");
}
}
catch(...)
{
// TODO: collect and show more information about the exception
_error("Exception calling python");
}
PyGILState_Release(gstate);
}
连我都不知道怎么调用，主要是_PyCallable_Check_ returns false.
我也测试过使用 typedef 选项和 C 指向函数的指针来使用相同的 segfault 结果。
更新@2016/08/03:
我已经进行了建议的修改。 cameraRemovalCallback 现在从 cdef 更改为 def 并且 PyCallback 中的一些 if 报告现在找到了该方法。还添加到 ~PyCallback() 对 Py_XDECREF(_method) 的调用，以防在构造函数中找到它。没用的try-catch也被去掉了
根据对 Python's Object protocol, that DavidW 提及的参考，我检查了很多 *Call* 组合：陷入段错误。
我认为这个问题变得 肮脏 并且看起来像 论坛 （问题->答案->重播-> ...）。对此我感到很抱歉，下次我写的时候，我会尽量告诉段错误已经解决了。
我不敢保证这是唯一的问题，但这肯定是一个问题：
cameraRemovalCallback 是一个 cdef 函数。这意味着该函数只能从 C/Cython 访问，但不能从 Python 访问。这意味着 PyObject_GetAttrString 失败（因为 cameraRemovalCallback 不是 Python 属性）。
您应该使用 def 而不是 cdef 来定义 cameraRemovalCallback，这样就可以通过正常的 Python 机制访问它。您还应该检查 PyObject_GetAttrString 的结果 - 如果它 returns NULL 那么它找不到属性。
因此您最终尝试将 NULL 作为 Python 函数调用。
其他小问题：
你应该在 ~PyCallback 中减少 _method。
你应该不调用Py_Initialize和Py_Finalize。无论如何，您似乎是从 Python 中创建 class，因此它不需要初始化或完成。 finalizing 肯定会给你带来麻烦。
我认为您不需要将 self 作为参数传递给 PyObject_Call。 （虽然我可能是错的）
Python C api 不会引发 C++ 异常，因此您的 try{} catch(...) 永远不会捕捉到任何东西。而是检查 return 值。
您需要减少 Py_BuildValue 的两个调用的结果（当您完成它们时）以及 PyObject_Call 的结果。如果你不这样做，你就会泄漏内存。
以下完整示例适用于我（使用 Python 3.5 - 我无法轻松地使用早期版本对其进行测试）。如果它对您有用，那么您可能需要确定您的情况有何不同？如果它不适合你，那就更神秘了。
pycallback.hpp:
#include <Python.h>
#include <stdexcept>
inline PyObject* getCallable(PyObject* o, const char* methodName) {
// assume o is not null
PyObject* callable = PyObject_GetAttrString(o,methodName);
if (callable == nullptr) {
throw std::runtime_error("Attribute does not exist");
}
return callable;
}
class PyCallback {
private:
PyObject* _callable;
public:
PyCallback(PyObject* callable) {
// assume callable isn't null
if (!PyCallable_Check(callable)) {
throw std::runtime_error("object passed to PyCallback is not callable");
}
_callable = callable;
Py_XINCREF(_callable);
}
PyCallback(PyObject* o, const char* methodName) :
PyCallback(getCallable(o,methodName)) { // needs C++11 to compile
}
// don't define copy operators
PyCallback(const PyCallback&) = delete;
PyCallback& operator=(const PyCallback&) = delete;
~PyCallback() {
Py_XDECREF(_callable);
}
void execute() {
PyGILState_STATE gstate;
gstate = PyGILState_Ensure();
PyObject* result = PyObject_CallFunctionObjArgs(_callable,nullptr);
Py_XDECREF(result); // allowed to be null
PyGILState_Release(gstate);
}
};
camera.pyx
cdef extern from "pycallback.hpp":
cdef cppclass PyCallback:
PyCallback(object) except +
PyCallback(object, const char*) except +
void execute()
cdef class Camera:
cdef PyCallback* o
cdef public ispresent
def __init__(self):
self.o = NULL
self.ispresent = True
def registerRemovalCallback(self):
self.o = new PyCallback(self,'cameraRemovalCallback')
#self.o = new PyCallback(self.cameraRemovalCallback)
def cameraRemovalCallback(self):
self.ispresent = False
def triggerCallback(self):
if self.o != NULL:
self.o.execute()
setup.py
from distutils.core import setup
from distutils.extension import Extension
from Cython.Distutils import build_ext
setup(
ext_modules = [
Extension('camera',sources=["camera.pyx"],
language="c++",
extra_compile_args=['-std=c++11'])],
cmdclass={'build_ext': build_ext})
test.py
import camera
c = camera.Camera()
print(c.ispresent)
c.triggerCallback()
print(c.ispresent)
c.registerRemovalCallback()
print(c.ispresent)
c.triggerCallback()
print(c.ispresent)
注意 - 这有一个小问题。 Camera 和它持有的回调形成一个引用循环，所以它们永远不会被释放。这会导致少量内存泄漏，但不会导致分段错误。