在 C++ 中嵌入 python：奇怪的分段错误

Question

（抱歉，标题含糊不清，但它显示了我对这个问题的困惑程度）。

所以我运行宁 Python 来自 C++ 程序的代码，遵循此处描述的方法：https://docs.python.org/2/extending/embedding.html.

这是 C++ 代码：

#include <Python.h>
#include <iostream>

int main(int argc, char *argv[])
{
    PyObject *pName, *pModule, *pDict, *pFunc;
    PyObject *pArgs, *pValue;
    int i;

    if (argc < 3) {
        fprintf(stderr,"Usage: call pythonfile funcname [args]\n");
        return 1;
    }

    Py_SetProgramName(argv[0]);
    Py_Initialize();
    PySys_SetArgv(argc, argv); 
    PyObject *sys = PyImport_ImportModule("sys");
    PyObject *path = PyObject_GetAttrString(sys, "path");
    PyList_Append(path, PyString_FromString("."));
    pName = PyString_FromString((char*)argv[1]);
    /* Error checking of pName left out */

    pModule = PyImport_Import(pName);
    Py_DECREF(pName);

    if (pModule != NULL) {
        pFunc = PyObject_GetAttrString(pModule, argv[2]);
        /* pFunc is a new reference */

        if (pFunc && PyCallable_Check(pFunc)) {   
            PyObject *pArgs = PyList_New(4);
            PyList_SetItem(pArgs,0,PyString_FromString("H-SAMPLE1-OH"));
            PyList_SetItem(pArgs,1,PyInt_FromLong(2));
            PyList_SetItem(pArgs,2,PyString_FromString("H-SAMPLE2-OH"));
            PyList_SetItem(pArgs,3,PyInt_FromLong(3));
            PyObject *arglist = Py_BuildValue("(O)", pArgs);
            Py_DECREF(pArgs);

            for(int run = 0; run < 2; run++)
            { 
                std::cout << "begin" << std::endl;

                pValue = PyObject_CallObject(pFunc, arglist);
                //Py_DECREF(arglist);
                if (pValue != NULL) 
                {
                    int py_list_size = PyList_Size(pValue);
                    printf("list size = %d\n",py_list_size);
                    int sub_list_size = 0;
                    for(Py_ssize_t i = 0; i < py_list_size; ++i)
                    {
                        PyObject *pList = PyList_GetItem(pValue, i);
                        sub_list_size = PyList_Size(pList);  
                        if(PyList_Check(pList))
                        {
                            for(Py_ssize_t j = 0; j < sub_list_size; ++j)
                            {
                                PyObject *pListItem = PyList_GetItem(pList, j);
                                double pyNumber = PyFloat_AsDouble(pListItem);
                                std::cout << "pynumber ok" << std::endl;
                                Py_DECREF(pListItem);
                                printf("Result of call: %f\n", pyNumber);
                            }
                        }
                        else
                        {
                            printf("Not list!\n");
                        }  
                        Py_DECREF(pList);
                    }
                    Py_DECREF(pValue);
                }
                else {
                    std::cout << "Else" << std::endl;
                    Py_DECREF(pFunc);
                    Py_DECREF(pModule);
                    PyErr_Print();
                    fprintf(stderr,"Call failed\n");
                    return 1;
                }
            }
        }
        else {
            if (PyErr_Occurred())
                PyErr_Print();
            fprintf(stderr, "Cannot find function \"%s\"\n", argv[2]);
        }
        Py_XDECREF(pFunc);
        Py_DECREF(pModule);
    }
    else {
        PyErr_Print();
        fprintf(stderr, "Failed to load \"%s\"\n", argv[1]);
        return 1;
    }
    Py_Finalize();
    return 0;
}

这是玩具 Python 代码：

def test(a):
    print a
    return [[1.2,2.6],[4.7,5.6]]

注意 C++ 代码中的主循环，遍历变量 "run"。当循环内的代码只执行一次时，它就像一个魅力。如果我尝试运行它更多，例如只有两次，它会出错，我会遇到分段错误。显然，错误发生在第 61 行，当尝试执行

double pyNumber = PyFloat_AsDouble(pListItem);

我觉得很奇怪。它在第一次执行期间工作正常，然后突然 if 不再设法从 pListItem 正确获取某些内容（尽管它确实收到了它识别为大小为 2 的列表的内容并且似乎正确处理了所有其他 pyObject 指针）。知道发生了什么事吗？

重现：

我编译如下：

g++ -L/usr/lib/python2.7/config-x86_64-linux-gnu -L/usr/lib -I/usr/include/python2.7 -o ms2pip ms2pip.c -lpthread -ldl  -lutil -lm  -lpython2.7 -Xlinker -export-dynamic -Wl,-O1 -Wl,-Bsymbolic-functions

然后执行如下：

$ ./ms2pip python_code test
(so ./executable < python_file_without_py_extension > < function_name >)

Answer 1

我认为你的问题是 PyList_GetItem() returns 一个借用的引用。所以问题是用 pList 和 pListItem:

调用 Py_DECREF()

PyObject *pList = PyList_GetItem(pValue, i);
// ...
if(PyList_Check(pList))
{
    for(Py_ssize_t j = 0; j < sub_list_size; ++j)
    {
        PyObject *pListItem = PyList_GetItem(pList, j);
        double pyNumber = PyFloat_AsDouble(pListItem); // <-- Segfault in second iteration after released from first iteration.
        // ...
        Py_DECREF(pListItem); // <-- Bad, released in first iteration.
        // ...
    }
}
//...
Py_DECREF(pList); // <-- Bad, released in first iteration.

pList 是借用的引用，您不负责使用 Py_DECREF() 发布。此外，pListItem 也是借用的引用。所以在第一次迭代中，你释放 pList 以及每个 pListItem 这是不好的。在第二次迭代中，您抓取 pList 和每个 pListItem 都已发布并将它们视为仍然稳定，但事实并非如此。因为您正在访问已释放的对象，所以程序可能真的会失败或在涉及它们的任何函数调用中给出错误的结果（例如，PyList_Size(pList)、PyList_GetItem(pList, j)、PyFloat_AsDouble(pListItem)、Py_DECREF(pListItem) , Py_DECREF(pList)).

在 C++ 中嵌入 python：奇怪的分段错误

Embedding python in C++ : strange segmentation faults

python

c++

python-c-api