我应该如何释放在 argout 结构数组的类型映射中分配的内存？

Question

我正在使用 SWIG 为 Python 包装一个 C 库。其中一种 C 方法需要指向结构缓冲区的指针以及要填充和填充的元素数指向的结构。对于 Python API 我只想提供元素的数量和 return 值是填充结构的元组。

  C     : int fill_widgets(widget_t *buffer, int num_widgets);
  Python: fill_widgets(num_widgets) -> (widget, widget,...)

我已经编写了可以按我想要的方式工作的类型映射 - 类型映射分配基于 Python 输入参数的缓冲区，将缓冲区传递给 C 方法，将其转换为 Python 元组，然后 return 小部件元组。但我想不通 if/when/how 我需要释放在我的类型映射中分配的内存。

我最初包含了一个 freearg 类型映射来在包装器时释放缓冲区函数退出，但我相信 returned 到 Python 的结构仍在使用物理内存（即内存未被复制，我只是得到一个代理指针使用相同的缓冲区）。我还尝试设置 SWIG_POINTER_OWN 标志创建代理对象时（通过 SWIG_NewPointerObj），但由于我正在创建指向缓冲区中每个元素的代理指针释放它们没有意义全部。在这两种情况下，Python 最终会在稍后出现段错误免费（）调用。

因此在创建代理时不在类型映射中使用 freearg 或 SWIG_POINTER_OWN，当 Python 元组结构超出范围时如何释放内存？

这是一个简单的 SWIG 界面，展示了我所拥有的：

%module "test"

%typemap (in, numinputs=1) (BUF, NUM){
     = PyInt_AsLong($input);
     = (_type)calloc(, sizeof($*1_type));
}

%typemap (argout) (BUF, NUM){
    PyObject *tpl = PyTuple_New();
    for (_ltype i=0; i<; i++)
    {
        PyTuple_SET_ITEM(tpl, i, SWIG_NewPointerObj(&[i], _descriptor, 0));
    }
    $result = SWIG_Python_AppendOutput($result, tpl);
}

%typemap (freearg) (BUF, NUM){
    //free();
}

%apply (BUF, NUM) {(widget_t *buf, int num_widgets)};

%inline {
typedef struct {int a; int b;} widget_t;

int fill_widgets(widget_t *buf, int num_widgets)
{
    for(int i=0; i<num_widgets; i++)
    {
        buf[i].a = i;
        buf[i].b = 2*i;
    }
    return num_widgets;
}
}

以及 build/run 的示例：

$ swig -python test.i
$ gcc -I/path/to/python2.7 -shared -lpython2.7 test_wrap.c  -o _test.so
$ python
>>> import test
>>> _,widgets = test.fill_widgets(4)
>>> for w in widgets: print w.a, w.b
... 
0 0
1 2
2 4
3 6
>>>

来自 C:

的 fill_widgets 的用法示例

int main()
{
    widget_t widgets[10];  // or widget_t *widgets = calloc(10, sizeof(widget_t))
    fill_widgets(widgets, 10);
}

Answer 1

有趣的是你有 1 个缓冲区，但是创建了 N Python 个代理对象，所有这些对象都存在于那个缓冲区中。

假设你不愿意从那个缓冲区中复制对象，所以你得到 1:1 分配给 Python 代理对象映射然后处理原始缓冲区我们基本上有一个努力的解决方案。这里的目的是确保每个 Python 对象也持有对拥有内存的对象的引用。这样做我们可以保持高引用计数，并且只有在确定没有人可能仍然指向它时才释放内存。

最简单的解决方案是为缓冲区中的第一个对象设置 SWIG_POINTER_OWN（即指针真正引用您从 calloc 取回的内存）然后让每个其他代理对象不拥有内存，但持有对拥有内存的对象的引用。

为了实现这一点，我们对您的 argout 类型映射进行了两项更改。首先我们只为元组的第一个元素设置 SWIG_POINTER_OWN 。其次，我们为除第一项以外的所有项调用 PyObject_SetAttrString 以保留引用。所以它最终看起来像这样：

%typemap (argout) (BUF, NUM){
    PyObject *tpl = PyTuple_New();
    for (_ltype i=0; i<; i++)
    {
        PyObject *item = SWIG_NewPointerObj(&[i], _descriptor, 0==i?SWIG_POINTER_OWN:0);
        if (i) {
            PyObject_SetAttrString(item,"_buffer",PyTuple_GET_ITEM(tpl, 0));
        } 
        PyTuple_SET_ITEM(tpl, i, item);
    }
    $result = SWIG_Python_AppendOutput($result, tpl);
}

我们可以交互式地检查引用计数是否符合预期：

In [1]: import test

In [2]: import sys

In [3]: a,b=test.fill_widgets(20)

In [4]: sys.getrefcount(b[0])
Out[4]: 21

In [5]: sys.getrefcount(b[1])
Out[5]: 2

In [6]: b[1]._buffer
Out[6]: <test.widget_t; proxy of <Swig Object of type 'widget_t *' at 0xb2118d10> >

In [7]: b[1]._buffer == b[0]
Out[7]: True

In [8]: x,y,z = b[0:3]

In [9]: del a

In [10]: del b

In [11]: sys.getrefcount(x)
Out[11]: 4

In [12]: sys.getrefcount(y)
Out[12]: 2

In [13]: sys.getrefcount(z)
Out[13]: 2

In [14]: del x

In [15]: sys.getrefcount(y._buffer)
Out[15]: 3

我应该如何释放在 argout 结构数组的类型映射中分配的内存？

How should I free memory allocated in a typemap for an argout array of structures?

python

swig