如何在 C++ header 和源文件中使用 NumPy C-API?
How can I use the NumPy C-API in both C++ header and source file?
我正在使用 Boost::Python 使 Python 代码可用于 C++ 库。我有一个将 C++ 类型转换为 Python 类型的模板函数:
template <typename T> bp::object convert(T v);
专用于各种原始类型以及一些模板化的 classes。其中一个 class 是 N-dimensional 数组,我有一个函数可以将其转换为 NumPy 数组。我想在相应的 convert
专业化中使用此功能,例如:
template <typename Y> bp::object convert(NDArray<Y> v);
我的主要问题是此转换函数需要存在于 header 中,因为它是模板化的,但它使用 NumPy 的 PyArray_
函数,需要先调用 import_array()
使用。当前在构造函数中调用 import_array()
用于单例 object,其目的是提供对 Python 函数的访问。这似乎行不通,因为默认情况下,#include <numpy/arrayobject.h>
仅使 PyArray_
函数可用于当前编译单元。我已经尝试定义 PY_ARRAY_UNIQUE_SYMBOL
并为 header 定义 NO_IMPORT_ARRAY
,但这并不能阻止 PyArray_
函数出现段错误。
这是我的代码的简化表示,它在 "conversions.h" header:
中使用 PyArray_
函数时出现段错误
"conversions.h":
#include <boost/python.hpp>
#include <numpy/numpyconfig.h>
#include <numpy/arrayobject.h>
namespace bp = boost::python;
template <typename T> bp::object convert(T v);
template <> bp::object convert<int>(int v) { return bp::long_(v); }
...
template <typename Y> bp::object convert(NDArray<Y> v)
{
... use PyArray_ functions to create and return a NumPy array
... segfaults here!
}
"Bridge.h":
#include "conversions.h"
class Bridge {
public:
static Bridge* instance();
// c++11 variadic template (parameter pack)
template <typename... Args> void exec(Args... args)
{
...
fn(convert(args)...); // fn is a Python function
...
}
void foo();
private:
Bridge();
Bridge(const Bridge&);
void operator=(const Bridge&);
static Bridge* instance_;
}
"Bridge.cpp":
#include "Bridge.h"
#include <numpy/numpyconfig.h>
#include <numpy/arrayobject.h>
Bridge* Bridge::instance_ = nullptr;
Bridge* Bridge::instance() {
if (!instance_) { instance_ = new Bridge(); }
return instance_;
}
Bridge::Bridge() {
Py_Initialize();
_import_array();
...
}
void Bridge::foo() {
... // other stuff using PyArray functions
}
"main.cpp":
#include "Bridge.h"
int main(void)
{
NDArray my_array(...);
Bridge::instance()->exec(42, "hello", my_array);
return 0;
}
从那以后我了解到一个问题是对 PyArray 函数的调用应该发生在与对 import_array
(NumPy 初始化函数)的调用相同的编译单元中。
解决此问题的一种方法是 "wrap" 在内部使用 PyArray_*
函数并使用它们而不是直接使用 NumPy API。
可能找到了另一个解决方案 here。
我的解决方案:
创建一个 "numpy_wrappers.h" 文件:
...
#include "numpy/ndarraytypes.h"
int NumPyArray_NDIM(PyObject* obj);
npy_intp NumPyArray_DIM(PyObject* obj, int i);
void *NumPyArray_DATA(PyObject* obj);
...
然后通过 "wrapping" 在 与调用 相同的源文件中的原始函数实现这些 import_array
(NumPy 初始化函数):
...
Bridge::Bridge() {
Py_Initialize();
_import_array();
...
}
...
/// Wraps PyArray_NDIM
int NumPyArray_NDIM(PyObject* obj)
{
return PyArray_NDIM((PyArrayObject*)obj);
}
/// Wraps PyArray_DIM
npy_intp NumPyArray_DIM(PyObject* obj, int i)
{
return PyArray_DIM((PyArrayObject*)obj, i);
}
/// Wraps PyArray_DATA
void* NumPyArray_DATA(PyObject* obj)
{
return PyArray_DATA((PyArrayObject*)obj);
}
...
然后它们可以在模板中使用 headers,像这样:
...
template <typename Y> bp::object convert(NDArray<Y> v)
{
... use NumPyArray_ functions to create and return a NumPy array
... No more segfaults!
}
...
您可以看到此 here 的 in-depth 实现,这是一个用于在某些 C++ STL 类型和 Python 标准类型之间无缝转换的工具箱。
我正在使用 Boost::Python 使 Python 代码可用于 C++ 库。我有一个将 C++ 类型转换为 Python 类型的模板函数:
template <typename T> bp::object convert(T v);
专用于各种原始类型以及一些模板化的 classes。其中一个 class 是 N-dimensional 数组,我有一个函数可以将其转换为 NumPy 数组。我想在相应的 convert
专业化中使用此功能,例如:
template <typename Y> bp::object convert(NDArray<Y> v);
我的主要问题是此转换函数需要存在于 header 中,因为它是模板化的,但它使用 NumPy 的 PyArray_
函数,需要先调用 import_array()
使用。当前在构造函数中调用 import_array()
用于单例 object,其目的是提供对 Python 函数的访问。这似乎行不通,因为默认情况下,#include <numpy/arrayobject.h>
仅使 PyArray_
函数可用于当前编译单元。我已经尝试定义 PY_ARRAY_UNIQUE_SYMBOL
并为 header 定义 NO_IMPORT_ARRAY
,但这并不能阻止 PyArray_
函数出现段错误。
这是我的代码的简化表示,它在 "conversions.h" header:
中使用PyArray_
函数时出现段错误
"conversions.h":
#include <boost/python.hpp>
#include <numpy/numpyconfig.h>
#include <numpy/arrayobject.h>
namespace bp = boost::python;
template <typename T> bp::object convert(T v);
template <> bp::object convert<int>(int v) { return bp::long_(v); }
...
template <typename Y> bp::object convert(NDArray<Y> v)
{
... use PyArray_ functions to create and return a NumPy array
... segfaults here!
}
"Bridge.h":
#include "conversions.h"
class Bridge {
public:
static Bridge* instance();
// c++11 variadic template (parameter pack)
template <typename... Args> void exec(Args... args)
{
...
fn(convert(args)...); // fn is a Python function
...
}
void foo();
private:
Bridge();
Bridge(const Bridge&);
void operator=(const Bridge&);
static Bridge* instance_;
}
"Bridge.cpp":
#include "Bridge.h"
#include <numpy/numpyconfig.h>
#include <numpy/arrayobject.h>
Bridge* Bridge::instance_ = nullptr;
Bridge* Bridge::instance() {
if (!instance_) { instance_ = new Bridge(); }
return instance_;
}
Bridge::Bridge() {
Py_Initialize();
_import_array();
...
}
void Bridge::foo() {
... // other stuff using PyArray functions
}
"main.cpp":
#include "Bridge.h"
int main(void)
{
NDArray my_array(...);
Bridge::instance()->exec(42, "hello", my_array);
return 0;
}
从那以后我了解到一个问题是对 PyArray 函数的调用应该发生在与对 import_array
(NumPy 初始化函数)的调用相同的编译单元中。
解决此问题的一种方法是 "wrap" 在内部使用 PyArray_*
函数并使用它们而不是直接使用 NumPy API。
可能找到了另一个解决方案 here。
我的解决方案:
创建一个 "numpy_wrappers.h" 文件:
...
#include "numpy/ndarraytypes.h"
int NumPyArray_NDIM(PyObject* obj);
npy_intp NumPyArray_DIM(PyObject* obj, int i);
void *NumPyArray_DATA(PyObject* obj);
...
然后通过 "wrapping" 在 与调用 相同的源文件中的原始函数实现这些 import_array
(NumPy 初始化函数):
...
Bridge::Bridge() {
Py_Initialize();
_import_array();
...
}
...
/// Wraps PyArray_NDIM
int NumPyArray_NDIM(PyObject* obj)
{
return PyArray_NDIM((PyArrayObject*)obj);
}
/// Wraps PyArray_DIM
npy_intp NumPyArray_DIM(PyObject* obj, int i)
{
return PyArray_DIM((PyArrayObject*)obj, i);
}
/// Wraps PyArray_DATA
void* NumPyArray_DATA(PyObject* obj)
{
return PyArray_DATA((PyArrayObject*)obj);
}
...
然后它们可以在模板中使用 headers,像这样:
...
template <typename Y> bp::object convert(NDArray<Y> v)
{
... use NumPyArray_ functions to create and return a NumPy array
... No more segfaults!
}
...
您可以看到此 here 的 in-depth 实现,这是一个用于在某些 C++ STL 类型和 Python 标准类型之间无缝转换的工具箱。