使用 Python 的动态版本执行嵌入式 python 代码时出现致命 Python 错误
Fatal Python error when using a dynamic version of Python to execute embedded python code
剧透：部分解决（见最后）。
下面是使用 Python 嵌入的代码示例：
#include <Python.h>
int main(int argc, char** argv)
{
Py_SetPythonHome(argv[1]);
Py_Initialize();
PyRun_SimpleString("print \"Hello !\"");
Py_Finalize();
return 0;
}
我在 Linux openSUSE 42.2 和 gcc 4.8.5 下工作（但我在 openSUSE 13.2 和 gcc 4.8.3 或 RedHat 6.4 和 gcc 4.4.7 上也有同样的问题）。
我编译了一个静态版本和一个动态版本的Python 2.7.9（但我也遇到了与Python 2.7.13相同的问题）。
我使用以下命令编译链接到 Python 静态版本的示例：
g++ hello.cpp -o hello \
-I /home/caduchon/softs/python/2.7.9/64/gcc/4.8.5/static/include/python2.7 \
-L /home/caduchon/softs/python/2.7.9/64/gcc/4.8.5/static/lib \
-l python2.7 -l pthread -l util -l dl
如果我在参数中使用 Python 的静态版本来执行我的示例，它就可以工作。
如果我在参数 Python 的动态版本上执行它，我会收到以下错误（它发生在 Py_Initialize() 中）：
> ./hello /home/caduchon/softs/python/2.7.9/64/gcc/4.8.5/dynamic
Fatal Python error: PyThreadState_Get: no current thread
Aborted (core dumped)
我不知道为什么它适用于静态版本而不适用于动态版本。我该如何解决此类问题？
编辑： 我安装 Python 的脚本如下：
#!/bin/bash
WORKDIR=/home/caduchon/tmp/install_python_2_7_13
ARCHIVEDIR=/home/caduchon/downloads/python
PYTHON_VERSION='2.7.13'
EZ_SETUP_VERSION='0.9'
SETUPTOOLS_VERSION='34.1.0'
CYTHON_VERSION='0.25.2'
NUMPY_VERSION='1.12.0'
SCIPY_VERSION='0.18.1'
MATPLOTLIB_VERSION='2.0.0'
INSTALLDIR=/home/caduchon/softs/python/$PYTHON_VERSION/64/gcc/4.8.5
LAPACKDIR=/home/caduchon/softs/lapack/3.6.1/64/gcc/4.8.5
### Tkinter ###
echo "Install Tkinter"
sudo apt-get install tk-dev
### Workdir ###
echo "Create workdir"
mkdir -p $WORKDIR/static
mkdir -p $WORKDIR/dynamic
### Python
for x in static dynamic
do
echo "Install Python ($x)"
cd $WORKDIR/$x
echo " extract archive"
cp $ARCHIVEDIR/Python-$PYTHON_VERSION.tgz .
tar -xzf ./Python-$PYTHON_VERSION.tgz &> archive.log
cd ./Python-$PYTHON_VERSION
echo " configure"
if [ "$x" = "static" ]
then
./configure --prefix=$INSTALLDIR/$x --libdir=$INSTALLDIR/$x/lib &> configure.log
else
export LD_RUN_PATH=$INSTALLDIR/$x/lib
./configure --enable-shared --prefix=$INSTALLDIR/$x --exec-prefix=$INSTALLDIR/$x --libdir=$INSTALLDIR/$x/lib &> configure.log
fi
echo " build"
make &> make.log
echo " install"
make install &> make_install.log
echo " done"
done
### setuptools
for x in static dynamic
do
echo "Install setuptools ($x)"
cd $WORKDIR/$x
echo " extract archives"
cp $ARCHIVEDIR/ez_setup-$EZ_SETUP_VERSION.tar.gz .
tar -xzf ./ez_setup-$EZ_SETUP_VERSION.tar.gz &> archive.log
cp $ARCHIVEDIR/setuptools-$SETUPTOOLS_VERSION.zip .
unzip ./setuptools-$SETUPTOOLS_VERSION.zip &> archive.log
cp ./ez_setup-$EZ_SETUP_VERSION/ez_setup.py ./setuptools-$SETUPTOOLS_VERSION/.
cd ./setuptools-$SETUPTOOLS_VERSION
echo " install"
$INSTALLDIR/$x/bin/python ./ez_setup.py &> setup.log
echo " done"
done
### Cython
for x in static dynamic
do
echo "Install Cython ($x)"
cd $WORKDIR/$x
echo " extract archive"
cp $ARCHIVEDIR/Cython-$CYTHON_VERSION.tar.gz .
tar -xzf ./Cython-$CYTHON_VERSION.tar.gz &> archive.log
cd ./Cython-$CYTHON_VERSION
echo " install"
$INSTALLDIR/$x/bin/python ./setup.py install &> install.log
echo " done"
done
### NumPy
for x in static dynamic
do
echo "Install NumPy ($x)"
cd $WORKDIR/$x
echo " extract archive"
cp $ARCHIVEDIR/numpy-$NUMPY_VERSION.zip .
unzip ./numpy-$NUMPY_VERSION.zip &> archive.log
cd ./numpy-$NUMPY_VERSION
echo " build"
$INSTALLDIR/$x/bin/python ./setup.py build --fcompiler=gfortran &> build.log
echo " install"
$INSTALLDIR/$x/bin/python ./setup.py install &> install.log
echo " done"
done
### SciPy
for x in static dynamic
do
echo "Install SciPy ($x)"
cd $WORKDIR/$x
echo " extract archive"
cp $ARCHIVEDIR/scipy-$SCIPY_VERSION.tar.gz .
tar -xzf ./scipy-$SCIPY_VERSION.tar.gz &> archive.log
cd ./scipy-$SCIPY_VERSION
echo " configure"
echo "[DEFAULT]" > ./site.cfg
echo "library_dirs = $LAPACKDIR/lib64" >> ./site.cfg
echo "search_static_first = true" >> ./site.cfg
echo " build"
$INSTALLDIR/$x/bin/python ./setup.py build --fcompiler=gfortran &> build.log
echo " install"
$INSTALLDIR/$x/bin/python ./setup.py install &> install.log
echo " done"
done
### MatPlotLib
for x in static dynamic
do
echo "Install MatPlotLib ($x)"
cd $WORKDIR/$x
echo " extract archive"
cp $ARCHIVEDIR/matplotlib-$MATPLOTLIB_VERSION.tar.gz .
tar -xzf ./matplotlib-$MATPLOTLIB_VERSION.tar.gz &> archive.log
cd ./matplotlib-$MATPLOTLIB_VERSION
echo " build"
$INSTALLDIR/$x/bin/python ./setup.py build &> build.log
echo " install"
$INSTALLDIR/$x/bin/python ./setup.py install &> install.log
echo " done"
done
编辑： 我确定了问题的可能原因。如果我在动态 Python 的安装中删除行 export LD_RUN_PATH=$INSTALLDIR/$x/lib，我的嵌入式代码就可以工作。我通过嵌入式代码打印 sys.path ，它指向正确的安装。 但是... 这样我不能直接使用安装：它加载了系统中发现的错误版本（当我打印 sys.path 我看到它指向 / usr/...）。另外，我不想设置环境变量来启动 Python，因为我在同一台机器上使用多个版本的 Python。
编辑： 保留我的默认安装脚本 Python，我通过在编译 C++ 示例时在选项中添加 -rdynamic 来解决问题。但是我不太明白这个选项是什么，它会造成什么样的灾难...
如果我理解正确，您想 运行 静态链接版本，同时将 Python 主页设置为动态链接版本。这行不通。
发生了什么：当您 运行 静态链接库的 Py_Initialize() 时，它会在某个时候尝试导入 _locale 模块。因为您将 Python 主页设置为动态链接版本，它将加载 $INSTALLDIR/dynamic/lib/python2.7/lib-dynload/_locale.so。该库动态链接到 $INSTALLDIR/dynamic/lib/libpython2.7.so.1.0。现在你得到了两份解释器。第一个副本是静态链接的副本，正在初始化。第二个副本未初始化。当动态模块导入机制尝试初始化 _locale 模块时，它失败了，因为 _locale 的初始化函数引用了第二个完全未初始化的解释器。
您尝试此操作的原因是什么？如果您首先告诉我们您想解决的问题，我们也许可以帮助您。
编辑：（我是在第一次编辑后写的，到目前为止我还没有尝试 -rdynamic 会发生什么）：
当您不设置 LD_RUN_PATH 时，$INSTALLDIR/dynamic/lib/python2.7/lib-dynload/_locale.so 将动态链接到系统的 libpython2.7.so。您没有看到错误的原因是导入 _locale 模块失败并出现 ImportError（而不是段错误），但此 ImportError 在解释器初始化期间被捕获（而以前无法捕获段错误）。但是，如果您尝试在嵌入式解释器中导入 _locale（或任何其他扩展模块，例如 _struct），您会收到如下错误：
Traceback (most recent call last):
File "<string>", line 1, in <module>
ImportError: $INSTALLDIR/dynamic/lib/python2.7/lib-dynload/_locale.so: undefined symbol: PyUnicodeUCS2_FromObject
编辑： 当针对静态 Python 版本编译 hello.cpp 时，通常像 _PyThreadState_Current 这样的大多数符号不会在动态符号 table。这就是为什么你最终得到如上所述的 "two copies of the interpreter" 和段错误。但是，当传递 -rdynamic 时，这些符号最终出现在动态符号 table 中，因此现在来自 "dynamic" 构建的 _locale.so 的模块初始化函数引用 _PyThreadState_Current "static" 构建。不过，我仍然不相信您尝试做的事情（使用链接到 "static" 构建和 "dynamic" 构建的 Python 主目录的程序）是个好主意。 ;)
剧透：部分解决（见最后）。
下面是使用 Python 嵌入的代码示例：
#include <Python.h>
int main(int argc, char** argv)
{
Py_SetPythonHome(argv[1]);
Py_Initialize();
PyRun_SimpleString("print \"Hello !\"");
Py_Finalize();
return 0;
}
我在 Linux openSUSE 42.2 和 gcc 4.8.5 下工作（但我在 openSUSE 13.2 和 gcc 4.8.3 或 RedHat 6.4 和 gcc 4.4.7 上也有同样的问题）。
我编译了一个静态版本和一个动态版本的Python 2.7.9（但我也遇到了与Python 2.7.13相同的问题）。
我使用以下命令编译链接到 Python 静态版本的示例：
g++ hello.cpp -o hello \
-I /home/caduchon/softs/python/2.7.9/64/gcc/4.8.5/static/include/python2.7 \
-L /home/caduchon/softs/python/2.7.9/64/gcc/4.8.5/static/lib \
-l python2.7 -l pthread -l util -l dl
如果我在参数中使用 Python 的静态版本来执行我的示例，它就可以工作。
如果我在参数 Python 的动态版本上执行它，我会收到以下错误（它发生在 Py_Initialize() 中）：
> ./hello /home/caduchon/softs/python/2.7.9/64/gcc/4.8.5/dynamic
Fatal Python error: PyThreadState_Get: no current thread
Aborted (core dumped)
我不知道为什么它适用于静态版本而不适用于动态版本。我该如何解决此类问题？
编辑： 我安装 Python 的脚本如下：
#!/bin/bash
WORKDIR=/home/caduchon/tmp/install_python_2_7_13
ARCHIVEDIR=/home/caduchon/downloads/python
PYTHON_VERSION='2.7.13'
EZ_SETUP_VERSION='0.9'
SETUPTOOLS_VERSION='34.1.0'
CYTHON_VERSION='0.25.2'
NUMPY_VERSION='1.12.0'
SCIPY_VERSION='0.18.1'
MATPLOTLIB_VERSION='2.0.0'
INSTALLDIR=/home/caduchon/softs/python/$PYTHON_VERSION/64/gcc/4.8.5
LAPACKDIR=/home/caduchon/softs/lapack/3.6.1/64/gcc/4.8.5
### Tkinter ###
echo "Install Tkinter"
sudo apt-get install tk-dev
### Workdir ###
echo "Create workdir"
mkdir -p $WORKDIR/static
mkdir -p $WORKDIR/dynamic
### Python
for x in static dynamic
do
echo "Install Python ($x)"
cd $WORKDIR/$x
echo " extract archive"
cp $ARCHIVEDIR/Python-$PYTHON_VERSION.tgz .
tar -xzf ./Python-$PYTHON_VERSION.tgz &> archive.log
cd ./Python-$PYTHON_VERSION
echo " configure"
if [ "$x" = "static" ]
then
./configure --prefix=$INSTALLDIR/$x --libdir=$INSTALLDIR/$x/lib &> configure.log
else
export LD_RUN_PATH=$INSTALLDIR/$x/lib
./configure --enable-shared --prefix=$INSTALLDIR/$x --exec-prefix=$INSTALLDIR/$x --libdir=$INSTALLDIR/$x/lib &> configure.log
fi
echo " build"
make &> make.log
echo " install"
make install &> make_install.log
echo " done"
done
### setuptools
for x in static dynamic
do
echo "Install setuptools ($x)"
cd $WORKDIR/$x
echo " extract archives"
cp $ARCHIVEDIR/ez_setup-$EZ_SETUP_VERSION.tar.gz .
tar -xzf ./ez_setup-$EZ_SETUP_VERSION.tar.gz &> archive.log
cp $ARCHIVEDIR/setuptools-$SETUPTOOLS_VERSION.zip .
unzip ./setuptools-$SETUPTOOLS_VERSION.zip &> archive.log
cp ./ez_setup-$EZ_SETUP_VERSION/ez_setup.py ./setuptools-$SETUPTOOLS_VERSION/.
cd ./setuptools-$SETUPTOOLS_VERSION
echo " install"
$INSTALLDIR/$x/bin/python ./ez_setup.py &> setup.log
echo " done"
done
### Cython
for x in static dynamic
do
echo "Install Cython ($x)"
cd $WORKDIR/$x
echo " extract archive"
cp $ARCHIVEDIR/Cython-$CYTHON_VERSION.tar.gz .
tar -xzf ./Cython-$CYTHON_VERSION.tar.gz &> archive.log
cd ./Cython-$CYTHON_VERSION
echo " install"
$INSTALLDIR/$x/bin/python ./setup.py install &> install.log
echo " done"
done
### NumPy
for x in static dynamic
do
echo "Install NumPy ($x)"
cd $WORKDIR/$x
echo " extract archive"
cp $ARCHIVEDIR/numpy-$NUMPY_VERSION.zip .
unzip ./numpy-$NUMPY_VERSION.zip &> archive.log
cd ./numpy-$NUMPY_VERSION
echo " build"
$INSTALLDIR/$x/bin/python ./setup.py build --fcompiler=gfortran &> build.log
echo " install"
$INSTALLDIR/$x/bin/python ./setup.py install &> install.log
echo " done"
done
### SciPy
for x in static dynamic
do
echo "Install SciPy ($x)"
cd $WORKDIR/$x
echo " extract archive"
cp $ARCHIVEDIR/scipy-$SCIPY_VERSION.tar.gz .
tar -xzf ./scipy-$SCIPY_VERSION.tar.gz &> archive.log
cd ./scipy-$SCIPY_VERSION
echo " configure"
echo "[DEFAULT]" > ./site.cfg
echo "library_dirs = $LAPACKDIR/lib64" >> ./site.cfg
echo "search_static_first = true" >> ./site.cfg
echo " build"
$INSTALLDIR/$x/bin/python ./setup.py build --fcompiler=gfortran &> build.log
echo " install"
$INSTALLDIR/$x/bin/python ./setup.py install &> install.log
echo " done"
done
### MatPlotLib
for x in static dynamic
do
echo "Install MatPlotLib ($x)"
cd $WORKDIR/$x
echo " extract archive"
cp $ARCHIVEDIR/matplotlib-$MATPLOTLIB_VERSION.tar.gz .
tar -xzf ./matplotlib-$MATPLOTLIB_VERSION.tar.gz &> archive.log
cd ./matplotlib-$MATPLOTLIB_VERSION
echo " build"
$INSTALLDIR/$x/bin/python ./setup.py build &> build.log
echo " install"
$INSTALLDIR/$x/bin/python ./setup.py install &> install.log
echo " done"
done
编辑： 我确定了问题的可能原因。如果我在动态 Python 的安装中删除行 export LD_RUN_PATH=$INSTALLDIR/$x/lib，我的嵌入式代码就可以工作。我通过嵌入式代码打印 sys.path ，它指向正确的安装。 但是... 这样我不能直接使用安装：它加载了系统中发现的错误版本（当我打印 sys.path 我看到它指向 / usr/...）。另外，我不想设置环境变量来启动 Python，因为我在同一台机器上使用多个版本的 Python。
编辑： 保留我的默认安装脚本 Python，我通过在编译 C++ 示例时在选项中添加 -rdynamic 来解决问题。但是我不太明白这个选项是什么，它会造成什么样的灾难...
如果我理解正确，您想 运行 静态链接版本，同时将 Python 主页设置为动态链接版本。这行不通。
发生了什么：当您 运行 静态链接库的 Py_Initialize() 时，它会在某个时候尝试导入 _locale 模块。因为您将 Python 主页设置为动态链接版本，它将加载 $INSTALLDIR/dynamic/lib/python2.7/lib-dynload/_locale.so。该库动态链接到 $INSTALLDIR/dynamic/lib/libpython2.7.so.1.0。现在你得到了两份解释器。第一个副本是静态链接的副本，正在初始化。第二个副本未初始化。当动态模块导入机制尝试初始化 _locale 模块时，它失败了，因为 _locale 的初始化函数引用了第二个完全未初始化的解释器。
您尝试此操作的原因是什么？如果您首先告诉我们您想解决的问题，我们也许可以帮助您。
编辑：（我是在第一次编辑后写的，到目前为止我还没有尝试 -rdynamic 会发生什么）：
当您不设置 LD_RUN_PATH 时，$INSTALLDIR/dynamic/lib/python2.7/lib-dynload/_locale.so 将动态链接到系统的 libpython2.7.so。您没有看到错误的原因是导入 _locale 模块失败并出现 ImportError（而不是段错误），但此 ImportError 在解释器初始化期间被捕获（而以前无法捕获段错误）。但是，如果您尝试在嵌入式解释器中导入 _locale（或任何其他扩展模块，例如 _struct），您会收到如下错误：
Traceback (most recent call last):
File "<string>", line 1, in <module>
ImportError: $INSTALLDIR/dynamic/lib/python2.7/lib-dynload/_locale.so: undefined symbol: PyUnicodeUCS2_FromObject
编辑： 当针对静态 Python 版本编译 hello.cpp 时，通常像 _PyThreadState_Current 这样的大多数符号不会在动态符号 table。这就是为什么你最终得到如上所述的 "two copies of the interpreter" 和段错误。但是，当传递 -rdynamic 时，这些符号最终出现在动态符号 table 中，因此现在来自 "dynamic" 构建的 _locale.so 的模块初始化函数引用 _PyThreadState_Current "static" 构建。不过，我仍然不相信您尝试做的事情（使用链接到 "static" 构建和 "dynamic" 构建的 Python 主目录的程序）是个好主意。 ;)