检索 virtualenv 中 Python 库的外部 C/Fortran 依赖项列表
Retrieve list of external C/Fortran dependencies for Python libraries within a virtualenv
我正在维护一个使用多个 Python 库的项目，例如 numpy、pandas 和 netcdf4，这些库具有 libhdf5、ATLAS 等依赖项、LAPACK 等。在使用 pip 安装之前，我已经通过我的系统包管理器安装了这些库。现在希望列出所有需要的依赖，包括 C/Fortran 依赖。 （当然，Python 对于 pip freeze 和 pipdeptree 来说非常简单）有什么方法可以显示正在使用哪些链接的 C/Fortran 库？如果做不到这一点，是否有任何方法可以使用 C 依赖项显示 Python 库的构建选项？
编辑：this answer 详细说明了如何为 numpy 以及可能通过 ldd 与 C 依赖的其他库执行此操作。全面推荐的方法是什么？
在 Linux 系统上，您可以让动态链接器转储各种调试信息，您可以从中收集此类信息（请参阅 ld.so(8)）。例如，我有一个名为 plot_all 的 python 程序，如果我将其调用为：
LD_DEBUG=libs plot_all 2> ld-libs-output
然后动态链接器会将其所有的库文件信息输出到文件ld-libs-output中。这将包含该文件对 运行 的每个动态库依赖项。如果进一步处理，例如：
grep "calling init" ld-libs-output | cut -f3 -d: | sort | uniq > LDLibs
您将获得在执行 python 脚本过程中加载的所有唯一库的排序列表。如果你想把它变成依赖信息，你可以使用你的分发工具将文件映射到包。在 Gentoo 上，我可以使用如下命令查询拥有这些库的包：
equery -q b -n $(cat LDLibs | grep "calling init" | cut -f3 -d: | sort | uniq) | sort | uniq
此命令的输出是所有包的排序列表，这些包至少拥有一个在我的脚本执行期间动态加载的库：
app-arch/bzip2
app-arch/lz4
app-arch/xz-utils
dev-lang/python
dev-libs/expat
dev-libs/glib
dev-libs/icu
dev-libs/libffi
dev-libs/libpcre
dev-libs/libxml2
dev-libs/openssl
dev-python/h5py
dev-python/matplotlib
dev-python/mpi4py
dev-python/numpy
dev-python/pillow
dev-python/PyQt5
dev-python/sip
dev-qt/qtcore
dev-qt/qtdbus
dev-qt/qtgui
dev-qt/qtsvg
dev-qt/qtwidgets
media-gfx/graphite2
media-libs/fontconfig
media-libs/freetype
media-libs/harfbuzz
media-libs/jpeg
media-libs/libpng
media-libs/openjpeg
media-libs/tiff
sci-libs/blas-reference
sci-libs/cblas-reference
sci-libs/hdf5
sci-libs/lapack-reference
sci-libs/szip
sys-apps/attr
sys-apps/dbus
sys-apps/hwloc
sys-apps/systemd
sys-apps/util-linux
sys-cluster/openmpi
sys-devel/gcc
sys-libs/glibc
sys-libs/libcap
sys-libs/zlib
sys-process/numactl
x11-drivers/nvidia-drivers
x11-libs/libICE
x11-libs/libpciaccess
x11-libs/libSM
x11-libs/libX11
x11-libs/libXau
x11-libs/libxcb
x11-libs/libXcursor
x11-libs/libXdmcp
x11-libs/libXext
x11-libs/libXfixes
x11-libs/libXi
x11-libs/libxkbcommon
x11-libs/libXrender
x11-libs/xcb-util
x11-libs/xcb-util-image
x11-libs/xcb-util-keysyms
x11-libs/xcb-util-renderutil
x11-libs/xcb-util-wm
这个列表非常冗长，你可以看到它引入了非常深的依赖包，远远超过了我们真正需要的和一些依赖于环境的包（例如，对 nvidia-drivers 的依赖不适用于没有 nvidia 的人显卡）。要将其变成一个有用的列表，您必须查看依赖关系图并且只依赖于顶级包，因为它们会隐式地引入它们下面的包。分析这几个包的一级依赖，都可以拉进来，最小列表为：
dev-python/h5py
dev-python/matplotlib
dev-python/pillow
sys-libs/glibc
然后我会对我的 python 包中的任何其他脚本重复此操作，并将所有信息合并到我的包的主依赖列表中。
这应该让您了解发现 python 脚本所依赖的发行包的一般工作流程。在我的例子中，python 外部的所有 C/Fortran 依赖项都由发行版 python 包引入，但此过程会发现任何其他所需的顶级包。工作流将需要修改为您的发行版工具，用于将文件与包匹配并分析依赖关系。
我正在维护一个使用多个 Python 库的项目，例如 numpy、pandas 和 netcdf4，这些库具有 libhdf5、ATLAS 等依赖项、LAPACK 等。在使用 pip 安装之前，我已经通过我的系统包管理器安装了这些库。现在希望列出所有需要的依赖，包括 C/Fortran 依赖。 （当然，Python 对于 pip freeze 和 pipdeptree 来说非常简单）有什么方法可以显示正在使用哪些链接的 C/Fortran 库？如果做不到这一点，是否有任何方法可以使用 C 依赖项显示 Python 库的构建选项？
编辑：this answer 详细说明了如何为 numpy 以及可能通过 ldd 与 C 依赖的其他库执行此操作。全面推荐的方法是什么？
在 Linux 系统上，您可以让动态链接器转储各种调试信息，您可以从中收集此类信息（请参阅 ld.so(8)）。例如，我有一个名为 plot_all 的 python 程序，如果我将其调用为：
LD_DEBUG=libs plot_all 2> ld-libs-output
然后动态链接器会将其所有的库文件信息输出到文件ld-libs-output中。这将包含该文件对 运行 的每个动态库依赖项。如果进一步处理，例如：
grep "calling init" ld-libs-output | cut -f3 -d: | sort | uniq > LDLibs
您将获得在执行 python 脚本过程中加载的所有唯一库的排序列表。如果你想把它变成依赖信息，你可以使用你的分发工具将文件映射到包。在 Gentoo 上，我可以使用如下命令查询拥有这些库的包：
equery -q b -n $(cat LDLibs | grep "calling init" | cut -f3 -d: | sort | uniq) | sort | uniq
此命令的输出是所有包的排序列表，这些包至少拥有一个在我的脚本执行期间动态加载的库：
app-arch/bzip2
app-arch/lz4
app-arch/xz-utils
dev-lang/python
dev-libs/expat
dev-libs/glib
dev-libs/icu
dev-libs/libffi
dev-libs/libpcre
dev-libs/libxml2
dev-libs/openssl
dev-python/h5py
dev-python/matplotlib
dev-python/mpi4py
dev-python/numpy
dev-python/pillow
dev-python/PyQt5
dev-python/sip
dev-qt/qtcore
dev-qt/qtdbus
dev-qt/qtgui
dev-qt/qtsvg
dev-qt/qtwidgets
media-gfx/graphite2
media-libs/fontconfig
media-libs/freetype
media-libs/harfbuzz
media-libs/jpeg
media-libs/libpng
media-libs/openjpeg
media-libs/tiff
sci-libs/blas-reference
sci-libs/cblas-reference
sci-libs/hdf5
sci-libs/lapack-reference
sci-libs/szip
sys-apps/attr
sys-apps/dbus
sys-apps/hwloc
sys-apps/systemd
sys-apps/util-linux
sys-cluster/openmpi
sys-devel/gcc
sys-libs/glibc
sys-libs/libcap
sys-libs/zlib
sys-process/numactl
x11-drivers/nvidia-drivers
x11-libs/libICE
x11-libs/libpciaccess
x11-libs/libSM
x11-libs/libX11
x11-libs/libXau
x11-libs/libxcb
x11-libs/libXcursor
x11-libs/libXdmcp
x11-libs/libXext
x11-libs/libXfixes
x11-libs/libXi
x11-libs/libxkbcommon
x11-libs/libXrender
x11-libs/xcb-util
x11-libs/xcb-util-image
x11-libs/xcb-util-keysyms
x11-libs/xcb-util-renderutil
x11-libs/xcb-util-wm
这个列表非常冗长，你可以看到它引入了非常深的依赖包，远远超过了我们真正需要的和一些依赖于环境的包（例如，对 nvidia-drivers 的依赖不适用于没有 nvidia 的人显卡）。要将其变成一个有用的列表，您必须查看依赖关系图并且只依赖于顶级包，因为它们会隐式地引入它们下面的包。分析这几个包的一级依赖，都可以拉进来，最小列表为：
dev-python/h5py
dev-python/matplotlib
dev-python/pillow
sys-libs/glibc
然后我会对我的 python 包中的任何其他脚本重复此操作，并将所有信息合并到我的包的主依赖列表中。
这应该让您了解发现 python 脚本所依赖的发行包的一般工作流程。在我的例子中，python 外部的所有 C/Fortran 依赖项都由发行版 python 包引入，但此过程会发现任何其他所需的顶级包。工作流将需要修改为您的发行版工具，用于将文件与包匹配并分析依赖关系。