在 Windows 10 上使用 f2py 和 Python 3.6 编译 fortran 模块

Question

我正在尝试（但失败了）在 Windows 10 上使用 f2py 和 Python 3.6 编译 Fortran 模块（特别是来自 BGS 的 igrf12.f）。 Python 是使用 Anaconda 4.4.10 安装的。

我的设置：

Python 3.6.3 |Anaconda 自定义（64 位）| （默认，2017 年 10 月 15 日， 03:27:45) [MSC v.1900 64 位 (AMD64)] 在 win32
Windows 10 个企业（版本 1703）
NumPy 1.14.0

我按照 Dr.Michael Hirsch 的 SciPy documentation and a very helpful guide 的 f2py 说明进行了操作。 Dr.Hirsch 已经创建了 pyigrf12 模块，但是通过 pip 安装对我来说失败了，这最初激发了我对 f2py 的兴趣。

我将概述我正在使用的一些方法。无论使用哪种方法，我总是首先使用 f2py igrf12.f -m pyigrf12 -h igrf12.pyf 创建一个 *.pyf 签名文件并适当地添加 intent(in/out) 属性。

方法 1：使用 C:\MinGW 和 --compiler=mingw32
方法 2：使用 C:\MinGW 和 --compiler=msvc
方法三：使用anaconda版本的mingw和--compiler=mingw32
方法四：使用anaconda版本的mingw和--compiler=msvc

方法一：

作为背景，我在 C:\MinGW 中安装了 MinGW，并且已将 C:\MinGW\bin 添加到我的用户路径中。不幸的是，我没有安装这个版本的 MinGW（我从同事那里继承了这台电脑），所以我不知道它的来源。 gcc --version 和 gfortran --version 是 5.3.0.

我运行f2py -c igrf12.pyf igrf12.f --compiler=mingw32。失败并显示此错误消息：

Building import library (arch=AMD64):
"C:\Users\Sholes\AppData\Local\Continuum\anaconda3\libs\libpython36.a" 
(from C:\Users\Sholes\AppData\Local\Continuum\anaconda3\python36.dll)
    objdump.exe: C:\Users\Sholes\AppData\Local\Continuum\anaconda3\python36.dll: File format not recognized

Traceback (most recent call last):
  File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\Scripts\f2py.py", line 28, in <module>
    main()
  File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\site-packages\numpy\f2py\f2py2e.py", line 648, in main
    run_compile()
  File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\site-packages\numpy\f2py\f2py2e.py", line 633, in run_compile
    setup(ext_modules=[ext])
  File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\site-packages\numpy\distutils\core.py", line 169, in setup
    return old_setup(**new_attr)
  File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\distutils\core.py", line 148, in setup
    dist.run_commands()
  File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\distutils\dist.py", line 955, in run_commands
    self.run_command(cmd)
  File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\distutils\dist.py", line 974, in run_command
    cmd_obj.run()
  File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\site-packages\numpy\distutils\command\build.py", line 47, in run
    old_build.run(self)
  File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\distutils\command\build.py", line 135, in run
    self.run_command(cmd_name)
  File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\distutils\cmd.py", line 313, in run_command
    self.distribution.run_command(command)
  File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\distutils\dist.py", line 974, in run_command
    cmd_obj.run()
  File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\site-packages\numpy\distutils\command\build_ext.py", line 117, in run
    force=self.force)
  File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\site-packages\numpy\distutils\ccompiler.py", line 733, in new_compiler
    compiler = klass(None, dry_run, force)
  File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\site-packages\numpy\distutils\mingw32ccompiler.py", line 104, in __init__
    build_import_library()
  File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\site-packages\numpy\distutils\mingw32ccompiler.py", line 416, in build_import_library
    return _build_import_library_amd64()
  File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\site-packages\numpy\distutils\mingw32ccompiler.py", line 472, in _build_import_library_amd64
    generate_def(dll_file, def_file)
  File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\site-packages\numpy\distutils\mingw32ccompiler.py", line 302, in generate_def
    raise ValueError("Symbol table not found")
ValueError: Symbol table not found

问题似乎涉及从 python36.dll.

构建 libpython36.a

在快速 google 搜索后，github forum for pywafo 上的建议是使用 msvc 编译器而不是 mingw32，从而导致方法 2。

方法二： 作为背景，与我的 msvc 相关的文件正在从 C:\Program Files (x86)\Microsoft Visual Studio17\Community\VC\Tools\MSVC.10.25017\bin\HostX86\x64\ 中提取。不确定这是否有帮助。

我运行f2py -c igrf12.pyf igrf12.f --compiler=msvc。这会产生两个文件：

pyigrf12.cp36-win_amd64.pyd 在我当前的工作目录中
libigrf12.BMWM6WD5Y3O3UTOEQITBXCIICXVMBEZS.gfortran-win_amd64.dll 在 .\UNKNOWN\.libs\

当我尝试 import pyigrf12 时，首先我收到 ImportError: DLL load failed: The specified module could not be found. 使用 Dependency Walker，我收到很多错误：

但最明显的问题与 libigrf12.BMWM6WD5Y3O3UTOEQITBXCIICXVMBEZS.gfortran-win_amd64.dll 有关。我将这个 libigrf12 dll 文件移动到我当前的工作目录，旁边是 pyigrf12.cp36-win_amd64.pyd.

现在当我尝试 import pyigrf12 时，我收到 ImportError: DLL load failed: %1 is not a valid Win32 application.。一些 Whosebug 帖子似乎表明这是 32 位 dll 和 64 位 Python 之间存在冲突的问题。 任何人都可以对此提供见解吗？ 经过更多搜索，我决定尝试使用 mingw 和 libpython 的 anaconda 版本。

方法三：

I 运行 conda install mingw libpython，它安装了 mingw 4.7-1 和 libpython 2.1-py36_0。我运行 f2py -c igrf12.pyf igrf12.f --compiler=mingw32，它失败并显示以下错误消息：

Building msvcr library: 
"C:\Users\Sholes\AppData\Local\Continuum\anaconda3\libs\libvcruntime140.a" 
(from C:\Users\Sholes\AppData\Local\Continuum\anaconda3\vcruntime140.dll)
    objdump.exe: C:\Users\Sholes\AppData\Local\Continuum\anaconda3\vcruntime140.dll: File format not recognized
    Traceback (most recent call last):
      File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\Scripts\f2py.py", line 28, in <module>
        main()
      File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\site-packages\numpy\f2py\f2py2e.py", line 648, in main
        run_compile()
      File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\site-packages\numpy\f2py\f2py2e.py", line 633, in run_compile
        setup(ext_modules=[ext])
      File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\site-packages\numpy\distutils\core.py", line 169, in setup
        return old_setup(**new_attr)
      File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\distutils\core.py", line 148, in setup
        dist.run_commands()
      File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\distutils\dist.py", line 955, in run_commands
        self.run_command(cmd)
      File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\distutils\dist.py", line 974, in run_command
        cmd_obj.run()
      File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\site-packages\numpy\distutils\command\build.py", line 47, in run
        old_build.run(self)
      File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\distutils\command\build.py", line 135, in run
        self.run_command(cmd_name)
      File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\distutils\cmd.py", line 313, in run_command
        self.distribution.run_command(command)
      File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\distutils\dist.py", line 974, in run_command
        cmd_obj.run()
      File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\site-packages\numpy\distutils\command\build_ext.py", line 117, in run
        force=self.force)
      File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\site-packages\numpy\distutils\ccompiler.py", line 733, in new_compiler
        compiler = klass(None, dry_run, force)
      File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\site-packages\numpy\distutils\mingw32ccompiler.py", line 107, in __init__
        msvcr_success = build_msvcr_library()
      File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\site-packages\numpy\distutils\mingw32ccompiler.py", line 399, in build_msvcr_library
        generate_def(dll_file, def_file)
      File "C:\Users\Sholes\AppData\Local\Continuum\anaconda3\lib\site-packages\numpy\distutils\mingw32ccompiler.py", line 302, in generate_def
        raise ValueError("Symbol table not found")
    ValueError: Symbol table not found

现在问题似乎与从 vcruntime140.dll 构建 libvcruntime140.a 有关.

方法四：

我最后的尝试是运行 f2py -c igrf12.pyf igrf12.f --compiler=msvc 安装了 anaconda 版本的 mingw。对于这种情况，gfortran 失败并出现以下错误：

C:\Users\Sholes\AppData\Local\Continuum\anaconda3\Scripts\gfortran.bat -Wall -g -Wall -g -shared ..\..\..\AppData\Local\Temp\tmpugo__0q9\Release\igrf12.o -Lc:\users\sholes\appdata\local\continuum\anaconda3\mingw\lib\gcc\x86_64-w64-mingw32.7.0 -LC:\Users\Sholes\AppData\Local\Continuum\anaconda3\libs -LC:\Users\Sholes\AppData\Local\Continuum\anaconda3\PCbuild\amd64 -o C:\Users\Sholes\AppData\Local\Temp\tmpugo__0q9\Release\extra-dll\libigrf12.75XJA5DX6DTO7YIZ7X6ZHJYTRDCCYQYR.gfortran-win_amd64.dll -Wl,--allow-multiple-definition -Wl,--output-def,C:\Users\Sholes\AppData\Local\Temp\tmpugo__0q9\Release\libigrf12.75XJA5DX6DTO7YIZ7X6ZHJYTRDCCYQYR.gfortran-win_amd64.def -Wl,--export-all-symbols -Wl,--enable-auto-import -static -mlong-double-64 gfortran.exe: error: unrecognized command line option '-mlong-double-64'

此时，我只想知道是否可以使用我的设置和 f2py 创建 fortran 扩展。我没有在 Windows 上编译 C 或 fortran 扩展的任何背景，并且基于与 Python 3.6 scipy 和 Windows 上的 numpy 安装问题相关的所有问题，这似乎是一个没有简单解决方案的常见问题。

任何反馈或见解将不胜感激。

Answer 1

终于成功了。

短版：

确保为 64 位 Python 使用 64 位编译器（三次检查 mingw-w64 的构建）。对于 Windows.

上的 f2py 新手来说并不像听起来那么明显

长版：

我卸载了现有的 MinGW 副本（我怀疑它是 32 位版本），而是下载了一个特定的 64 位版本 mingw-w64 7.2.0 from sourceforge, specifically x86_64-7.2.0-release-posix-seh-rt_v5-rev1.7z. This Whosebug question 很有用。

我将 "mingw64" 文件夹解压缩并复制到我的 C: 驱动器 (C:\mingw64)。我将 C:\mingw64\bin 添加到我的用户路径。

我用 conda uninstall mingw 卸载了 MinGW 的 anaconda 版本。请注意，仅当您之前使用 conda.

安装了 MinGW 时才需要这样做

在运行宁f2py -c igrf12.pyf igrf12.f --compiler=mingw32（与[=62=相同的目录]，见Scipy Documentation如何生成*.pyf文件），pyigrf12.cp36-win_amd64.pyd是创建时没有任何错误。我终于可以 import pyigrf12 成功访问底层的 Fortran 子例程（例如 igrf12syn）。

注意，我也可以运行 f2py -c igrf12.pyf igrf12.f --compiler=msvc 成功，但是我必须手动将 libigrf12....gfortran-win_amd64.dll （在 .\UNKNOWN\.libs\ 中生成）复制并粘贴到同一目录中作为 pyigrf12.cp36-win_amd64.pyd 以避免 ImportError: DLL load failed: The specified module could not be found. 在我的问题的 方法 2 中提到。

只是为了re-iterate：确保C:\mingw64\bin被添加到你的路径中！

顺便说一句，f2py 在 macOS Sierra 和 Ubuntu 上对我来说是轻松的。如果以上仍然不适合你，我建议尝试 Linux、macOS 或 Windows 子系统 Linux.

Answer 2

我遇到了同样的问题，尤其是方法 3 的 ValueError: Symbol table not found。

是解决方案，加上 2 个小问题：

卸载所有版本的 minggw
下载 mingw64（在我的例子中：x86_64-8.1.0-posix-seh-rt_v6-rev0），安装它
将 mingw64/bin 添加到 PATH
然后用f2py -c fortran_file.F90 -m module_name --compiler=mingw32编译就可以正常运行了，可以在Python中正常导入：import module_name

但是：

您的模块应该在安装 Mingw32 的同一 windows 分区中编译。否则（mingw 在 C:\ 下，我的项目在 D:\ 下，由于相对路径未从一个分区读取到另一个分区，我收到以下错误：f2py target file 'C:\...' not generated
编译后的文件可能仍需要一些外部库。在我的例子中，mingw64\bin 中的 libquadmath-0.dll 是必需的，并且应该始终保留在 PATH 中。否则我会收到以下错误：ImportError: DLL load failed:。我最终确定了这些 dll 并将它们复制到我的项目中。

Answer 3

我遇到了同样的问题。最佳答案有很大帮助。我想添加一些关于丢失的 DLL 的评论。 Process Monitor 是帮助您找出缺少哪些 DLL 的有用工具。您只需要添加一个过滤器 python.exe 并跟踪哪些 DLL 加载失败。对我来说，缺少以下内容：

libgcc_s_seh-1.dll
libgfortran-5.dll
libquadmath-0.dll
libwinpthread-1.dll

我只需要将它们从我的 MinGW 工具链的 bin/ 目录复制到 python.exe

的同一目录

在 Windows 10 上使用 f2py 和 Python 3.6 编译 fortran 模块

Compile fortran module with f2py and Python 3.6 on Windows 10

mingw

f2py

anaconda

windows-10

python-3.6