如何使用 numpy 从源代码构建 pytorch
How to build pytorch from source using numpy
我正在尝试从源代码构建 pytorch v1.4.0，因为我需要它用于另一个模块。
我已经成功地从源代码构建了 pytorch，但是当我尝试 运行 预期的 python 脚本时，我得到了这个错误：
RuntimeError: PyTorch was compiled without NumPy support
所以我查了一下我做错了什么，结果发现我需要在从源代码构建 pytorch 之前安装 numpy，这就是我所做的。
我使用了命令：
pip3 install numpy==1.19.4
安装pytorch时，控制台给了我很多信息，包括构建设置。构建设置如下所示：
-- Compile definitions : ONNX_ML=1;ONNX_NAMESPACE=onnx_torch;HAVE_MMAP=1;_FILE_OFFSET_BITS=64;HAVE_SHM_OPEN=1;HAVE_SHM_UNLINK=1;HAVE_MALLOC_USABLE_SIZE=1
-- CMAKE_PREFIX_PATH : /home/elvygcp/venv/lib/python3.6/site-packages;/usr/local/cuda
-- CMAKE_INSTALL_PREFIX : /home/elvygcp/venv/pytorch-1.4.0/torch
--
-- TORCH_VERSION : 1.4.0
-- CAFFE2_VERSION : 1.4.0
-- BUILD_CAFFE2_MOBILE : ON
-- USE_STATIC_DISPATCH : OFF
-- BUILD_BINARY : OFF
-- BUILD_CUSTOM_PROTOBUF : ON
-- Link local protobuf : ON
-- BUILD_DOCS : OFF
-- BUILD_PYTHON : True
-- Python version : 3.6.9
-- Python executable : /home/elvygcp/venv/bin/python3
-- Pythonlibs version : 3.6.9
-- Python library : /usr/lib/libpython3.6m.so.1.0
-- Python includes : /usr/include/python3.6m
-- Python site-packages: lib/python3.6/site-packages
-- BUILD_CAFFE2_OPS : ON
-- BUILD_SHARED_LIBS : ON
-- BUILD_TEST : True
-- BUILD_JNI : OFF
-- INTERN_BUILD_MOBILE :
-- USE_ASAN : OFF
-- USE_CUDA : ON
-- CUDA static link : OFF
-- USE_CUDNN : OFF
-- CUDA version : 10.2
-- CUDA root directory : /usr/local/cuda
-- CUDA library : /usr/local/cuda/lib64/stubs/libcuda.so
-- cudart library : /usr/local/cuda/lib64/libcudart.so
-- cublas library : /usr/lib/x86_64-linux-gnu/libcublas.so
-- cufft library : /usr/local/cuda/lib64/libcufft.so
-- curand library : /usr/local/cuda/lib64/libcurand.so
-- nvrtc : /usr/local/cuda/lib64/libnvrtc.so
-- CUDA include path : /usr/local/cuda/include
-- NVCC executable : /usr/local/cuda/bin/nvcc
-- CUDA host compiler : /usr/bin/cc
-- USE_TENSORRT : OFF
-- USE_ROCM : OFF
-- USE_EIGEN_FOR_BLAS : ON
-- USE_FBGEMM : ON
-- USE_FFMPEG : OFF
-- USE_GFLAGS : OFF
-- USE_GLOG : OFF
-- USE_LEVELDB : OFF
-- USE_LITE_PROTO : OFF
-- USE_LMDB : OFF
-- USE_METAL : OFF
-- USE_MKL : OFF
-- USE_MKLDNN : ON
-- USE_MKLDNN_CBLAS : OFF
-- USE_NCCL : ON
-- USE_SYSTEM_NCCL : OFF
-- USE_NNPACK : ON
-- USE_NUMPY : OFF
-- USE_OBSERVERS : ON
-- USE_OPENCL : OFF
-- USE_OPENCV : OFF
-- USE_OPENMP : ON
-- USE_TBB : OFF
-- USE_PROF : OFF
-- USE_QNNPACK : ON
-- USE_REDIS : OFF
-- USE_ROCKSDB : OFF
-- USE_ZMQ : OFF
-- USE_DISTRIBUTED : ON
-- USE_MPI : OFF
-- USE_GLOO : ON
-- BUILD_NAMEDTENSOR : OFF
有两点我不明白：
行：USE_CUDNN : OFF，我觉得这很奇怪，因为我遵循了他们 github 页面中的 pytorch 构建说明，其中提到我需要 CuDNN 从源代码构建 pytorch，我的系统上安装了 CuDNN。
行：USE_NUMPY : OFF，我不知道为什么但是pytorch不识别numpy。
我的系统：
OS: Ubuntu 18.04 LTS
Cuda version: 10.2
CuDNN version: 8
python venv in Google Cloud Compute Engine VM
我如何从源代码构建 pytorch 1.4.0：
git clone --branch v1.4.0 https://github.com/pytorch/pytorch.git pytorch-1.4.0
cd pytorch-1.4.0/
git submodule update --init --recursive
sudo apt install cmake -y
sudo apt-get update
cd ../
sudo apt install python3-venv -y
python3 -m venv venv/
cd venv
source bin/activate
cd pytorch-1.4.0/
pip install pyyaml
python3 setup.py install
cd ../
git clone --branch v0.5.0 https://github.com/pytorch/vision.git torchvision-0.5.0
cd torchvision-0.5.0/
python3 setup.py install
cd ../
如果有人能告诉我如何让 pytorch 识别并使用 numpy 进行构建，我将不胜感激。
如果我需要提供更多信息，我很乐意。
好吧，我不知道解决方案是什么，因为我做了两件事：
- 我安装的是低版本的numpy，因为我的torch版本也比较旧
- 我使用以下命令清除了所有 pytorch 安装缓存：
sudo USE_ROCM=1 USE_LMDB=1 USE_OPENCV=1 MAX_JOBS=15 python3 setup.py clean
可能没有必要降级 numpy，因为我不记得在安装 numpy 并重试后是否清除了所有 pytorch 安装缓存。
现在我的安装日志包含 USE_NUMPY : ON。
不知道这是否解决了我所有的问题，构建 pytorch 需要永远，所以我只能拭目以待，但至少它解决了这个问题:)
我正在尝试从源代码构建 pytorch v1.4.0，因为我需要它用于另一个模块。 我已经成功地从源代码构建了 pytorch，但是当我尝试 运行 预期的 python 脚本时，我得到了这个错误：
RuntimeError: PyTorch was compiled without NumPy support
所以我查了一下我做错了什么，结果发现我需要在从源代码构建 pytorch 之前安装 numpy，这就是我所做的。 我使用了命令：
pip3 install numpy==1.19.4
安装pytorch时，控制台给了我很多信息，包括构建设置。构建设置如下所示：
-- Compile definitions : ONNX_ML=1;ONNX_NAMESPACE=onnx_torch;HAVE_MMAP=1;_FILE_OFFSET_BITS=64;HAVE_SHM_OPEN=1;HAVE_SHM_UNLINK=1;HAVE_MALLOC_USABLE_SIZE=1
-- CMAKE_PREFIX_PATH : /home/elvygcp/venv/lib/python3.6/site-packages;/usr/local/cuda
-- CMAKE_INSTALL_PREFIX : /home/elvygcp/venv/pytorch-1.4.0/torch
--
-- TORCH_VERSION : 1.4.0
-- CAFFE2_VERSION : 1.4.0
-- BUILD_CAFFE2_MOBILE : ON
-- USE_STATIC_DISPATCH : OFF
-- BUILD_BINARY : OFF
-- BUILD_CUSTOM_PROTOBUF : ON
-- Link local protobuf : ON
-- BUILD_DOCS : OFF
-- BUILD_PYTHON : True
-- Python version : 3.6.9
-- Python executable : /home/elvygcp/venv/bin/python3
-- Pythonlibs version : 3.6.9
-- Python library : /usr/lib/libpython3.6m.so.1.0
-- Python includes : /usr/include/python3.6m
-- Python site-packages: lib/python3.6/site-packages
-- BUILD_CAFFE2_OPS : ON
-- BUILD_SHARED_LIBS : ON
-- BUILD_TEST : True
-- BUILD_JNI : OFF
-- INTERN_BUILD_MOBILE :
-- USE_ASAN : OFF
-- USE_CUDA : ON
-- CUDA static link : OFF
-- USE_CUDNN : OFF
-- CUDA version : 10.2
-- CUDA root directory : /usr/local/cuda
-- CUDA library : /usr/local/cuda/lib64/stubs/libcuda.so
-- cudart library : /usr/local/cuda/lib64/libcudart.so
-- cublas library : /usr/lib/x86_64-linux-gnu/libcublas.so
-- cufft library : /usr/local/cuda/lib64/libcufft.so
-- curand library : /usr/local/cuda/lib64/libcurand.so
-- nvrtc : /usr/local/cuda/lib64/libnvrtc.so
-- CUDA include path : /usr/local/cuda/include
-- NVCC executable : /usr/local/cuda/bin/nvcc
-- CUDA host compiler : /usr/bin/cc
-- USE_TENSORRT : OFF
-- USE_ROCM : OFF
-- USE_EIGEN_FOR_BLAS : ON
-- USE_FBGEMM : ON
-- USE_FFMPEG : OFF
-- USE_GFLAGS : OFF
-- USE_GLOG : OFF
-- USE_LEVELDB : OFF
-- USE_LITE_PROTO : OFF
-- USE_LMDB : OFF
-- USE_METAL : OFF
-- USE_MKL : OFF
-- USE_MKLDNN : ON
-- USE_MKLDNN_CBLAS : OFF
-- USE_NCCL : ON
-- USE_SYSTEM_NCCL : OFF
-- USE_NNPACK : ON
-- USE_NUMPY : OFF
-- USE_OBSERVERS : ON
-- USE_OPENCL : OFF
-- USE_OPENCV : OFF
-- USE_OPENMP : ON
-- USE_TBB : OFF
-- USE_PROF : OFF
-- USE_QNNPACK : ON
-- USE_REDIS : OFF
-- USE_ROCKSDB : OFF
-- USE_ZMQ : OFF
-- USE_DISTRIBUTED : ON
-- USE_MPI : OFF
-- USE_GLOO : ON
-- BUILD_NAMEDTENSOR : OFF
有两点我不明白：
行：
USE_CUDNN : OFF，我觉得这很奇怪，因为我遵循了他们 github 页面中的 pytorch 构建说明，其中提到我需要 CuDNN 从源代码构建 pytorch，我的系统上安装了 CuDNN。行：
USE_NUMPY : OFF，我不知道为什么但是pytorch不识别numpy。
我的系统：
OS: Ubuntu 18.04 LTS
Cuda version: 10.2
CuDNN version: 8
python venv in Google Cloud Compute Engine VM
我如何从源代码构建 pytorch 1.4.0：
git clone --branch v1.4.0 https://github.com/pytorch/pytorch.git pytorch-1.4.0
cd pytorch-1.4.0/
git submodule update --init --recursive
sudo apt install cmake -y
sudo apt-get update
cd ../
sudo apt install python3-venv -y
python3 -m venv venv/
cd venv
source bin/activate
cd pytorch-1.4.0/
pip install pyyaml
python3 setup.py install
cd ../
git clone --branch v0.5.0 https://github.com/pytorch/vision.git torchvision-0.5.0
cd torchvision-0.5.0/
python3 setup.py install
cd ../
如果有人能告诉我如何让 pytorch 识别并使用 numpy 进行构建，我将不胜感激。 如果我需要提供更多信息，我很乐意。
好吧，我不知道解决方案是什么，因为我做了两件事：
- 我安装的是低版本的numpy，因为我的torch版本也比较旧
- 我使用以下命令清除了所有 pytorch 安装缓存：
sudo USE_ROCM=1 USE_LMDB=1 USE_OPENCV=1 MAX_JOBS=15 python3 setup.py clean
可能没有必要降级 numpy，因为我不记得在安装 numpy 并重试后是否清除了所有 pytorch 安装缓存。
现在我的安装日志包含 USE_NUMPY : ON。
不知道这是否解决了我所有的问题，构建 pytorch 需要永远，所以我只能拭目以待，但至少它解决了这个问题:)