centos 7上的cudf安装问题
cudf instllation issue on centos7
我是 Rapids AI 库的新手。我有一个现有的 conda 环境 yaml 文件,我正在使用 python 3.8.5、tensorflow 2.7.0、opencv-python-headless 4.5.5.62、numpy 1.22.2、pandas 1.4.1,pandas-分析 3.1.0,seaborn 0.11.2,matplotlib 3.5.1,jupyterlab 3.2.9。
我已将以下 2 个频道添加到文件中:
- 急速赛
- 英伟达
以及以下软件包:
- cudf=22.02
- cudatoolkit=11.5
安装进行了几个小时,在尝试查找不兼容的软件包时,它似乎处于某种循环中,因为我在终端中多次看到以下消息:
发现冲突!寻找不兼容的包。
有什么我应该注意的 issue/limitations 吗?
由于我们无法在 GPU h/w 上轻松实现交互 shell,我正在尝试在非 GPU 机器上更新 conda 环境,安装后,我将尝试 cudf 包GPU机器。
编辑1:
这就是我在没有 tensorflow 和 tensorflow-hub
的情况下工作的结果
name: cudf-env
channels:
- default
- rmg
- rapidsai
- nvidia
- numba
- conda-forge
- anaconda
dependencies:
- glibc=2.19
- libgcc-ng=11.2.0
- python=3.8.5
- cudf=22.02
- cudatoolkit=11.2
- pytest=6.1.2
- pandas=1.3.5
- numpy=1.21.5
- requests=2.25.0
- scikit-learn=0.24.2
- dill=0.3.4
- tqdm=4.62.3
- ruamel.yaml=0.17.19
- yappi=1.3.3
- black=22.1.0
- pillow=9.0.1
- jupyterlab=3.2.9
- matplotlib=3.5.1
- seaborn=0.11.2
- plotly=5.6.0
- pandas-profiling=3.1.0
- black=22.1.0
# - pip
# - pip:
# - tensorflow==2.7.0
# - tensorflow-hub==0.12.0
# - opencv-python-headless==4.5.5.62
# - opencv-contrib-python-headless==4.5.5.62
现在,如果我取消注释 pip 部分,anaconda 在创建环境时会崩溃。由于 cudf 可能不支持 pip,我也尝试了以下操作,conda create env
在解决环境时挂起(奇怪的是,它不是从 conda-forge 通道解析的):
name: cudf-env
channels:
- default
- rmg
- rapidsai
- nvidia
- numba
- conda-forge
- anaconda
dependencies:
- glibc=2.19
- libgcc-ng=11.2.0
- python=3.8.5
- cudf=22.02
- cudatoolkit=11.2
- pytest=6.1.2
- pandas=1.3.5
- numpy=1.21.5
- requests=2.25.0
- scikit-learn=0.24.2
- dill=0.3.4
- tqdm=4.62.3
- ruamel.yaml=0.17.19
- yappi=1.3.3
- black=22.1.0
- pillow=9.0.1
- jupyterlab=3.2.9
- matplotlib=3.5.1
- seaborn=0.11.2
- plotly=5.6.0
- pandas-profiling=3.1.0
- black=22.1.0
- tensorflow
- tensorflow-hub
我的系统详细信息如下:
$ cat /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"
$ uname -r
3.10.0-1127.10.1.el7.x86_64
EDIT2:我忘了说,如果我注释掉 glibc、cudf 和 cudatoolkit,通过 pip 安装的 tensorflow 工作正常。
更新 conda 环境的挑战可能很难解决,但在这种情况下,问题(就 cuDF 而言)可能是 pandas 固定到 1.4.1。
cuDF 尚不支持 pandas=1.4.1
。 cuDF 每晚包目前支持 pandas >=1.0,<1.4.0dev0
(从 1.0 到 1.4.0 的开发版本的所有内容)。目前,如果你切换到
pandas=1.3.5
一切正常(假设其他软件包兼容——Tensorflow 可能需要 CUDA Toolkit 11.2,而不是 11.5,而其他一些可能也不需要)。也可以让conda求解合适的pandas版本。
在将我的机器重新映像到 Ubuntu20.04 后,我终于能够完成 cudf 以及所有必需软件包的安装。
我和 Ubuntu20.04 一样减少了 2 个包,我不需要那些 -
- glibc=2.19
- libgcc-ng=11.2.0
我是 Rapids AI 库的新手。我有一个现有的 conda 环境 yaml 文件,我正在使用 python 3.8.5、tensorflow 2.7.0、opencv-python-headless 4.5.5.62、numpy 1.22.2、pandas 1.4.1,pandas-分析 3.1.0,seaborn 0.11.2,matplotlib 3.5.1,jupyterlab 3.2.9。
我已将以下 2 个频道添加到文件中:
- 急速赛
- 英伟达
以及以下软件包:
- cudf=22.02
- cudatoolkit=11.5
安装进行了几个小时,在尝试查找不兼容的软件包时,它似乎处于某种循环中,因为我在终端中多次看到以下消息:
发现冲突!寻找不兼容的包。
有什么我应该注意的 issue/limitations 吗?
由于我们无法在 GPU h/w 上轻松实现交互 shell,我正在尝试在非 GPU 机器上更新 conda 环境,安装后,我将尝试 cudf 包GPU机器。
编辑1: 这就是我在没有 tensorflow 和 tensorflow-hub
的情况下工作的结果 name: cudf-env
channels:
- default
- rmg
- rapidsai
- nvidia
- numba
- conda-forge
- anaconda
dependencies:
- glibc=2.19
- libgcc-ng=11.2.0
- python=3.8.5
- cudf=22.02
- cudatoolkit=11.2
- pytest=6.1.2
- pandas=1.3.5
- numpy=1.21.5
- requests=2.25.0
- scikit-learn=0.24.2
- dill=0.3.4
- tqdm=4.62.3
- ruamel.yaml=0.17.19
- yappi=1.3.3
- black=22.1.0
- pillow=9.0.1
- jupyterlab=3.2.9
- matplotlib=3.5.1
- seaborn=0.11.2
- plotly=5.6.0
- pandas-profiling=3.1.0
- black=22.1.0
# - pip
# - pip:
# - tensorflow==2.7.0
# - tensorflow-hub==0.12.0
# - opencv-python-headless==4.5.5.62
# - opencv-contrib-python-headless==4.5.5.62
现在,如果我取消注释 pip 部分,anaconda 在创建环境时会崩溃。由于 cudf 可能不支持 pip,我也尝试了以下操作,conda create env
在解决环境时挂起(奇怪的是,它不是从 conda-forge 通道解析的):
name: cudf-env
channels:
- default
- rmg
- rapidsai
- nvidia
- numba
- conda-forge
- anaconda
dependencies:
- glibc=2.19
- libgcc-ng=11.2.0
- python=3.8.5
- cudf=22.02
- cudatoolkit=11.2
- pytest=6.1.2
- pandas=1.3.5
- numpy=1.21.5
- requests=2.25.0
- scikit-learn=0.24.2
- dill=0.3.4
- tqdm=4.62.3
- ruamel.yaml=0.17.19
- yappi=1.3.3
- black=22.1.0
- pillow=9.0.1
- jupyterlab=3.2.9
- matplotlib=3.5.1
- seaborn=0.11.2
- plotly=5.6.0
- pandas-profiling=3.1.0
- black=22.1.0
- tensorflow
- tensorflow-hub
我的系统详细信息如下:
$ cat /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"
$ uname -r
3.10.0-1127.10.1.el7.x86_64
EDIT2:我忘了说,如果我注释掉 glibc、cudf 和 cudatoolkit,通过 pip 安装的 tensorflow 工作正常。
更新 conda 环境的挑战可能很难解决,但在这种情况下,问题(就 cuDF 而言)可能是 pandas 固定到 1.4.1。
cuDF 尚不支持 pandas=1.4.1
。 cuDF 每晚包目前支持 pandas >=1.0,<1.4.0dev0
(从 1.0 到 1.4.0 的开发版本的所有内容)。目前,如果你切换到
pandas=1.3.5
一切正常(假设其他软件包兼容——Tensorflow 可能需要 CUDA Toolkit 11.2,而不是 11.5,而其他一些可能也不需要)。也可以让conda求解合适的pandas版本。
在将我的机器重新映像到 Ubuntu20.04 后,我终于能够完成 cudf 以及所有必需软件包的安装。
我和 Ubuntu20.04 一样减少了 2 个包,我不需要那些 -
- glibc=2.19
- libgcc-ng=11.2.0