centos 7上的cudf安装问题

cudf instllation issue on centos7

我是 Rapids AI 库的新手。我有一个现有的 conda 环境 yaml 文件,我正在使用 python 3.8.5、tensorflow 2.7.0、opencv-python-headless 4.5.5.62、numpy 1.22.2、pandas 1.4.1,pandas-分析 3.1.0,seaborn 0.11.2,matplotlib 3.5.1,jupyterlab 3.2.9。

我已将以下 2 个频道添加到文件中:

以及以下软件包:

安装进行了几个小时,在尝试查找不兼容的软件包时,它似乎处于某种循环中,因为我在终端中多次看到以下消息:

发现冲突!寻找不兼容的包。

有什么我应该注意的 issue/limitations 吗?

由于我们无法在 GPU h/w 上轻松实现交互 shell,我正在尝试在非 GPU 机器上更新 conda 环境,安装后,我将尝试 cudf 包GPU机器。

编辑1: 这就是我在没有 tensorflow 和 tensorflow-hub

的情况下工作的结果
    name: cudf-env
        channels:
          - default
          - rmg
          - rapidsai
          - nvidia
          - numba
          - conda-forge
          - anaconda
        dependencies:
          - glibc=2.19
          - libgcc-ng=11.2.0
          - python=3.8.5
          - cudf=22.02
          - cudatoolkit=11.2
          - pytest=6.1.2
          - pandas=1.3.5
          - numpy=1.21.5
          - requests=2.25.0
          - scikit-learn=0.24.2
          - dill=0.3.4
          - tqdm=4.62.3
          - ruamel.yaml=0.17.19
          - yappi=1.3.3
          - black=22.1.0
          - pillow=9.0.1
          - jupyterlab=3.2.9
          - matplotlib=3.5.1
          - seaborn=0.11.2
          - plotly=5.6.0
          - pandas-profiling=3.1.0
          - black=22.1.0
        #  - pip
        #  - pip:
        #      - tensorflow==2.7.0
        #      - tensorflow-hub==0.12.0
        #      - opencv-python-headless==4.5.5.62
        #      - opencv-contrib-python-headless==4.5.5.62

现在,如果我取消注释 pip 部分,anaconda 在创建环境时会崩溃。由于 cudf 可能不支持 pip,我也尝试了以下操作,conda create env 在解决环境时挂起(奇怪的是,它不是从 conda-forge 通道解析的):

    name: cudf-env
        channels:
          - default
          - rmg
          - rapidsai
          - nvidia
          - numba
          - conda-forge
          - anaconda
        dependencies:
          - glibc=2.19
          - libgcc-ng=11.2.0
          - python=3.8.5
          - cudf=22.02
          - cudatoolkit=11.2
          - pytest=6.1.2
          - pandas=1.3.5
          - numpy=1.21.5
          - requests=2.25.0
          - scikit-learn=0.24.2
          - dill=0.3.4
          - tqdm=4.62.3
          - ruamel.yaml=0.17.19
          - yappi=1.3.3
          - black=22.1.0
          - pillow=9.0.1
          - jupyterlab=3.2.9
          - matplotlib=3.5.1
          - seaborn=0.11.2
          - plotly=5.6.0
          - pandas-profiling=3.1.0
          - black=22.1.0
          - tensorflow
          - tensorflow-hub

我的系统详细信息如下:

$ cat /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ uname -r
3.10.0-1127.10.1.el7.x86_64

EDIT2:我忘了说,如果我注释掉 glibc、cudf 和 cudatoolkit,通过 pip 安装的 tensorflow 工作正常。

更新 conda 环境的挑战可能很难解决,但在这种情况下,问题(就 cuDF 而言)可能是 pandas 固定到 1.4.1。

cuDF 尚不支持 pandas=1.4.1。 cuDF 每晚包目前支持 pandas >=1.0,<1.4.0dev0(从 1.0 到 1.4.0 的开发版本的所有内容)。目前,如果你切换到 pandas=1.3.5 一切正常(假设其他软件包兼容——Tensorflow 可能需要 CUDA Toolkit 11.2,而不是 11.5,而其他一些可能也不需要)。也可以让conda求解合适的pandas版本。

在将我的机器重新映像到 Ubuntu20.04 后,我终于能够完成 cudf 以及所有必需软件包的安装。

我和 Ubuntu20.04 一样减少了 2 个包,我不需要那些 -

 - glibc=2.19
 - libgcc-ng=11.2.0