如何在 python (anaconda) 中使用旧版本的 GLIBC?
How to use an older version of GLIBC in python (anaconda)?
我是 运行 一个 python 脚本,它在集群上提交一个 pyspark 作业。但是,作业因 GLIBC 问题而失败。
Log Contents:
dev-env/bin/python: /lib64/libc.so.6: version 'GLIBC_2.14' not found (required by dev-env/bin/python)
dev-env/bin/python: /lib64/libc.so.6: version 'GLIBC_2.17' not found (required by dev-env/bin/python)
我认为问题在于我机器上的 GLIBC 版本是 2.17。 pyspark 集群上的 GLIBC 版本是 2.10。我通过打开 python 和 运行 命令
获得了这个
>>> import platform
>>> platform.libc_ver()
('glibc', '2.17') # This is my machine
IMO 解决此问题的一种方法是确保 python 在我的机器上使用 GLIBC 2.10。但是,我不知道该怎么做。我正在使用 anaconda 创建 python 虚拟环境。我该如何处理?
How to use an older version of GLIBC in python (anaconda)?
您的问题不是您的pyspark
在您的机器上使用 GLIBC-2.17。您的问题是您的 pyspark
是针对 GLIBC-2.17(或更高版本)构建的。
您需要下载另一个版本的 pyspark
,一个适合 运行ning 在 GLIBC-2.10 机器上的版本。这样的版本 运行 可以在 GLIBC-2.10 和所有更高版本.
上运行
我是 运行 一个 python 脚本,它在集群上提交一个 pyspark 作业。但是,作业因 GLIBC 问题而失败。
Log Contents:
dev-env/bin/python: /lib64/libc.so.6: version 'GLIBC_2.14' not found (required by dev-env/bin/python)
dev-env/bin/python: /lib64/libc.so.6: version 'GLIBC_2.17' not found (required by dev-env/bin/python)
我认为问题在于我机器上的 GLIBC 版本是 2.17。 pyspark 集群上的 GLIBC 版本是 2.10。我通过打开 python 和 运行 命令
获得了这个>>> import platform
>>> platform.libc_ver()
('glibc', '2.17') # This is my machine
IMO 解决此问题的一种方法是确保 python 在我的机器上使用 GLIBC 2.10。但是,我不知道该怎么做。我正在使用 anaconda 创建 python 虚拟环境。我该如何处理?
How to use an older version of GLIBC in python (anaconda)?
您的问题不是您的pyspark
在您的机器上使用 GLIBC-2.17。您的问题是您的 pyspark
是针对 GLIBC-2.17(或更高版本)构建的。
您需要下载另一个版本的 pyspark
,一个适合 运行ning 在 GLIBC-2.10 机器上的版本。这样的版本 运行 可以在 GLIBC-2.10 和所有更高版本.