AWS EMR：Zeppelin 从 python 2.7 获取 numpy 版本而不是更高版本

Question

我的 EMR (5.26.0) 集群上有 python 2.7（默认）和 python 3.6，下面是我的 bootstrap 脚本。我正在安装 numpy 版本 1.18.5，我可以在 bootstrap 日志中看到它正在安装。然而，在 python3 包中，我看到它正在选择来自 Python 2.7 的 numpy 1.14.5。如果您看到下面的屏幕截图，我可以看到版本 1.18.5 dist。 python packages 目录中的文件，但二进制文件用于但实际的 numpy 版本具有 1.14.5.

的文件

我正在使用 zeppelin notebook 并通过设置以下变量更改了我的解释器 python 和 pyspark 属性以使用 python 3 但

PYSPARK_PYTHON = '/usr/bin/python3'
PYSPARK_DRIVER_PYTHON = '/usr/bin/python3'

# In zeppelin interpretor
zeppelin.pyspark.python='/usr/bin/python3'

#!/usr/bin/env bash
python3 -m pip uninstall botocore --user
python3 -m pip uninstall boto3 --user


sudo python3 -m pip install --upgrade pip

sudo python3 -m pip install botocore==1.13.38 --user

sudo python3 -m pip install h5py 
sudo python3 -m pip install keras==2.3.0 
sudo python3 -m pip install keras_applications==1.0.8 --no-deps
sudo python3 -m pip install keras_preprocessing==1.1.2 --no-deps

sudo python3 -m pip install tqdm 

sudo python3 -m pip install s3fs 
sudp python3 -m pip install ipaddress==1.0.23 
sudo python3 -m pip install netaddr==0.7.19 

sudo python3 -m pip install matplotlib

sudo python3 -m pip install pyarrow
sudo python3 -m pip install boto3
sudo python3 -m pip install torch==1.6.0
sudo python3 -m pip install --upgrade scipy==1.4.1
sudo python3 -m pip install torchvision
sudo python3 -m pip install pydot
sudo python3 -m pip install xlrd
sudo python3 -m pip install xlwt
sudo python3 -m pip install pandas
sudo python3 -m pip install scikit-learn
sudo python3 -m pip install scikit-multilearn 
sudo python3 -m pip install wrapt==1.12.0
sudo python3 -m pip install tensorflow==2.3.0
sudo python3 -m pip install tensorflow-gpu==2.0.0
sudo python3 -m pip install numpy==1.18.5

此外，当我列出包时，我看到它列出 1.18.5 但是 numpy 版本命令显示 1.14.5.

如何强制Python选择更高版本的numpy？

Answer 1

终于让它与 emr-5.31.0 及以下 bootstrap 配置一起工作，5.31+ 默认为 Python 3 和 numpy 1.16.5，即使 python 2 存在于环境。所以我得到了默认的更高版本的 numpy，它解决了我的交叉依赖问题。


sudo python3 -m pip install h5py==2.10.0
sudo python3 -m pip install keras==2.3.1
sudo python3 -m pip install keras_applications==1.0.8 --no-deps
sudo python3 -m pip install keras_preprocessing==1.1.0 --no-deps

sudo python3 -m pip install tqdm==4.40.0

sudo python3 -m pip install s3fs 
sudo python3 -m pip install ipaddress==1.0.23
sudo python3 -m pip install netaddr==0.7.19 

sudo python3 -m pip install matplotlib

sudo python3 -m pip install pyarrow==0.12.1
sudo python3 -m pip install boto3
sudo python3 -m pip install torch==1.6.0
sudo python3 -m pip install --upgrade scipy==1.4.1
sudo python3 -m pip install torchvision
sudo python3 -m pip install pydot==1.4.1
sudo python3 -m pip install xlrd
sudo python3 -m pip install xlwt
sudo python3 -m pip install pandas==1.2.0
sudo python3 -m pip install scikit-learn
sudo python3 -m pip install scikit-multilearn 
sudo python3 -m pip install wrapt==1.12.0
sudo python3 -m pip install tensorboard==2.1.0
sudo python3 -m pip install tensorflow==2.1.0
sudo python3 -m pip install tensorflow-estimator==2.1.0

AWS EMR：Zeppelin 从 python 2.7 获取 numpy 版本而不是更高版本

AWS EMR: Zeppelin taking numpy version from python 2.7 instead of higher version

numpy

pip

amazon-emr

apache-zeppelin