无法让 pip install 在 EMR 集群上工作

Question

我有一个 EMR (emr-5.30.0) 集群，我试图从 S3 中的 bootstrap 文件开始。 bootstrap 文件的内容是：

#!/bin/bash
sudo pip3 install --user \
     matplotlib \
     pandas \
     pyarrow \
     pyspark

我的 stderr 文件中的错误是：

WARNING: Running pip install with root privileges is generally not a good idea. Try `pip3 install --user` instead.
Command "python setup.py egg_info" failed with error code 1 in /mnt/tmp/pip-build-br9bn1h3/pyspark/

看起来很简单...不知道发生了什么。任何帮助表示赞赏。

编辑：

尝试了@Dennis Traub 的建议并得到了同样的错误。新 EMR bootstrap 如下所示：

#!/bin/bash
sudo pip3 install --upgrade setuptools
sudo pip3 install --user matplotlib pandas pyarrow pyspark

Answer 1

您的安装工具版本可能已过时。尝试以下脚本：

#!/bin/bash
sudo pip3 install --upgrade setuptools
sudo pip3 install --user matplotlib pandas pyarrow pyspark

Answer 2

#!/bin/bash

sudo python3 -m pip install matplotlib pandas pyarrow

请勿安装 pyspark。它应该已经存在于具有所需配置的 EMR 中。安装可能会出现问题。

无法让 pip install 在 EMR 集群上工作

Can't get pip install to work on EMR cluster

amazon-web-services

amazon-emr

apache-spark

pyspark