添加 python 包以用于 aws EMR 中的 spark
adding python packages for use in spark in aws EMR
我刚刚开始使用 AWS EMR 作为测试的一部分 - 我已经创建了一个引导文件来在我的 EMR 实例上使用 pip 安装特定的 python 包。我知道这是非常基本的事情。
bash 脚本包含
#!/bin/bash
set -e
pip install typing --user
但是，当我将 python 脚本作为一个步骤提交时，出现以下错误
Traceback (most recent call last): File "py-calculate.py", line
6, in
from typing import Iterable ImportError: No module named typing End of LogType:stdout
从外观上看，尚未安装打字包。
如我所料，没有安装打字包。我以前的方法是修改bash脚本为
#! /bin/bash
sudo pip install -U typing
出于某种原因，这个效果更好。
我刚刚开始使用 AWS EMR 作为测试的一部分 - 我已经创建了一个引导文件来在我的 EMR 实例上使用 pip 安装特定的 python 包。我知道这是非常基本的事情。 bash 脚本包含
#!/bin/bash
set -e
pip install typing --user
但是，当我将 python 脚本作为一个步骤提交时，出现以下错误
Traceback (most recent call last): File "py-calculate.py", line 6, in from typing import Iterable ImportError: No module named typing End of LogType:stdout
从外观上看，尚未安装打字包。
如我所料，没有安装打字包。我以前的方法是修改bash脚本为
#! /bin/bash
sudo pip install -U typing
出于某种原因，这个效果更好。