aws emr 无法在 bootstrap 上更改默认的 pyspark python

Question

我正在将 aws 与 emr 一起使用，并尝试更改为 bootstrap 脚本以便将 pyspark 中的默认 python 设置为 python 3，我正在关注 this教程

这正在更改 /usr/lib/spark/conf/spark-env.sh 文件，但不会更改 pyspark 中的 python 版本，我仍在使用 python 2.7 完成工作。这仅在我通过 ssh 连接到机器并专门使用

时有效

$source /usr/lib/spark/conf/spark-env.ssh

当我尝试将此行添加到 bootstrap 脚本时，出现 bootstrap 错误，指出找不到文件。

/bin/bash: /usr/lib/spark/conf/spark-env.sh: No such file or directory

我假设该文件在此阶段不存在。如何在 bootstrap 脚本中将 pyspark python 设置为 python 3？

Answer 1

在软件配置中添加如下代码（创建emr -> step1：软件和步骤 -> 编辑软件配置 -> 进入配置）

[
  {
     "Classification": "spark-env",
     "Configurations": [
       {
         "Classification": "export",
         "Properties": {
            "PYSPARK_PYTHON": "/usr/bin/python3"
          }
       }
    ]
  }
]

aws emr 无法在 bootstrap 上更改默认的 pyspark python

aws emr can't change default pyspark python on bootstrap

python-3.x

amazon-web-services

apache-spark

pyspark

amazon-emr