在 Spark 中设置执行器环境变量

Question

我正在使用 spark-defaults 分类 [http://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-spark-configure.html] 并提供以下属性:- spark.yarn.appMasterEnv.FOO = "foo" 在 yarn master 中设置环境变量。

我想知道这些变量是否也会出现在执行程序实例中？如果没有，有没有办法做到这一点？

Answer 1

由属性 spark.yarn.appMasterEnv.FOO = "foo" 设置的环境变量不会出现在执行程序实例上。

我使用以下分类在执行器和主节点上设置环境变量：

[   
  {
   "Classification": "yarn-env",
   "Properties": {},
   "Configurations": [
       {
         "Classification": "export",
         "Properties": {
             "VARIABLE_NAME": VARIABLE_VALUE,
         }
       }
   ]
 }
]

在 Spark 中设置执行器环境变量

Setting executor environment variables in Spark

environment-variables

hadoop-yarn

amazon-data-pipeline

apache-spark