在运行 spark-shell 之前编辑 spark-env.sh 的正确方法是什么？

Question

我在本地 windows 机器上运行 spark。我能够成功启动 spark shell。

我想编辑 conf/ 文件夹中的 spark-env.sh 文件。向 spark-env.sh 文件添加值的正确方法是什么。

例如，如果我想给 SPARK_EXECUTOR_MEMORY 变量增加值怎么办？我对可用的不同答案感到困惑 1. SPARK_EXECUTOR_MEMORY="2G" 2. 导出

Answer 1

您必须使用 export 在 *.sh 文件中添加任何配置。所以在 spark-env.sh 文件中使用下面的例子，

export SPARK_MASTER_IP=192.165.5.1
export SPARK_EXECUTOR_MEMORY=2g
#OR export SPARK_EXECUTOR_MEMORY=2G

不需要对值使用双引号。

Answer 2

spark-env.sh 是用于 Unix 的常规 bash 脚本，因此在 Windows 安装中它永远不会被拾取。

在 Windows 上，您需要在 conf 目录中有一个 spark-env.cmd 文件，并改为使用以下语法：

set SPARK_EXECUTOR_MEMORY=2G

在 Unix 上，该文件将被称为 spark-env.sh，您需要在每个属性前添加 export（例如：export SPARK_EXECUTOR_MEMORY=2G)

What is the right way to edit spark-env.sh before running spark-shell?