如何在 EMR 上为 Spark/Zeppelin 设置 spark.driver.memory

Question

使用 EMR（与 Spark、Zeppelin）时，在 Zeppelin Spark 解释器设置中更改 spark.driver.memory 将不起作用。

我想知道在使用 EMR Web 界面（不是 aws CLI）创建集群时设置 Spark 驱动程序内存的最佳和最快的方法是什么？

Bootstrap行动可以解决吗？如果是，能否提供一个示例，说明 bootstrap 操作文件应该是什么样子？

Answer 1

您始终可以尝试在创建作业 flow/cluster 时添加以下配置：

[
    {
        "Classification": "spark-defaults",
        "Properties": {
            "spark.driver.memory": "12G"
        }
    }
]

无论是 spark-default、hadoop core-site 等，您都可以执行大多数配置

希望对您有所帮助！

How to set spark.driver.memory for Spark/Zeppelin on EMR