Cloudera 5.6 spark memoryFraction 设置

Question

我有一个带有 5.6 CDM（管理器）的 CDH 5.6 集群。我不确定在哪里可以设置 spark 的 memoryfaction 设置 -

spark.storage.memoryFaction
spark.shuffle.memoryFaction

尝试不同的设置并查看示例应用程序的性能。

Answer 1

创建 spark 上下文时：

  sparkContext = {
    val conf = new SparkConf()
      .setAppName("Appname")
      .set("spark.storage.memoryFaction", "someval")
    new SparkContext(conf)
  }

或者在执行 spark-submit 时，添加：

 --conf spark.storage.memoryFaction=1

Cloudera 5.6 spark memoryFraction 设置

Cloudera 5.6 spark memoryFraction settings

cloudera

apache-spark