火花执行器内存减少到 1/2
spark executor memory cut to 1/2
我正在做这样的火花提交
spark-submit --class com.mine.myclass --master yarn-cluster --num-executors 3 --executor-memory 4G spark-examples_2.10-1.0.jar
在网上ui，我看到确实有3个executor节点，但是每个都有2G内存。当我设置 --executor-memory 2G 时，ui 显示每个节点 1G。
如何将我的设置减少 1/2？
Web UI 的执行程序页面显示存储内存量，默认情况下等于 Java 堆的 54% (spark.storage.safetyFraction 0.9 * spark.storage.memoryFraction 0.6)
我正在做这样的火花提交 spark-submit --class com.mine.myclass --master yarn-cluster --num-executors 3 --executor-memory 4G spark-examples_2.10-1.0.jar
在网上ui，我看到确实有3个executor节点，但是每个都有2G内存。当我设置 --executor-memory 2G 时，ui 显示每个节点 1G。
如何将我的设置减少 1/2？
Web UI 的执行程序页面显示存储内存量，默认情况下等于 Java 堆的 54% (spark.storage.safetyFraction 0.9 * spark.storage.memoryFraction 0.6)