spark 关闭动态分配
spark turn off dynamic allocation
我想确保我的 spark 作业占用的内存不会超过我传递的内存，假设 400GB 是作业可以使用的最大值，根据我的理解关闭动态分配 (spark.dynamicAllocation.enabled = false ) 并传递 --num-executors --executor-memory --driver-memory 在 Cloudera 堆栈中完成工作？错了就改
我是否必须设置任何其他设置以确保 spark 作业不会超出限制。
在我的工作中找到了一个解决方案 Cloudera 集群有一个特殊的 yarn 参数，它不会让作业超过必须关闭或重置的特定限制。
https://community.cloudera.com/t5/Support-Questions/Yarn-memory-allocation-utilization/td-p/216290
我想确保我的 spark 作业占用的内存不会超过我传递的内存，假设 400GB 是作业可以使用的最大值，根据我的理解关闭动态分配 (spark.dynamicAllocation.enabled = false ) 并传递 --num-executors --executor-memory --driver-memory 在 Cloudera 堆栈中完成工作？错了就改
我是否必须设置任何其他设置以确保 spark 作业不会超出限制。
在我的工作中找到了一个解决方案 Cloudera 集群有一个特殊的 yarn 参数，它不会让作业超过必须关闭或重置的特定限制。
https://community.cloudera.com/t5/Support-Questions/Yarn-memory-allocation-utilization/td-p/216290