spark.python.worker.memory 与 spark.executor.memory 有什么关系?
How does spark.python.worker.memory relate to spark.executor.memory?
This diagram 非常清楚不同 YARN 和 Spark 内存相关设置之间的关系,除了 spark.python.worker.memory
.
spark.python.worker.memory
如何适应这种内存模型?
Python 进程是由 spark.executor.memory
或 yarn.nodemanager.resource.memory-mb
管理的吗?
更新
解释了设置的作用,但没有回答有关内存管理的问题,或者它与其他内存设置的关系。
Found this thread 来自 Apache-spark 邮件列表,spark.python.worker.memory 似乎是 spark.executor.memory 的内存子集。
来自线程:"spark.python.worker.memory is used for Python worker in executor"
This diagram 非常清楚不同 YARN 和 Spark 内存相关设置之间的关系,除了 spark.python.worker.memory
.
spark.python.worker.memory
如何适应这种内存模型?
Python 进程是由 spark.executor.memory
或 yarn.nodemanager.resource.memory-mb
管理的吗?
更新
Found this thread 来自 Apache-spark 邮件列表,spark.python.worker.memory 似乎是 spark.executor.memory 的内存子集。
来自线程:"spark.python.worker.memory is used for Python worker in executor"