配置执行器内存和每个工作节点的执行器数量
Configuring Executor memory and number of executors per Worker node
如何在Spark集群中配置Executor的内存。另外，如何配置每个工作节点的执行程序数量？
有什么方法可以知道有多少执行程序的内存可以用来缓存或持久化新的 RDD。
配置 Spark 执行器内存 - 在提交作业时使用参数 spark.executor.memory 或密钥 --executor-memory
配置每个节点的执行程序数量取决于您为 Spark 使用的调度程序。在 YARN 和 Mesos 的情况下，你无法控制它，你可以只设置执行者的数量。对于 Spark Standalone 集群，您可以调整 SPARK_WORKER_INSTANCES 参数
您可以在Spark驱动的WebUI中查看空闲内存量。请参阅此处 How to set Apache Spark Executor memory 了解为什么这不等于您设置的总执行程序内存
如何在Spark集群中配置Executor的内存。另外，如何配置每个工作节点的执行程序数量？
有什么方法可以知道有多少执行程序的内存可以用来缓存或持久化新的 RDD。
配置 Spark 执行器内存 - 在提交作业时使用参数 spark.executor.memory 或密钥 --executor-memory
配置每个节点的执行程序数量取决于您为 Spark 使用的调度程序。在 YARN 和 Mesos 的情况下，你无法控制它，你可以只设置执行者的数量。对于 Spark Standalone 集群，您可以调整 SPARK_WORKER_INSTANCES 参数
您可以在Spark驱动的WebUI中查看空闲内存量。请参阅此处 How to set Apache Spark Executor memory 了解为什么这不等于您设置的总执行程序内存