Dataproc 集群属性（核心、内存和内存开销）设置

Question

我是 dataproc 和 PySpark 的新手。我创建了一个具有以下配置的集群：

gcloud beta dataproc clusters create $CLUSTER_NAME  \
    --zone $ZONE \
    --region $REGION \
    --master-machine-type n1-standard-4 \
    --master-boot-disk-size 500 \
    --worker-machine-type n1-standard-4 \
    --worker-boot-disk-size 500 \
    --num-workers 3 \
    --bucket $GCS_BUCKET \
    --image-version 1.4-ubuntu18 \
    --optional-components=ANACONDA,JUPYTER \
    --subnet=default \
    --enable-component-gateway \
    --scopes 'https://www.googleapis.com/auth/cloud-platform' \
    --properties ${PROPERTIES}

这里是我目前使用的属性设置，这些设置基于我在互联网上获得的信息。

PROPERTIES="\
spark:spark.executor.cores=2,\
spark:spark.executor.memory=8g,\
spark:spark.executor.memoryOverhead=2g,\
spark:spark.driver.memory=6g,\
spark:spark.driver.maxResultSize=6g,\
spark:spark.kryoserializer.buffer=128m,\
spark:spark.kryoserializer.buffer.max=1024m,\
spark:spark.serializer=org.apache.spark.serializer.KryoSerializer,\
spark:spark.default.parallelism=512,\
spark:spark.rdd.compress=true,\
spark:spark.network.timeout=10000000,\
spark:spark.executor.heartbeatInterval=10000000,\
spark:spark.rpc.message.maxSize=256,\
spark:spark.io.compression.codec=snappy,\
spark:spark.shuffle.service.enabled=true,\
spark:spark.sql.shuffle.partitions=256,\
spark:spark.sql.files.ignoreCorruptFiles=true,\
yarn:yarn.nodemanager.resource.cpu-vcores=8,\
yarn:yarn.scheduler.minimum-allocation-vcores=2,\
yarn:yarn.scheduler.maximum-allocation-vcores=4,\
yarn:yarn.nodemanager.vmem-check-enabled=false,\
capacity-scheduler:yarn.scheduler.capacity.resource-calculator=org.apache.hadoop.yarn.util.resource.DominantResourceCalculator
  "

我想了解这是否是我集群的正确属性设置，如果不是，我如何为这些属性分配最理想的值，特别是 [=22= 的核心、内存和 memoryOverhead ] 我的 pyspark 工作以最有效的方式进行，也因为我正面临此错误：Container exited with a non-zero exit code 143. Killed by external signal?

Answer 1

了解您正在使用的机器的配置和限制，以及如何为 spark 组件分配内存非常重要。

n1-standard-4 是具有 15GB RAM 的 4 核机器。默认情况下，机器 80% 的内存分配给 YARN 节点管理器。由于您没有明确设置它，在这种情况下它将是 12GB。

Spark Executor 和 Driver 运行在 YARN 分配的容器中。

分配给 spark 执行器的总内存是 spark.executor.memory 和 spark.executor.memory 开销的总和，在本例中为 10GB。我建议您为执行程序分配比 memoryOverhead 更多的内存，因为前者用于运行ning 任务，后者用于特殊目的。默认情况下，spark.executor.memory开销最大（384MB，0.10 * executor.memory）。

在这种情况下，每台机器只能有一个执行器（每个执行器 10GB，机器容量 15GB）。由于此配置，您未充分利用内核，因为每个执行程序仅使用 2 个内核。建议为其他 OS 进程在每台机器上保留 1 个核心，因此在此处将 executor.cores 更改为 3 可能会有所帮助。

通常建议使用默认内存配置，除非您非常了解要修改的所有属性。根据默认设置下应用程序的性能，您可以调整其他属性。还可以考虑根据应用程序的内存要求更改为不同的机器类型。

参考文献 - 1. https://mapr.com/blog/resource-allocation-configuration-spark-yarn/ 2. https://sujithjay.com/spark/with-yarn

Dataproc 集群属性（核心、内存和内存开销）设置

Dataproc cluster property(core, memory and memoryOverhead) setting

google-cloud-platform

pyspark

google-cloud-dataproc

Dataproc 集群 属性（核心、内存和内存开销）设置

Dataproc cluster property(core, memory and memoryOverhead) setting

google-cloud-platform

pyspark

google-cloud-dataproc

Dataproc 集群属性（核心、内存和内存开销）设置