Dataproc 对纱线使用 GC_OPTS="-XX:+UseConcMarkSweepGC" 吗？

Question

使用 dataproc，我正在探索与 spark 和 yarn 相关的不同配置，我发现 dataproc 包括 GC_OPTS="-XX:+UseConcMarkSweepGC" 作为 yarn env 的一部分。配置。

GC_OPTS="-XX:+UseConcMarkSweepGC"
# Log GC details to stdout, these will be in diagnostic tarballs.
GC_LOGGING_OPTS="-XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps -XX:+PrintGCDetails"
export YARN_TIMELINESERVER_OPTS="${GC_OPTS} ${GC_LOGGING_OPTS} ${YARN_TIMELINESERVER_OPTS}

为了将垃圾收集器设置为 CMS 收集器而不是默认选项，是否对 yarn 性能有任何特定需求？

Answer 1

在内存使用率非常高的某些情况下，stop-the-world 垃圾收集可能会触发与 ResourceManager 或 NameNode 通信的守护进程超时。这实际上是在重新配置为使用 CMS GC 之前在某些 Dataproc 集群中观察到的。

最佳选项可能因工作负载的特性而异，但总的来说，这种方法在其他通用 Hadoop 指南中得到证实，例如 https://community.hortonworks.com/articles/14170/namenode-garbage-collection-configuration-best-pra.html

Dataproc 对纱线使用 GC_OPTS="-XX:+UseConcMarkSweepGC" 吗？

Dataproc use GC_OPTS="-XX:+UseConcMarkSweepGC" for yarn?

hadoop-yarn

google-cloud-dataproc