如何为 Hadoop YARN ResourceManager 和 ApplicationTimeline 启用 GC 日志记录，同时防止日志文件覆盖和限制磁盘 space 使用

Question

我们最近决定在多个集群（具体版本不同）上为 Hadoop YARN ResourceManager 和 ApplicationTimeline 服务器启用 GC 日志记录，以帮助调查与 YARN 相关的内存和垃圾收集问题。这样做时，我们想避免两个我们知道可能会发生的问题：

当 YARN RM 或 AT 服务器因任何原因重启时覆盖日志文件
日志使用过多磁盘 space，导致磁盘被填满

当 Java GC 日志记录开始时，它似乎会替换任何同名文件的内容。这意味着除非您小心，否则您将丢失 GC 日志记录，也许在您更有可能需要它的时候。

如果您将集群运行保持足够长的时间，除非进行管理，否则日志文件将填满磁盘。即使 GC 日志记录目前不是很多，我们也希望管理出现导致日志记录率飙升的异常情况的风险。

Answer 1

在启动 YARN 服务器时，您需要设置一些 JVM 参数，这意味着您需要对 yarn-env.sh 进行一些更改。您可以在 YARN_OPTS 中设置参数，但这会产生比仅 ResourceManager 和 ApplicationTimeline 服务器更广泛的影响，因此您可能希望在 YARN_RESOURCEMANAGER_OPTS 和 YARN_TIMELINESERVER_OPTS 中都进行设置。

现在让我们讨论要包含在其中的 JVM 参数。

要启用 GC 日志记录到文件，您需要添加 -verbose:gc -Xloggc:<log-file-location>。

您需要特别考虑日志文件名，以防止在服务器重新启动时被覆盖。似乎每次调用都需要一个唯一的名称，因此附加时间戳似乎是最佳选择。您可以包含诸如“date +'%Y%m%d%H%M'”之类的内容来添加时间戳。在这个例子中，它是 YYYYMMDDHHMM 的形式。在某些版本的 Java 中，您可以将“%t”放在您的日志文件位置，它将被格式为 YYYY-MM-DD_HH-MM-SS.

的服务器启动时间戳替换。

现在开始管理磁盘的使用 space。如果有比我现有的更简单的方法，我会很高兴。

首先，利用 Java 的内置 GC 日志文件轮换。 -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=10 -XX:GCLogFileSize=10M 是启用此循环的示例，JVM 有多达 10 个 GC 日志文件，每个文件的大小不超过大约 10MB。 10 x 10MB 是 100MB 最大使用量。

随着 GC 日志文件轮换最多 10 个文件，“.0”、“.1”...“.9”将添加到您在 [=17= 中提供的文件名中]. .0 将是第一个，在达到 .9 后它将替换 .0 并以循环方式继续。在某些版本中 Java '.current' 将被附加在当前正在写入的日志文件名称的末尾。

由于独特的文件命名，我们显然必须避免覆盖，您可以有 100MB 每个 RM 或 AT 服务器进程调用，所以这不是一个完整的解决方案管理 YARN GC 日志使用的磁盘 space。您最终会在每次服务器调用时得到一组最多 10 个 GC 日志文件——这会随着时间的推移而增加。最好的解决方案（在 *nix 下）似乎是使用 logrotate 实用程序（或其他一些实用程序）定期清理最近 N 天未修改的 GC 日志。

一定要算一下，确保你有足够的磁盘 space。请注意，您可能运行同一主服务器上的 ResourceManager 和 ApplicationTimeline。

人们经常希望在他们的 GC 日志中看到比默认情况下更多的详细信息和上下文，因此请考虑添加 -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps。把这些放在一起，你可能会在 yarn-env 中添加一些东西：

# this function takes the name of a YARN component as input and returns the JVM options
# to enable GC logging for the component.  The option string is set in the variable named
# as the second arg
function yarn_gc_log_opts_for_component()
{
    # get function args
    local component_name=
    local  __resultvar=

    # calculate GC log name
    local timestamp_str=`date +'%Y%m%d%H%M'`
    local gc_log_name="{{yarn_log_dir_prefix}}/$USER/yarn-${component_name}-gc.log-${timestamp_str}"

    # calculate GC logging options for enablement, rotation, and format
    local gc_log_enable_opts="-verbose:gc -Xloggc:$gc_log_name"
    local gc_log_rotation_opts="-XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=10 -XX:GCLogFileSize=10M"
    local gc_log_format_opts="-XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps"

    # combing these options and return the result
    local gc_log_opts="$gc_log_enable_opts $gc_log_rotation_opts $gc_log_format_opts"
    eval $__resultvar="'$gc_log_opts'"
}

# 获取 YARN ResourceManager 服务器的 GC 日志选项并投入使用 yarn_gc_log_opts_for_component "resourcemanager" YARN_RESOURCEMANAGER_GC_LOG_OPTS

export YARN_RESOURCEMANAGER_OPTS="$YARN_RESOURCEMANAGER_OPTS $YARN_RESOURCEMANAGER_GC_LOG_OPTS"

# 获取 YARN AT 服务器的 GC 日志选项并投入使用 yarn_gc_log_opts_for_component "timelineserver" YARN_TIMELINESERVER_GC_LOG_OPTS

export YARN_RESOURCEMANAGER_OPTS="$YARN_RESOURCEMANAGER_OPTS $YARN_RESOURCEMANAGER_GC_LOG_OPTS"

在上面，您可以将 {{yarn_log_dir_prefix}}/$USER 更改为您希望 GC 日志去往的任何地方（您可能希望它去与 YARN RM 和 AT 服务器日志相同的地方）。您也可以更改日志文件命名。

如果您使用 Apache Ambari 管理 Hadoop 集群，那么这些更改将位于 YARN 服务 > 配置 > 高级 > 高级 yarn-env > yarn-env 模板中。使用 Ambari，{{yarn_log_dir_prefix}} 将自动替换为定义在字段上方几行的 YARN 日志目录前缀。

GC 日志记录将在服务器重启时开始。

如何为 Hadoop YARN ResourceManager 和 ApplicationTimeline 启用 GC 日志记录，同时防止日志文件覆盖和限制磁盘 space 使用

How to enable GC logging for Hadoop YARN ResourceManager and ApplicationTimeline, while preventing log file overwrites and capping disk space usage

hadoop

logging

garbage-collection

hadoop-yarn

diskspace