在 spark 中，“信息 metrics.MetricsSaver：已将 10:24 条记录保存到...”

Question

我正在使用 spark 在 amazon sc3 中处理一个 500M 的文本文件 (.gz)，并在 amazon EMR（6 节点集群）上使用 spark sql。我的程序不断打印出“INFO metrics.MetricsSaver: Saved 10:24 records to /mnt/var/em/raw/i-d1bfb6dd_20150301_SparkSubmit_05013_raw.bin”几个小时。

我的问题是：

日志的含义是什么？
我该如何解决这个问题？

提前致谢。

Answer 1

正如 Sean 所说，这只是指标，无需担心。即使您没有主动做任何事情，它也会定期记录这样的消息。

要禁止显示这些消息，您可以更新 /home/hadoop/spark/conf/log4j.properties 中的以下行。

将 log4j.logger.amazon.emr.metrics=INFO 更改为 log4j.logger.amazon.emr.metrics=WARN。

Answer 2

除了 Ryan 的回答之外，还有另一种方法可以关闭这个恼人的东西（在代码中而不是在配置中）：

import org.apache.log4j.Logger
import org.apache.log4j.Level
Logger.getLogger("amazon.emr.metrics").setLevel(Level.OFF)

在 spark 中，“信息 metrics.MetricsSaver：已将 10:24 条记录保存到...”

In spark," INFO metrics.MetricsSaver: Saved 10:24 records to ...."

apache-spark