在本地模式下在 Spark Streaming 中静音“仅复制到 0 个对等点而不是 1 个对等点”警告

Question

有没有办法在本地模式运行中静音“仅复制到 0 个对等点而不是 1 个对等点”警告？

Answer 1

改变

log4j.rootCategory=WARN, console

至

log4j.rootCategory=ERROR, console

在log4j.properties

Answer 2

尽管这是一个已经有了预期答案的老问题，但它会抑制除 ERROR 之外的所有 log4j 日志。

仅抑制存储日志的更精确方法是将 org.apache.spark.storage 的记录器设置为 ERROR.

Logger.getLogger("org.apache.spark.storage").setLevel(Level.ERROR)

或者在 Log4J 配置的情况下：

log4j.org.apache.spark.storage=ERROR, consoleAppender

Muting “replicated to only 0 peer(s) instead of 1 peers” WARNing in Spark Streaming while in Local Mode