使用 log4j.xml 配置 Spark 日志记录

Configuring Spark logging with log4j.xml

我猜这是一个愚蠢的问题,但我找不到答案。

我可以使用 log4j.xml 配置登录 spark 吗?

在 spark documentation 中提到您可以使用 log4j.properties 配置日志记录,我希望使用 log4j.xml 以获得更高级的 log4j 功能,例如异步附加程序。我的工作将 运行 在集群模式下通过 oozie 安排的 yarn (CDH)。我知道在任何解决方案中都不需要使用 --files

您可以设置 spark.executor.extraJavaOptions 添加 -Dlog4j.configuration=log4j.xml 并将您的 log4j.xml 文件包含在工作程序的类路径中(捆绑在应用程序 jar 中或添加到包含的文件中--files).