使用 log4j.xml 配置 Spark 日志记录
Configuring Spark logging with log4j.xml
我猜这是一个愚蠢的问题，但我找不到答案。
我可以使用 log4j.xml 配置登录 spark 吗？
在 spark documentation 中提到您可以使用 log4j.properties 配置日志记录，我希望使用 log4j.xml 以获得更高级的 log4j 功能，例如异步附加程序。我的工作将 运行 在集群模式下通过 oozie 安排的 yarn (CDH)。我知道在任何解决方案中都不需要使用 --files
您可以设置 spark.executor.extraJavaOptions 添加 -Dlog4j.configuration=log4j.xml 并将您的 log4j.xml 文件包含在工作程序的类路径中（捆绑在应用程序 jar 中或添加到包含的文件中--files).
我猜这是一个愚蠢的问题，但我找不到答案。
我可以使用 log4j.xml 配置登录 spark 吗？
在 spark documentation 中提到您可以使用 log4j.properties 配置日志记录，我希望使用 log4j.xml 以获得更高级的 log4j 功能，例如异步附加程序。我的工作将 运行 在集群模式下通过 oozie 安排的 yarn (CDH)。我知道在任何解决方案中都不需要使用 --files
您可以设置 spark.executor.extraJavaOptions 添加 -Dlog4j.configuration=log4j.xml 并将您的 log4j.xml 文件包含在工作程序的类路径中（捆绑在应用程序 jar 中或添加到包含的文件中--files).