Spark -- 从 JAR 运行加载 log4j spark-submit

Question

我已经为我的 spark 应用程序开发了自定义 log4j：

#######################
#    Roll by time     #
#######################
log4j.logger.myLogger=DEBUG, file 
log4j.appender.file=org.apache.log4j.rolling.RollingFileAppender
log4j.appender.file.RollingPolicy=org.apache.log4j.rolling.TimeBasedRollingPolicy
log4j.appender.file.RollingPolicy.FileNamePattern = contactabilidad_%d{yyyy-MM-dd-hh}.log
log4j.appender.file.layout=org.apache.log4j.PatternLayout
log4j.appender.file.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %C:%L - %m%n
log4j.appender.file.encoding=UTF-8
log4j.appender.file.MaxFileSize=5MB

我将我的项目打包成一个 JAR，然后运行在 spark-submit 中。

当文件 log4j.properties 从我运行 spark-submit 和我在命令 java-options.

中定义了这个路径

spark-submit --class com.path.to.class.InitialContactDriver 
--driver-java-options "-Dlog4j.configuration=file:log4j.properties" 
--conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=file:log4j.properties" 
--master yarn    /home/cloudera/SNAPSHOT.jar

我的观点是： 我不能引用 JAR 中的日志文件吗？

就像我用 class 做的那样：--class com.path.to.class.InitialContactDriver

我将运行将应用程序置于受限环境中，我不想将文件上传到 FS，只需使用 JAR 中的文件即可。那可能吗？如果不是，为什么不呢？

提前致谢！ :)

Answer 1

您必须在命令中提供 --driver-class-path 选项。尝试：

spark-submit --class com.path.to.class.InitialContactDriver \
--driver-java-options "-Dlog4j.configuration=file:log4j.properties" \
--conf "spark.executor.extraJavaOptions=Dlog4j.configuration=file:log4j.properties" \
--driver-class-path /home/cloudera/SNAPSHOT.jar \
--master yarn    /home/cloudera/SNAPSHOT.jar

我没有尝试过使用 YARN，但是在本地模式和集群模式下工作正常。

Spark -- 从 JAR 运行加载 log4j spark-submit

Spark -- Loading log4j from JAR running spark-submit

apache-spark

log4j

spark-submit

Spark -- 从 JAR 运行 加载 log4j spark-submit

Spark -- Loading log4j from JAR running spark-submit

apache-spark

log4j

spark-submit

Spark -- 从 JAR 运行加载 log4j spark-submit