在 Spark StandAlone 上使用 Logback 进行日志记录

Question

我们正在使用 Spark StandAlone 2.3.2 and logback-core/logback-classic with 1.2.3

有非常简单的 Logback 配置文件，它允许我们将数据记录到特定目录，在本地我可以从编辑器传递 vm 参数

-Dlogback.configurationFile="C:\path\logback-local.xml"

它可以正常工作并正确记录

在 Spark StandAlone 上，我尝试使用 external link

传递参数

spark-submit
  --master spark://127.0.0.1:7077
  --driver-java-options "-Dlog4j.configuration=file:/path/logback.xml"
  --conf "spark.executor.extraJavaOptions=-Dlogback.configurationFile=file:/path/logback.xml"

这是配置文件（经过位化处理），已验证实际路径并且它们存在，知道集群上的问题可能是什么。我已经验证了 Spark UI 上的环境变量，它们对 drvier 和 executor 选项反映相同。

Logback 和 Spark StandAlone 一起使用有任何潜在问题吗？

这里的配置文件没有什么特别的，它只是过滤数据 json 记录 vs 文件以便在日志服务器上更好地可视化

<configuration>
    <appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <file>{{ app_log_file_path }}</file>
        <rollingPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy">
            <!--daily-->
            <fileNamePattern>{{ app_log_dir }}/{{ app_name }}.%d{yyyy-MM-dd}.%i.log.gz</fileNamePattern>
            <maxFileSize>100MB</maxFileSize>
            <maxHistory>90</maxHistory>
            <totalSizeCap>10GB</totalSizeCap>
        </rollingPolicy>
        <encoder>
            <pattern>%d [%thread] %-5level %logger{36} %X{user} - %msg%n</pattern>
        </encoder>
    </appender>
    <appender name="FILE_JSON" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <filter class="ch.qos.logback.core.filter.EvaluatorFilter">
            <evaluator>
                <expression>
                    return message.contains("timeStamp") &amp;&amp;
                    message.contains("logLevel") &amp;&amp;
                    message.contains("sourceLocation") &amp;&amp;
                    message.contains("exception");
                </expression>
            </evaluator>
            <OnMismatch>DENY</OnMismatch>
            <OnMatch>NEUTRAL</OnMatch>
        </filter>
        <file>{{ app_json_log_file_path }}</file>
        <rollingPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy">
            <!--daily-->
            <fileNamePattern>{{ app_log_dir }}/{{ app_name }}_json.%d{yyyy-MM-dd}.%i.log.gz</fileNamePattern>
            <maxFileSize>100MB</maxFileSize>
            <maxHistory>90</maxHistory>
            <totalSizeCap>10GB</totalSizeCap>
        </rollingPolicy>
        <encoder>
            <pattern>%msg%n</pattern>
        </encoder>
    </appender>
    <logger name="com.baml.ctrltech.greensheet.logging.GSJsonLogging" level="info" additivity="false">
        <appender-ref ref="FILE_JSON" />
    </logger>
    <root level="INFO">
        <appender-ref ref="FILE" />
        <appender-ref ref="FILE_JSON"/>
    </root>
</configuration>

Answer 1

我们无法让 Logback 与 Spark 一起工作，因为 Spark 在内部使用 Log4J，我们不得不切换到相同的

在 Spark StandAlone 上使用 Logback 进行日志记录

Logging using Logback on Spark StandAlone

java

scala

logback

apache-spark

apache-spark-standalone