如何尾纱原木？
How to tail yarn logs?
我正在使用以下命令提交 Spark 作业。我想使用类似于 Linux 框中的 tail 命令操作的应用程序 ID 来跟踪 yarn 日志。
export SPARK_MAJOR_VERSION=2
nohup spark-submit --class "com.test.TestApplication" --name TestApp --queue queue1 --properties-file application.properties --files "hive-site.xml,tez-site.xml,hbase-site.xml,application.properties" --master yarn --deploy-mode cluster Test-app.jar > /tmp/TestApp.log &
不容易。
"YARN logs" 并不真正在 YARN 中，它们实际上在 Spark 的执行节点上。如果启用了 YARN 日志聚合，则日志位于 HDFS 中，并可从 Spark History 服务器获取。
行业部署模式是配置 Spark log4j 属性以使用日志转发器（如 Filebeat、Splunk、Fluentd）写入文件，然后这些进程将数据收集到搜索引擎中，如 Solr、Elasticsearch、Graylog、 Splunk 等。通过这些工具，您大约可以 tail/search/analyze 在 CLI 之外记录消息。
yarn logs -applicationId application_1648123761230_0106 -log_files stdout -size -1000
我正在使用以下命令提交 Spark 作业。我想使用类似于 Linux 框中的 tail 命令操作的应用程序 ID 来跟踪 yarn 日志。
export SPARK_MAJOR_VERSION=2
nohup spark-submit --class "com.test.TestApplication" --name TestApp --queue queue1 --properties-file application.properties --files "hive-site.xml,tez-site.xml,hbase-site.xml,application.properties" --master yarn --deploy-mode cluster Test-app.jar > /tmp/TestApp.log &
不容易。
"YARN logs" 并不真正在 YARN 中，它们实际上在 Spark 的执行节点上。如果启用了 YARN 日志聚合，则日志位于 HDFS 中，并可从 Spark History 服务器获取。
行业部署模式是配置 Spark log4j 属性以使用日志转发器（如 Filebeat、Splunk、Fluentd）写入文件，然后这些进程将数据收集到搜索引擎中，如 Solr、Elasticsearch、Graylog、 Splunk 等。通过这些工具，您大约可以 tail/search/analyze 在 CLI 之外记录消息。
yarn logs -applicationId application_1648123761230_0106 -log_files stdout -size -1000