如何仅访问纱线集群中的火花日志
How to access only spark logs in a yarn cluster
我在集群模式下将 spark 与 yarn 结合使用，我只想检索有关 spark 的日志以便使用历史服务器。有没有办法做到这一点，而不是从大日志文件中复制粘贴它？
是的，您可以记录每个任务。
需要到yarnUI（8088端口）复制任务id。
然后使用命令：
yarn logs --applicationId <TASK_ID>
例如：
yarn logs --applicationId application_1504771895665_0001
通过此命令，您可以查看该任务使用的每个容器的日志。
我在集群模式下将 spark 与 yarn 结合使用，我只想检索有关 spark 的日志以便使用历史服务器。有没有办法做到这一点，而不是从大日志文件中复制粘贴它？
是的，您可以记录每个任务。 需要到yarnUI（8088端口）复制任务id。 然后使用命令：
yarn logs --applicationId <TASK_ID>
例如：
yarn logs --applicationId application_1504771895665_0001
通过此命令，您可以查看该任务使用的每个容器的日志。