Spark History Server - 识别作业写入的日志文件
Spark History Server - Identify log file that a job writes to
我想使用 Spark History Server API(http://127.0.0.1:18080/api/v1/applications/) 来识别 /tmp/spark-events/ 中某些作业写入的日志文件。我可以看到作业 ID 与日志文件名相同，所以我想如果我有一个唯一的作业名称，我可以查找它并获得关联的 ID。我的问题是我有一个 scala 应用程序，它在代码中设置了应用程序名称：
val conf = new SparkConf()
.setAppName(s"TeraGen ($size)")
作业每次 运行 都具有相同的名称。是否可以在命令行中覆盖应用程序名称？我试过传递 --name 但那不起作用。
如果不行，有更好的方法吗？
我通过将以下代码添加到我的代码并将其分配给变量来将 uuId 作为 arg 传递：
val uuId = args(2)
然后我将它添加到应用程序名称中：
val conf = new SparkConf()
.setAppName(s"TeraGen ($size) $uuId")
我想使用 Spark History Server API(http://127.0.0.1:18080/api/v1/applications/) 来识别 /tmp/spark-events/ 中某些作业写入的日志文件。我可以看到作业 ID 与日志文件名相同，所以我想如果我有一个唯一的作业名称，我可以查找它并获得关联的 ID。我的问题是我有一个 scala 应用程序，它在代码中设置了应用程序名称：
val conf = new SparkConf()
.setAppName(s"TeraGen ($size)")
作业每次 运行 都具有相同的名称。是否可以在命令行中覆盖应用程序名称？我试过传递 --name 但那不起作用。
如果不行，有更好的方法吗？
我通过将以下代码添加到我的代码并将其分配给变量来将 uuId 作为 arg 传递：
val uuId = args(2)
然后我将它添加到应用程序名称中：
val conf = new SparkConf()
.setAppName(s"TeraGen ($size) $uuId")