spark-submit的输出结果

Question

我是 spark 和 scala 编程的初学者，我在本地模式下尝试了运行ning 示例和 spark-submit，运行完成，没有任何错误或其他消息，但我不能在 consul 或 spark history web UI 中查看任何输出结果。我在哪里以及如何在 spark-submit 中查看我的程序的结果？

这是我运行在 spark

上执行的命令

spark-submit --master local[*] --conf spark.history.fs.logDirectory=/tmp  /spark-events --conf spark.eventLog.enabled=true  --conf   spark.eventLog.dir=/tmp/spark-events --conf spark.history.ui.port=18080 --class com.intel.analytics.bigdl.models.autoencoder.Train dist/lib/bigdl-0.5.0-SNAPSHOT-jar-with-dependencies.jar -f /opt/work/mnist  -b 8

这是运行程序结束时的屏幕截图

Answer 1

尝试在您的代码中添加此 while(true) Thread.sleep(1000)，以保留服务器运行然后在浏览器中检查 sparks 任务。通常你应该看到你的申请运行.

Answer 2

您也可以找到您的 spark-defaults.conf（或 spark-defaults.conf.template 并将其复制到 spark-defaults.conf）

创建日志目录（如 /tmp/spark-events/）

添加这两行：

spark.eventLog.enabled           true
spark.eventLog.dir               file:///tmp/spark-events/

和运行sbin/start-history-server.sh

要让 spark-submit 的所有工作运行记录到历史服务器 (http://localhost:18080/) => 网络 UI 中可用的事件目录和概述，而不保留您的火花工作运行宁

更多信息：https://spark.apache.org/docs/latest/monitoring.html

PS：在 mac 上，通过自制程序，这全部在子目录中 /usr/local/Cellar/apache-spark/[version]/libexec/

Answer 3

非常感谢您的回答，我已经使用“--conf”在 spark-submit 命令中进行了这些设置，我可以使用 "spark-class org.apache.spark.deploy.history.HistoryServer" 查看网络 UI 历史记录，但我不知道无法访问 "start-history-server.sh"。我在历史 Web UI 中看到任务和作业已完成，我检查了所有选项卡（作业、阶段、存储、执行程序），但没有找到输出结果 .你能给我解释一下 history web UI 甚至 consul 中的结果在哪里吗？（我的目标是数值结果作为 spark-submit 命令中接受的数据集的输出）

screenshot from web UI history

此致

Answer 4

要从 spark-submit 获取输出，您可以在 code.scala 文件中添加以下命令，我们创建并保存在运行ning sbt 包之前的 src/main/scala 位置命令。

code.scala 内容 -> ………… .........

result.saveAsTextFile("文件:///home/centos/project")

现在，您应该运行“sbt package”命令后跟“spark-submit”。它将在您给定的位置创建项目文件夹。该文件夹将包含两个文件：part-00000 和 _SUCCESS。您可以在文件 -> part-00000

中检查输出

spark-submit的输出结果

Output results of spark-submit

scala

apache-spark

output

spark-submit