spark sql 作业的 spark 历史服务器中没有 SQL 选项卡
No SQL tab in spark history server for spark sql job
我正在使用用 spark 1.6.0 构建的 Cloudera 5.8.3 发行版。我通过 oozie 提交了一个 Spark 作业(它是作为 java 操作提交的)
我可以看到作业成功完成,也可以在 Spark 历史服务器上找到它(对于 Spark 1.6.0 也是 运行)。我还可以看到所有 executor/application/jobs/stages/tasks 级别的详细信息。
但是,我也知道 spark 为 spark 数据帧提供了更好的日志记录,但我没有看到该选项卡。
这就是我所说的观点:
我不确定还有哪些与此相关的其他详细信息或其他地方可以查找。希望得到指点。
谢谢!
SQL Spark 2.0.0 新增历史服务器选项卡。参见 https://issues.apache.org/jira/browse/SPARK-11206
我正在使用用 spark 1.6.0 构建的 Cloudera 5.8.3 发行版。我通过 oozie 提交了一个 Spark 作业(它是作为 java 操作提交的)
我可以看到作业成功完成,也可以在 Spark 历史服务器上找到它(对于 Spark 1.6.0 也是 运行)。我还可以看到所有 executor/application/jobs/stages/tasks 级别的详细信息。
但是,我也知道 spark 为 spark 数据帧提供了更好的日志记录,但我没有看到该选项卡。
这就是我所说的观点:
我不确定还有哪些与此相关的其他详细信息或其他地方可以查找。希望得到指点。
谢谢!
SQL Spark 2.0.0 新增历史服务器选项卡。参见 https://issues.apache.org/jira/browse/SPARK-11206