Azure 上的 HDInsight SparkHistory 显示没有应用程序

Question

我在 Azure 上创建了一个 Spark HDInsight 集群。该集群用于 运行 不同的作业（Spark 或 Hive）。

一个月前，可以在 Spark History Server 仪表板 中查看作业的历史记录。似乎在引入 Spark 1.6.0 的更新之后，此仪表板不再显示任何应用程序。

我还尝试通过为 get-azurehdinsightjob 执行 PowerShell cmdlet 来绕过这个问题，如建议的那样 here。输出又是一个空的应用程序列表。

我将不胜感激任何帮助，因为这个仪表板曾经可以工作，但现在我所有的实验都停滞了。

Answer 1

我通过删除 wasb:///hdp/spark-events 中的所有内容设法解决了这个问题。可能问题与文件夹的大小有关，因为无法附加其他日志文件。

以下所有作业现已成功显示在 Spark History Server 仪表板中。