Spark 版本 1.4.1 而不是 1.5.2 HdInsight

Question

我已经设置了一个 Azure HdInsight Linux Spark 集群，它应该与 1.5.2 版本的 Spark 一起提供。但是，如果我尝试使用 sparkContext.version 输出版本号，我会一直得到 1.4.1。

我在配置时是否遗漏了一个步骤？我一直在通过 GUI 和脚本启动集群。

Answer 1

这是我们这边的一个已知错误。二进制版本实际上是 1.5.2，但报告不正确。