KMeans 与 Spark 1.6.2 VS Spark 2.0.0

KMeans with Spark 1.6.2 VS Spark 2.0.0

我在一个我无法控制的环境中使用 Kmeans(),我将在 <1 个月内放弃。火花 1.6.2。已安装。

临行前催促'them'升级到Spark 2.0.0是否需要付出代价?换句话说,Spark 2.0.0 是否在 Spark Mllib KMeans() 方面引入了任何重大改进

就我而言,质量比速度更重要。

这不太可能。

Spark 2.0.0 没有引入 any significant improvements to the core RDD API and KMeans implementation didn't change much since 1.6 with relatively significant changes introduced only by SPARK-15322, SPARK-16696 and SPARK-16694.

如果您使用 ML API,也可以进行一些与 SPARK-14850 相关的改进,但总的来说,我在这里没有看到任何改变游戏规则的东西。