如何在 Spark MLlib 中为 K-means 初始化聚类中心？

Question

有没有办法在 Spark MLlib 中运行 K-Means 时初始化聚类中心？

我试过以下方法：

model = KMeans.train(
    sc.parallelize(data), 3, maxIterations=0,
    initialModel = KMeansModel([(-1000.0,-1000.0),(5.0,5.0),(1000.0,1000.0)]))

initialModel 和 setInitialModel 不存在于 spark-mllib_2.10

中

Answer 1

初始模型可以在 Scala 中设置，因为 Spark 1.5+ 使用 setInitialModel 需要 KMeansModel:

import org.apache.spark.mllib.clustering.{KMeans, KMeansModel}
import org.apache.spark.mllib.linalg.Vectors

val data = sc.parallelize(Seq(
    "[0.0, 0.0]", "[1.0, 1.0]", "[9.0, 8.0]", "[8.0,  9.0]"
)).map(Vectors.parse(_))

val initialModel = new KMeansModel(
   Array("[0.6,  0.6]", "[8.0,  8.0]").map(Vectors.parse(_))
)

val model = new KMeans()
  .setInitialModel(initialModel)
  .setK(2)
  .run(data)

和 PySpark 1.6+ 使用 initialModel 参数到 train 方法：

from pyspark.mllib.clustering import KMeansModel, KMeans
from pyspark.mllib.linalg import Vectors

data = sc.parallelize([
    "[0.0, 0.0]", "[1.0, 1.0]", "[9.0, 8.0]", "[8.0,  9.0]"
]).map(Vectors.parse)

initialModel = KMeansModel([
    Vectors.parse(v) for v in ["[0.6,  0.6]", "[8.0,  8.0]"]])
model = KMeans.train(data, 2, initialModel=initialModel)

如果这些方法中的任何一个不起作用，则意味着您使用的是早期版本的 Spark。

如何在 Spark MLlib 中为 K-means 初始化聚类中心？

How to initialize cluster centers for K-means in Spark MLlib?

apache-spark

apache-spark-mllib