Spark K-Means 通过归一化获得原始的聚类中心/质心

Question

我运行一个k均值模型

val kmeans = new KMeans().setK(k).setSeed(1L)
val model = kmeans.fit(train_dataset)

然后提取聚类中心（质心）

 var clusterCenters:Seq[(Double,Double,Double,Double,Double,Double,Double,Double,Double)] = Seq()
for(e <- model.clusterCenters){
  clusterCenters = clusterCenters :+ ((e(0)),e(1),e(2),e(3),e(4),e(5),e(6),e(7),e(8))
}

import sc.implicits._
var centroidsDF = clusterCenters.toDF()

为了写回结果，我创建了一个结果聚类中心的 DataFrame。

现在我遇到了问题，我预先对数据进行了归一化以提高聚类结果。

 val scaler = new StandardScaler()
      .setInputCol("features")
      .setOutputCol("scaledFeatures")
      .setWithStd(true)
      .setWithMean(false)
    scalerModel = scaler.fit(train_dataset)
    scaledData = scalerModel.transform(train_dataset)

如何使原始形式的质心反标准化？

Answer 1

我不确定这样做是否有意义，但由于不居中，您可以乘以 std 向量：

import org.apache.spark.ml.feature.ElementwiseProduct

val kmeans: KMeansModel = ???
val scaler: StandardScalerModel = ???

new ElementwiseProduct()
  .setScalingVec(scaler.std)  // Standard deviation used by scaler
  .setOutputCol("rescaled")
  .setInputCol("cluster")
  .transform(sc.parallelize(
    // Get centers and convert to `DataFrame`
    kmeans.clusterCenters.zipWithIndex).toDF("cluster", "id"))

Spark K-Means 通过归一化获得原始的聚类中心/质心

Spark K-Means get original Cluster Center / Centroids with Normalization

scala

cluster-analysis

normalization

k-means

apache-spark