如何从余弦相似度矩阵中获取项目 ID？

Question

我正在使用 Spark Scala 计算 Dataframe 行之间的余弦相似度。

Dataframe 架构如下：

root
    |-- itemId: string (nullable = true)
    |-- features: vector (nullable = true)

下面的数据框示例

    +-------+--------------------+
    | itemId|            features|
    +-------+--------------------+
    | ab    |[4.7143,0.0,5.785...|
    | cd    |[5.5,0.0,6.4286,4...|
    | ef    |[4.7143,1.4286,6....|
    ........
    +-------+--------------------+

计算余弦相似度的代码：

val irm = new IndexedRowMatrix(myDataframe.rdd.zipWithIndex().map {
      case (row, index) => IndexedRow(row.getAs[Vector]("features"), index)
}).toCoordinateMatrix.transpose.toRowMatrix.columnSimilarities

在 irm 矩阵中，我有 (i, j, score)，其中 i、j 是项目 i 的索引，以及原始数据帧的 j。我想要的是得到 (itemIdA, itemIdB, score) 其中 itemIdA 和 itemIdB 分别是索引 i 和 j 的 ID，通过将此 irm 与初始数据帧连接或者是否有更好的选择？

Answer 1

在将数据帧转换为矩阵之前创建行索引，并在索引和 ID 之间创建映射。计算完成后，使用创建的 Map 将列索引（以前是行索引，但用 transpose 更改）转换为 id.

val rdd = myDataframe.as[(String, org.apache.spark.mllib.linalg.Vector)].rdd.zipWithIndex()
val indexMap = rdd.map{case ((id, vec), index) => (index, id)}.collectAsMap()

像以前一样计算余弦相似度：

val irm = new IndexedRowMatrix(rdd.map{case ((id, vec), index) => IndexedRow(index, vec)})
  .toCoordinateMatrix().transpose().toRowMatrix().columnSimilarities()

将列索引转换回 ID：

irm.entries.map(e => (indexMap(e.i), indexMap(e.j), e.value))

这应该能满足您的需求。

如何从余弦相似度矩阵中获取项目 ID？

How to get item id from cosine similarity matrix?

scala

apache-spark

matrix

machine-learning

cosine-similarity