将als推荐模型导出到文件

Question

我是 Apache Spark 的新手。我运行示例文件夹中存在示例 ALS 算法代码。我给了一个 csv 文件作为输入。当我使用 model.save(path) 保存模型时，它存储在 gz.parquet 文件中。

When I tried to open this file, I get these errors

现在我想将生成的推荐模型存储在文本或 csv 文件中，以便在 Spark 之外使用它。

我尝试了以下函数来将生成的模型存储在文件中，但没有用：

model.saveAsTextFile("path")

请给我一个解决这个问题的方法。

Answer 1

别说你已经用这样的东西训练了你的模型：

val model = ALS.train(ratings, rank, numIterations, 0.01)

您所要做的就是：

import org.apache.spark.mllib.recommendation.ALS
import org.apache.spark.mllib.recommendation.MatrixFactorizationModel
import org.apache.spark.mllib.recommendation.Rating    
// Save
model.save(sc, "yourpath/yourmodel")
// Load Model
val sameModel = MatrixFactorizationModel.load(sc, "yourpath/yourmodel")

Answer 2

事实证明，saveAsTextFile() 仅在 slaves.Use collect() 上工作，以从从机收集数据，以便可以将其保存在本地主机上。可以找到解决方案

将als推荐模型导出到文件

export als recommendation model to a file

csv

scala

apache-spark

apache-spark-mllib