使用保存的模型转换另一个数据而无需再次拟合 Spark

Question

我在 Scala 中使用 Spark（核心和 Mllib）版本 2.2.0。

我成功保存了一个带有逻辑回归的交叉验证器模型。下面是我使用的代码

  val cv = new CrossValidator()
    .setEstimator(lr)
    .setEvaluator(new BinaryClassificationEvaluator)
    .setEstimatorParamMaps(paramGrid)
    .setNumFolds(5)

  val model = cv.fit(trainingData)

  model.write.overwrite().save("./cvmodel")

在那之后，我尝试使用下面的代码将它用于另一个数据集

  val model = CrossValidatorModel.read.load("./cvmodel")

  val cleanData = DataApi.cleanData(dataset, spark) // custom method

  val preparedData = DataApi.oneHotEncodingData(cleanData).select("label","features") // custom method

  val predict_dataset = model.transform(preparedData)

  printResult(predict_dataset) // A custom method that uses metrics to print the statistics
                               // of the result

但是，当使用与测试数据相比大小不同的数据集（无论大小）时，我会抛出此错误

java.lang.IllegalArgumentException: requirement failed: BLAS.dot(x: Vector, y:Vector) was given Vectors with non-matching sizes: x.size = 1178, y.size = 9921

该代码实际上是在处理相同大小的数据集。因此，我想知道是否可以将保存的模型与另一个不同大小的数据集一起使用而无需再次拟合。如果可以，我想知道怎么做。

感谢您的帮助。

Answer 1

我居然找到了这个错误的原因。在我的一个热门部署过程中，我实际上使用了一些我没有保存的管道，比如我的 CrossValidatorModel。我必须做的是：

用我的训练数据集拟合我的一个热编码管道并将它们保存为模型
将我的 CrossValidator 与我的训练数据集相匹配并将其保存为模型
加载我的一个热门编码管道模型并转换我的测试数据集
加载我的 CrossValidatorModel 并转换我的测试数据集

执行此操作时，我不再遇到问题。

使用保存的模型转换另一个数据而无需再次拟合 Spark

Use a saved model to transform another data without fitting again Spark

scala

apache-spark

apache-spark-mllib