如何在 ML Pipeline 中访问底层模型的参数？

Question

我有一个使用 LinearRegression 处理的 DataFrame。如果我直接这样做，如下所示，我可以显示模型的详细信息：

val lr = new LinearRegression()
val lrModel = lr.fit(df)

lrModel: org.apache.spark.ml.regression.LinearRegressionModel = linReg_b22a7bb88404

println(s"Coefficients: ${lrModel.coefficients} Intercept: ${lrModel.intercept}")
Coefficients: [0.9705748115939526] Intercept: 0.31041486689532866

但是，如果我在管道内使用它（如下面的简化示例），

val pipeline = new Pipeline().setStages(Array(lr))
val lrModel = pipeline.fit(df)

然后我得到以下错误。

scala> lrModel
res9: org.apache.spark.ml.PipelineModel = pipeline_99ca9cba48f8

scala> println(s"Coefficients: ${lrModel.coefficients} Intercept: ${lrModel.intercept}")
<console>:68: error: value coefficients is not a member of org.apache.spark.ml.PipelineModel
       println(s"Coefficients: ${lrModel.coefficients} Intercept: ${lrModel.intercept}")
                                         ^
<console>:68: error: value intercept is not a member of org.apache.spark.ml.PipelineModel
       println(s"Coefficients: ${lrModel.coefficients} Intercept: ${lrModel.intercept}")

我明白这意味着什么（很明显我得到了一个不同的 class，因为管道），但不知道如何获得真正的底层模型。

Answer 1

LinearRegressionModel 应该在 stages 内，在与其对应的 LinearRegression.

完全相同的索引处

import org.apache.spark.ml.regressio‌n.LinearRegressionMo‌del
lrModel.stages(0).asInstanceOf[LinearRegressionMo‌del]

如何在 ML Pipeline 中访问底层模型的参数？

How to access parameters of the underlying model in ML Pipeline?

scala

apache-spark

apache-spark-mllib