Spark Error: java.io.NotSerializableException: scala.runtime.LazyRef

Question

我是 spark 的新手，你能帮忙吗？以下执行逻辑回归的简单管道会产生异常：编码：包裹 pipeline.tutorial.com

import org.apache.log4j.Level
import org.apache.log4j.Logger
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.ml.Pipeline
import org.apache.spark.ml.classification.LogisticRegression
import org.apache.spark.ml.evaluation.BinaryClassificationEvaluator
import org.apache.spark.ml.feature.RFormula
import org.apache.spark.ml.tuning.ParamGridBuilder
import org.apache.spark.sql.SparkSession
import org.apache.spark.ml.tuning.TrainValidationSplit

object PipelineDemo {

  def main(args: Array[String]) {
    Logger.getLogger("org").setLevel(Level.ERROR)
    val conf = new SparkConf()
    conf.set("spark.master", "local")
    conf.set("spark.app.name", "PipelineDemo")
    val sc = new SparkContext(conf)
    val spark = SparkSession.builder().appName("PipelineDemo").getOrCreate()

    val df = spark.read.json("C:/Spark-The-Definitive-Guide-master/data/simple-ml")

    val rForm = new RFormula()
    val lr = new LogisticRegression().setLabelCol("label").setFeaturesCol("features")

    val stages = Array(rForm, lr)
    val pipeline = new Pipeline().setStages(stages)

    val params = new ParamGridBuilder().addGrid(rForm.formula, Array(
      "lab ~ . + color:value1",
      "lab ~ . + color:value1 + color:value2")).addGrid(lr.elasticNetParam, Array(0.0, 0.5, 1.0)).addGrid(lr.regParam, Array(0.1, 2.0)).build()

    val evaluator = new BinaryClassificationEvaluator()
.setMetricName("areaUnderROC")
.setRawPredictionCol("prediction")
.setLabelCol("label")

    val tvs = new TrainValidationSplit()
.setTrainRatio(0.75)
.setEstimatorParamMaps(params)
.setEstimator(pipeline)
.setEvaluator(evaluator)

    val Array(train, test) = df.randomSplit(Array(0.7, 0.3))
    val model = tvs.fit(train)
    val rs = model.transform(test)

    rs.select("features", "label", "prediction").show()

  }

}

//结束代码。

代码从 spark-shell 运行良好当把它写成一个 spark 应用程序时（使用 eclipse scala ide）它给出了错误：原因：java.io.NotSerializableException：scala.runtime.LazyRef

谢谢。

Answer 1

我通过从构建路径中删除 scala 库解决了这个问题，为此，右键单击 scala 库容器 > 构建路径 > 从构建路径中删除虽然不确定根本原因。

Answer 2

可以通过将项目中的 Scala 版本更改为 2.12.8 或更高版本来解决此错误。 Scala 2.12.8 工作并且非常稳定。您可以通过转到项目结构来更改此设置（在 Intellij 中，您可以按 'Ctrl+alt+shift+S' 转到）。转到全局库，在那里你必须使用 - 符号删除旧的 Scala 版本，并从 + 符号添加新的 Scala 版本，即 2.12.8 或更高版本。

Spark Error: java.io.NotSerializableException: scala.runtime.LazyRef

Spark Error: java.io.NotSerializableException: scala.runtime.LazyRef

pipeline

scala

logistic-regression

apache-spark

apache-spark-mllib