Spark 上下文无法使用 Intellij 在 MLUtils.loadLibSVMFile 中解析

Question

我在此处尝试运行多层感知器分类器示例：https://spark.apache.org/docs/1.5.2/ml-ann.html，它似乎在 spark-shell 上运行良好，但在 IDE 中效果不佳，例如 Intellij 和 Eclipse .问题来自 val data = MLUtils.loadLibSVMFile(sc, "data/mllib/sample_multiclass_classification_data.txt").toDF()

IDE提示cannot resolve symbol sc(sparkcontext)，但是库路径已经正确配置。如果有人可以帮助我，谢谢！

Answer 1

实际上默认没有sc这样的值。它是在 spark-shell 启动时导入的。在任何序数 scala\java\python 代码中，您应该手动创建它。

我最近做了。您可以使用关于 sbt 的部分和其中的库。

接下来你可以使用类似下面的代码作为模板开始。

import org.apache.spark.sql.SQLContext
import org.apache.spark.{SparkContext, SparkConf}

object Spark extends App {
  val config = new SparkConf().setAppName("odo").setMaster("local[2]").set("spark.driver.host", "localhost")
  val sc = new SparkContext(config)
  val sqlc = new SQLContext(cs)

  import sqlc.implicits._

 //here you code follows
}

接下来你可以CtrlShiftF10它

Spark 上下文无法使用 Intellij 在 MLUtils.loadLibSVMFile 中解析

spark context cannot reslove in MLUtils.loadLibSVMFile with Intellij

eclipse

scala

intellij-idea

apache-spark

apache-spark-mllib