找不到错误值 spark import spark.implicits._ import spark.sql

Question

我正在 hadoop 2.7.2、hbase 1.4.9、spark 2.2.0、scala 2.11.8 和 java 1.8 hadoop集群由一主两从组成

当我运行 spark-shell 启动集群后，它工作正常。 我正在按照本教程尝试使用 scala 连接到 hbase：[https://www.youtube.com/watch?v=gGwB0kCcdu0][1] .

但是当我像他那样尝试通过添加像参数这样的罐子来运行 spark-shell 时，我遇到了这个错误：

spark-shell --jars "hbase-annotations-1.4.9.jar,hbase-common-1.4.9.jar,hbase-protocol-1.4.9.jar,htrace-core-3.1.0-incubating.jar,zookeeper-3.4.6.jar,hbase-client-1.4.9.jar,hbase-hadoop2-compat-1.4.9.jar,metrics-json-3.1.2.jar,hbase-server-1.4.9.jar"

<console>:14: error: not found: value spark
       import spark.implicits._
              ^
<console>:14: error: not found: value spark
       import spark.sql
              ^

之后，我什至注销了运行 spark-shell 另一次我遇到了同样的问题。谁能告诉我是什么原因以及如何解决它。

Answer 1

在您的 import 语句中 spark 应该是 SparkSession 类型的对象。该对象应该是之前为您创建的。或者您需要自己创建它（阅读 spark 文档）。没看你的教程视频

重点是它不必被称为 spark。例如它可以被称为 sparkSession 然后你可以做 import sparkSession.implicits._

找不到错误值 spark import spark.implicits._ import spark.sql

error not found value spark import spark.implicits._ import spark.sql

hadoop

hbase

scala

apache-spark