SnappyData:将什么放入 build.sbt 并导入语句以便我可以使用 SnappySession
SnappyData: What to Put in build.sbt and import Statement so I Can Use SnappySession
我正在努力开发 "Hello World" 种 SnappyData 应用程序,我希望能够在 IntelliJ 中构建和 运行。到目前为止,我的集群是本地机器上的一个定位器、一个领导和一台服务器。我只想连接到它,序列化一些微不足道的数据或一个 DataFrame,然后看看它是否正常工作。
文档说我应该可以这样做:
val spark: SparkSession = SparkSession
.builder()
.appName("SnappyTest")
.master("xxx.xxx.xxx.xxx:xxxx")
.getOrCreate()
val snappy = new SnappySession(spark.sparkContext)
但是,我得到 "Cannot resolve symbol SnappySession."
这是我 build.sbt 中的内容:
name := "snappytest"
version := "0.1"
scalaVersion := "2.11.11"
// https://mvnrepository.com/artifact/io.snappydata/snappy-spark-core_2.11
libraryDependencies += "io.snappydata" % "snappy-spark-core_2.11" % "2.1.1.1"
// https://mvnrepository.com/artifact/io.snappydata/snappy-spark-sql_2.11
libraryDependencies += "io.snappydata" % "snappy-spark-sql_2.11" % "2.1.1.1"
(我在添加这些后刷新了项目。)
我收集到,当我导入一些东西时 Spark-related 例如:
import org.apache.spark.sql.SparkSession
我实际上是从 build.sbt 中的依赖项导入扩展的 SnappyData 版本,而不是规范的 org.apache.spark 版本。所以这应该意味着我也可以:
import org.apache.spark.sql.SnappySession
但是,我得到 "Cannot resolve symbol SnappySession." 并且在我输入时在代码完成 drop-downs 中没有看到任何内容 Snappy-related。它像 vanilla Spark 一样寻找全世界。
我在这里错过了什么?我想我遗漏了一些明显的东西。我在 SnappyData 文档中找不到 import headers 或 build 语句的示例,我想是因为这些细节太明显而无法提及。除了我。这里有没有人愿意在这件事上帮我去n00batize?
我假设您正在尝试使用 Spark 应用程序连接到现有的 SnappyData 集群。请检查 http://snappydatainc.github.io/snappydata/howto/spark_installation_using_smart_connector/ 以查看 Maven 坐标参数是否可以这样做。
你应该导入 snappydata-core 来解决这个问题。像这个 Maven 依赖项:
<dependency>
<groupId>io.snappydata</groupId>
<artifactId>snappydata-core_${scala.version.major}</artifactId>
<version>1.0.3</version>
</dependency>
我正在努力开发 "Hello World" 种 SnappyData 应用程序,我希望能够在 IntelliJ 中构建和 运行。到目前为止,我的集群是本地机器上的一个定位器、一个领导和一台服务器。我只想连接到它,序列化一些微不足道的数据或一个 DataFrame,然后看看它是否正常工作。
文档说我应该可以这样做:
val spark: SparkSession = SparkSession
.builder()
.appName("SnappyTest")
.master("xxx.xxx.xxx.xxx:xxxx")
.getOrCreate()
val snappy = new SnappySession(spark.sparkContext)
但是,我得到 "Cannot resolve symbol SnappySession."
这是我 build.sbt 中的内容:
name := "snappytest"
version := "0.1"
scalaVersion := "2.11.11"
// https://mvnrepository.com/artifact/io.snappydata/snappy-spark-core_2.11
libraryDependencies += "io.snappydata" % "snappy-spark-core_2.11" % "2.1.1.1"
// https://mvnrepository.com/artifact/io.snappydata/snappy-spark-sql_2.11
libraryDependencies += "io.snappydata" % "snappy-spark-sql_2.11" % "2.1.1.1"
(我在添加这些后刷新了项目。)
我收集到,当我导入一些东西时 Spark-related 例如:
import org.apache.spark.sql.SparkSession
我实际上是从 build.sbt 中的依赖项导入扩展的 SnappyData 版本,而不是规范的 org.apache.spark 版本。所以这应该意味着我也可以:
import org.apache.spark.sql.SnappySession
但是,我得到 "Cannot resolve symbol SnappySession." 并且在我输入时在代码完成 drop-downs 中没有看到任何内容 Snappy-related。它像 vanilla Spark 一样寻找全世界。
我在这里错过了什么?我想我遗漏了一些明显的东西。我在 SnappyData 文档中找不到 import headers 或 build 语句的示例,我想是因为这些细节太明显而无法提及。除了我。这里有没有人愿意在这件事上帮我去n00batize?
我假设您正在尝试使用 Spark 应用程序连接到现有的 SnappyData 集群。请检查 http://snappydatainc.github.io/snappydata/howto/spark_installation_using_smart_connector/ 以查看 Maven 坐标参数是否可以这样做。
你应该导入 snappydata-core 来解决这个问题。像这个 Maven 依赖项:
<dependency>
<groupId>io.snappydata</groupId>
<artifactId>snappydata-core_${scala.version.major}</artifactId>
<version>1.0.3</version>
</dependency>