Spark (shell)、Cassandra：你好，世界？

Question

如何获得基本的 Hello, world!例如运行在 Spark 和 Cassandra 中？到目前为止，我们找到了这个有用的答案：

How to load Spark Cassandra Connector in the shell?

效果很好！

然后我们尝试遵循文档和入门示例：

https://github.com/datastax/spark-cassandra-connector/blob/master/doc/1_connecting.md

它说要这样做：

import com.datastax.spark.connector.cql.CassandraConnector

CassandraConnector(conf).withSessionDo { session =>
  session.execute("CREATE KEYSPACE test2 WITH REPLICATION = {'class': 'SimpleStrategy', 'replication_factor': 1 }")
  session.execute("CREATE TABLE test2.words (word text PRIMARY KEY, count int)")
}

但是它说我们没有com.datastax.spark.connector.cql？顺便说一句，我们从这里获得了 Spark 连接器：

Maven Central Repository (spark-cassandra-connector-java_2.11)

那么，在本地拥有 Spark 和 Cassandra 运行之后，如何才能创建键空间、table 并插入行？

Answer 1

您下载的 jar 只有 Java api，因此它不能与 Scala Spark Shell 一起使用。我建议您按照 Spark Cassandra 连接器页面上的说明进行操作。

https://github.com/datastax/spark-cassandra-connector/blob/master/doc/13_spark_shell.md

这些说明将让您构建包含所有依赖项的完整程序集 jar，并使用 --jars 将其添加到 Spark Shell 类路径。

Spark (shell)、Cassandra：你好，世界？

Spark (shell), Cassandra : Hello, World?

installation

cassandra

apache-spark