将数据从 Spark 保存到 Cassandra 结果 java.lang.ClassCastException

Question

我正在尝试使用 saveToCassandra 将数据从 Spark 保存到 Scala 中的 Cassandra 或使用数据帧保存（两者都会导致相同的错误）。完整消息是：

java.lang.ClassCastException: com.datastax.driver.core.DefaultResultSetFuture cannot be cast to com.google.common.util.concurrent.ListenableFuture

我按照代码 here 进行操作，但似乎仍然出现错误。

我正在使用 Cassandra 3.6、Spark 1.6.1 和 spark-cassandra-connector 1.6。让我知道是否还有其他我可以提供的帮助进行调试。

Answer 1

我有类似的异常并在更改 build.sbt scala 版本后修复它：

scalaVersion := "2.10.6"

和库依赖项：

libraryDependencies ++= Seq(
  "com.datastax.spark" %% "spark-cassandra-connector" % "1.6.0",
  "com.datastax.cassandra" % "cassandra-driver-core" % "3.0.2",
  "org.apache.spark" %% "spark-core" % "1.6.1" % "provided",
  "org.apache.spark" %% "spark-sql" % "1.6.1" % "provided"
)

使用 5-minute quick start guide 中的这个配置示例工作正常。

将数据从 Spark 保存到 Cassandra 结果 java.lang.ClassCastException

Saving data from Spark to Cassandra results in java.lang.ClassCastException

scala

apache-spark

spark-cassandra-connector