火花连接到卡桑德拉，失败操作打开连接

Question

这是我的build.sbt

name := "cassandra_test"

version := "1.0"

scalaVersion := "2.10.6"

libraryDependencies ++= Seq("com.databricks" %% "spark-avro" % "2.0.1",
"org.apache.spark" %% "spark-sql" % "1.6.0",
"org.apache.spark" %% "spark-core" % "1.6.0",
"com.datastax.spark" %% "spark-cassandra-connector" % "1.5.0")

并且我已经安装了 Cassandra 3.2（编辑：现在使用 2.1.12），我相信 yaml 的内容是我收集到的正确内容：

rpc_address: 127.0.0.1 (EDIT: now 0.0.0.0)
rpc_port: 9160
start_rpc: true
broadcast_rpc_address: 127.0.0.1

我可以通过 cqlsh 启动会话、创建表、查询等。

但是，当我尝试使用 spark 连接时，我总是得到：

 java.io.IOException: Failed to open native connection to Cassandra at {127.0.0.1}:9160

这些是我的 scala 代码的内容

import com.datastax.spark.connector._
import org.apache.spark.sql._
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
import org.apache.spark.sql._
import com.datastax.spark.connector._

object cassandra_test{

  def main(args: Array[String]){

    val conf = new SparkConf(true).set("spark.cassandra.connection.host", "127.0.0.1").set("spark.cassandra.connection.port", "9160")
    val sc = new SparkContext("local", "Cassandra Connector Test", conf)
    val rdd = sc.cassandraTable("test", "kv")
    println(rdd.count)
   }
}

我四处寻找答案，但我认为我已经涵盖了我所看到的所有可能性。我还尝试用实际 IP 地址替换本地主机 IP 地址。这样做我可以通过 cqlsh 连接，但不能通过 spark 连接。

在设置 conf 时也尝试用 "localhost" 替换“127.0.0.1”，但无济于事。

根据 github 页面，cassandra 连接器似乎也是正确的版本。

不幸的是，没有更多关于尝试的想法！

有什么问题吗？

====================================== =============

编辑：所以我终于解决了这个问题。首先，我在本地编译了连接器库，这样我就可以 link 它作为一个 jar 文件并用以下命令打开它：

spark-shell --jars /mnt/spark-cassandra-connector/spark-cassandra-connector/target/scala-2.10/spark-cassandra-connector-assembly-1.6.0-M1-12-gc37bb3c.jar --master local

注意 --master local。那是缺少的重要部分。然后我会运行在 shell:

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.sql

sc.stop
import com.datastax.spark.connector._
val conf = new SparkConf(true).set("spark.cassandra.connection.host","localhost")
val rdd = sc.cassandraTable("test", "kv")
println(rdd.count)

如果 shell 命令中没有 --master local 部分，这总是会失败。

在 scala 代码中，这意味着将 conf 的定义更改为：

val conf = new SparkConf(true).set("spark.cassandra.connection.host", "localhost").setMaster("local")

也成功了。

我还是不太明白这是怎么回事，如果有人愿意解释一下，那就太棒了。

Answer 1

Spark Cassandra 连接器不支持 Cassandra 3.2。您应该使用较低版本，请参阅其 GitHub repo.

自述文件中的版本兼容性 sheet

Answer 2

您的工作代码和非工作代码之间的唯一区别是使用 localhost 而不是 127.0.0.1 作为密钥 spark.cassandra.connection.host，这应该是您问题的根本原因。

一个有点不相关的提示：您可以使用标志 --packages com.datastax.spark:spark-cassandra-connector:1.6.0-M1 启动 spark-shell 以避免自己编译 jar。

火花连接到卡桑德拉，失败操作打开连接

spark connection to cassandra, fail op open connection

scala

cassandra

apache-spark

spark-cassandra-connector