pyspark 未连接到本地 cassandra

Question

我正在尝试使用 pyspark 从 cassandra table 读取数据。我使用的代码如下所示

import pandas as pd
import numpy as np
from pyspark import *
import os
from pyspark.sql import SQLContext

os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages com.datastax.spark:spark-cassandra-connector_2.12:3.0.0 --conf spark.cassandra.connection.host=127.0.0.1 pyspark-shell'
conf = SparkConf().set("spark.cassandra.connection.host", "127.0.0.1").set("spark.cassandra.connection.port", "9042").setAppName("Sentinel").setMaster("spark://Suraj-Vashistha-Laptop:7077")
sc = SparkContext(conf=conf)
sqlContext = SQLContext(sc)

table_df = sqlContext.read\
        .format("org.apache.spark.sql.cassandra")\
        .options(table='movies', keyspace='practice')\
        .load()

我什至用过 spark-cassandra-connector 版本 3.0.0 , python 3

Spark 启动并运行ning 如下所示：

因此，如上所示，有一个 spark 实例已初始化并处于等待状态。默认是运行ning localhost:8080

Cassandra 也启动了运行ning：

Cassandra 也在运行宁 localhost:9042

所以两者都在本地机器上。尽管如此，我仍然无法连接和运行代码。我收到以下错误：

Py4JJavaError: An error occurred while calling o36.load.
: java.io.IOException: Failed to open native connection to Cassandra at {127.0.0.1:9042} :: Could not reach any contact point, make sure you've provided valid addresses

关于堆栈溢出也有类似的问题，但它们都是 2 或 3 岁以上的问题，none 的答案对我有用。因此，我再次提出这个问题以获得新的视角。

我的cassandra版本详细信息是[cqlsh 6.0.0 |卡桑德拉 4.0 | CQL 规范 3.4.5 |本机协议 v5]

我只保留了最新版本的所有内容。

所以，我无法弄清楚出了什么问题，因为一切似乎都正常运行ning，但错误提示无法联系到任何联系点。出了什么问题？？

编辑：我最近能够使用完全相同的代码并连接到托管在不同 IP (10.160.0.2) 上的 cassandra 数据库，但对于本地主机它不起作用。

EDIT2：我在 spark-shell 上逐行执行了相同的代码（我有本地主机而不是第一个编辑 IP 的代码）。我将它启动为 spark-shell --packages datastax 的 cassandra 连接器。因此，我观察到在到达 .load() 或 .show() 或 .first() 之前一切正常。我可以执行以下操作

val conf = new SparkConf(true).set("spark.cassandra.connection.host", cassandraHost)
val sc = new SparkContext("spark://" + sparkMasterHost + ":7077", "example", conf)
val rdd = sc.cassandraTable(keyspace, table)

此时输出（我已经放在下一行）是一个 object 创建的并且到现在为止没有发现错误

rdd: com.datastax.spark.connector.rdd.CassandraTableScanRDD[com.datastax.spark.connector.CassandraRow] = CassandraTableScanRDD[0] at RDD at CassandraRDD.scala:18

接下来当我尝试执行 rdd.show() 或 rdd.first() 或 rdd.collect() 时会出现问题。我得到了我在上面的问题中发布的相同错误（无法打开本机连接，无法到达任何联系点）。

Answer 1

此异常表明您很可能遇到网络连接问题：

java.io.IOException: Failed to open native connection to Cassandra at {127.0.0.1:9042} :: \
  Could not reach any contact point, make sure you've provided valid addresses

您的 pyspark 应用程序无法连接到端口 9042 上的 localhost。检查您是否没有阻止访问 Cassandra 节点的软件防火墙，例如 iptables 或 firewalld。

要检查的另一件事是您为 rpc_address 配置的 IP。作为测试的替代方法，将 RPC 地址设置为笔记本电脑的 IP 并重新启动 Cassandra。然后在 pyspark 配置中将 spark.cassandra.connection.host 设置为笔记本电脑的 IP 以查看它是否有效。

作为旁注，您在第二次编辑中说明了这一点：

I launched it as spark-shell --packages the cassandra connector of datastax. So, I observed that all works fine till I reach the .load() or .show() or .first().

原因是 Spark 中的计算是惰性的——在您调用操作之前不会执行任何操作。在调用 collect() 之类的操作之前，您不会看到任何错误，因为在代码中的那个点之前不会执行任何操作。干杯！

pyspark 未连接到本地 cassandra

pyspark not connecting to local cassandra

python

pyspark

cassandra

datastax

spark-cassandra-connector