当我使用 repartitionByCassandraReplicator 连接到 Cassandra 时,Spark 挂起
Spark hangs when I connect to Cassandra with repartitionByCassandraReplicator
每当我尝试像这样查询我的 cassandra 数据库时:
sc.parallelize(keys).repartitionByCassandraReplica("keyspace","mytable")
.joinWithCassandraTable("keyspace", "mytable")
.select("whatever")
我的 spark 作业将无限期地挂在日志中的这一行:
INFO CassandraConnector: Disconnected from Cassandra cluster: mycluster
原来这个问题是由于我通过 CCM 运行 cassandra 造成的。当我直接安装 运行 cassandra 时,问题就消失了。
每当我尝试像这样查询我的 cassandra 数据库时:
sc.parallelize(keys).repartitionByCassandraReplica("keyspace","mytable")
.joinWithCassandraTable("keyspace", "mytable")
.select("whatever")
我的 spark 作业将无限期地挂在日志中的这一行:
INFO CassandraConnector: Disconnected from Cassandra cluster: mycluster
原来这个问题是由于我通过 CCM 运行 cassandra 造成的。当我直接安装 运行 cassandra 时,问题就消失了。