我们如何在 Apache Spark 中使用多个 Cassandra 设置？

Question

我在两台不同的机器上有两种不同的 Cassandra 设置。我正在尝试从一台机器读取数据，使用 Spark 处理它，然后将结果写入第二个设置。我正在使用 spark-cassandra-connector-java_2.10。当我尝试使用 javaFunctions.writeBuilder 时，它允许我指定键空间和 table 名称，但 Cassandra 主机是从 Spark 上下文中获取的。除了 Spark Context 中提到的以外，是否有其他方法可以将数据写入 Cassandra 设置？我们如何覆盖此默认设置？

Answer 1

使用以下代码：

SparkConf confForCassandra = new SparkConf().setAppName("ConnectToCassandra")
                .setMaster("local[*]")
                .set("spark.cassandra.connection.host", "<cassandraHost>");

CassandraConnector connector = CassandraConnector.apply(confForCassandra);

javaFunctions(rdd).writerBuilder("keyspace", "table", mapToRow(Table.class)).withConnector(connector).saveToCassandra();

我们如何在 Apache Spark 中使用多个 Cassandra 设置？

How do we operate with multiple Cassandra setups in Apache Spark?

apache-spark

spark-cassandra-connector