使用 Datastax Spark Cassandra 连接器将 PairDStram 写入 cassandra
Write PairDStram to cassandra using Datastax Spark Cassandra Connector
我需要使用 Java 和 Datastax Spark Cassandra Connector 将过滤流的数据写入 cassandra。
我关注了datastax java documentation.
文档解释了如何将 RDD 写入 cassandra,但没有解释如何写入 Dstream。
我需要能够保存一个 PairDStream 但我不知道该怎么做,因为所有示例都是用 scala 编写的。
我需要在 java 的代码中转换以下用 scala 编写的代码:
val wc = stream.flatMap(_.split("\s+"))
.map(x => (x, 1))
.reduceByKey(_ + _)
.saveToCassandra("streaming_test", "words", SomeColumns("word", "count"))
基本上我要存一个JavaPairDStream<String, Integer>
解决方案,以防有人寻找答案
要将DStream或JavaDStream写入Cassandra,需要导入:
import static com.datastax.spark.connector.japi.CassandraStreamingJavaUtil.*;
并使用javaFunctions(DStream<T> arg0)
或javaFunctions(JavaDStream<T> arg0)
我需要使用 Java 和 Datastax Spark Cassandra Connector 将过滤流的数据写入 cassandra。
我关注了datastax java documentation.
文档解释了如何将 RDD 写入 cassandra,但没有解释如何写入 Dstream。
我需要能够保存一个 PairDStream 但我不知道该怎么做,因为所有示例都是用 scala 编写的。
我需要在 java 的代码中转换以下用 scala 编写的代码:
val wc = stream.flatMap(_.split("\s+"))
.map(x => (x, 1))
.reduceByKey(_ + _)
.saveToCassandra("streaming_test", "words", SomeColumns("word", "count"))
基本上我要存一个JavaPairDStream<String, Integer>
解决方案,以防有人寻找答案
要将DStream或JavaDStream写入Cassandra,需要导入:
import static com.datastax.spark.connector.japi.CassandraStreamingJavaUtil.*;
并使用javaFunctions(DStream<T> arg0)
或javaFunctions(JavaDStream<T> arg0)