使用 TTL 将 Spark 保存到 Cassandra

Spark saving to Cassandra with TTL

我正在使用 Spark-Cassandra 连接器 1.1.0 和 Cassandra 2.0.12。

我通过 saveToCassandra() Java API 方法将 RDD 写入 Cassandra。

有没有办法通过连接器设置持久记录的 TTL 属性?

谢谢,

不幸的是,似乎没有办法(据我所知)使用连接器的 1.1.0 版执行此操作。但是在 1.2.0-alpha3 中有一个方法。

saveToCassandra() is a wrapper over WriterBuilder which has a withTTL 方法。您可以使用 writerBuilder(keyspace,table,rowWriter).withTTL(seconds).saveToCassandra() 而不是 saveToCassandra

是的,我们可以做到。 只需在创建 sparkConf 对象时设置 spark 配置键“spark.cassandra.output.ttl”。

注意:值应以秒为单位