使用 TTL 将 Spark 保存到 Cassandra
Spark saving to Cassandra with TTL
我正在使用 Spark-Cassandra 连接器 1.1.0 和 Cassandra 2.0.12。
我通过 saveToCassandra() Java API 方法将 RDD 写入 Cassandra。
有没有办法通过连接器设置持久记录的 TTL 属性?
谢谢,
晒
不幸的是,似乎没有办法(据我所知)使用连接器的 1.1.0 版执行此操作。但是在 1.2.0-alpha3 中有一个方法。
saveToCassandra()
is a wrapper over WriterBuilder which has a withTTL
方法。您可以使用 writerBuilder(keyspace,table,rowWriter).withTTL(seconds).saveToCassandra()
而不是 saveToCassandra
。
是的,我们可以做到。
只需在创建 sparkConf 对象时设置 spark 配置键“spark.cassandra.output.ttl”。
注意:值应以秒为单位
我正在使用 Spark-Cassandra 连接器 1.1.0 和 Cassandra 2.0.12。
我通过 saveToCassandra() Java API 方法将 RDD 写入 Cassandra。
有没有办法通过连接器设置持久记录的 TTL 属性?
谢谢,
晒
不幸的是,似乎没有办法(据我所知)使用连接器的 1.1.0 版执行此操作。但是在 1.2.0-alpha3 中有一个方法。
saveToCassandra()
is a wrapper over WriterBuilder which has a withTTL
方法。您可以使用 writerBuilder(keyspace,table,rowWriter).withTTL(seconds).saveToCassandra()
而不是 saveToCassandra
。
是的,我们可以做到。 只需在创建 sparkConf 对象时设置 spark 配置键“spark.cassandra.output.ttl”。
注意:值应以秒为单位