从 Cassandra table 列批量复制到文件

Bulk copy from Cassandra table column to a file

我需要将 cassandra 数据库列复制到文件中。
该数据库有 1500 万条记录，其中包含以下列。我想将付款列数据复制到一个文件中。因为是生产环境，会导致cassandra集群压力大

userid      | contract | payment | createdDate

有什么建议吗？

在 1500 万个支付细节中，我们想要修改其中的几个（基于某些条件）并插入到不同的 Cassandra table。

正在复制到文件 -> 处理它 -> 将它写入新数据库 table。这就是计划。但首先如何从 cassandra 数据库中获取列的副本。

问候 基兰

您可以使用Spark + Spark Cassandra Connector (SCC) 进行数据加载、修改和回写。 SCC 有许多旋钮，您可以使用它们来调整吞吐量，以便在读取和写入时不会使集群过载。

如果您没有 Spark，您仍然可以在获取数据时使用类似的方法 - 不发出 select * from table（这会使处理请求的节点过载），而是执行数据的加载通过特定的令牌范围，因此查询将转到不同的服务器并且不会使它们过载太多。您可以找到按令牌范围 here.

进行扫描的代码示例