在 Apache Spark 中检索 Cassandra 分区数据

Question

我在 Cassandra 上按分区键很好地组织了我的数据。我想在 Spark 中检索此数据并保留相同的分区。

我的目标是避免非常大的洗牌。

PS : 我正在使用 Cassandra 2.1 和 Spark 1.5

Answer 1

Spark Cassandra 连接器将 C* 令牌范围读取到 Spark 分区中。这意味着任何给定 Cassandra 分区键的所有值都将在同一个 Spark 分区中。

https://academy.datastax.com/demos/how-spark-cassandra-connector-reads-data