Spark：使用 reduceByKey 而不是 groupByKey 和 mapByValues

Question

我有一个具有重复值的 RDD，格式如下：

[ {key1: A}, {key1: A}, {key1: B}, {key1: C}, {key2: B}, {key2: B}, {key2: D}, ..]

我希望新的 RDD 具有以下输出并避免重复。

[ {key1: [A,B,C]}, {key2: [B,D]}, ..]

我已经通过将值放入集合中以消除重复项来使用以下代码设法做到这一点。

RDD_unique = RDD_duplicates.groupByKey().mapValues(lambda x: set(x))

但我正在尝试使用

在 1 个命令中更优雅地实现这一点

RDD_unique = RDD_duplicates.reduceByKey(...)

我还没有想出一个 lambda 函数来让我在 reduceByKey 函数中得到相同的结果。

Answer 1

你可以这样做：

data = (sc.parallelize([ {key1: A}, {key1: A}, {key1: B},
  {key1: C}, {key2: B}, {key2: B}, {key2: D}, ..]))

result = (data
  .mapValues(lambda x: {x})
  .reduceByKey(lambda s1, s2: s1.union(s2)))

Spark：使用 reduceByKey 而不是 groupByKey 和 mapByValues

Spark: use reduceByKey instead of groupByKey and mapByValues

python

apache-spark

pyspark