根据 pyspark RDD 检查列表中的项目

Question

我有以下带有 ID 及其计数的 pyspark RDD：

rdd = [('12', 560), ('34', 900), ('56', 800), ('78', 100), ('910', 220), ('125', 410), ('111', 41), etc.]

我有一个常规列表：

id_list = ['12', '125', '78']

我想要一个新的键列表，来自 id_list 的 'id' 和来自 rdd 的 'counts' 的值对。

所以预期输出：

new_list = [('12', 560), ('125', 410), ('78', 100)]

如果 rdd 是一个 python 字典，我可以遍历 id_list，检查它是否在字典中，并 return 一个包含键和计数的新列表。但是我不知道如何使用 RDD 来做到这一点。请指教

我可能会尝试将 RDD 转换成字典，但这会破坏使用 spark 的目的。

Answer 1

您可以使用 lambda 函数过滤 RDD，该函数检查密钥是否在 id_list:

rdd2 = rdd.filter(lambda x: x[0] in id_list)

Checking items in a list against a pyspark RDD