PySpark 当项目在列表中时

Question

以下是我要实现的操作：

types = ["200","300"]
def Count(ID):
    cnd = F.when((**F.col("type") in types**), 1).otherwise(F.lit(0))
    return F.sum(cnd).alias("CountTypes")

粗体语法不正确，关于如何在此处获得 PySpark 的正确语法有什么建议吗？

Answer 1

我不确定您要实现的目标，但这是正确的语法：

types = ["200","300"]
from pyspark.sql import functions as F

cnd = F.when(F.col("type").isin(types),F.lit(1)).otherwise(F.lit(0))
sum_on_cnd = F.sum(cnd).alias("count_types")
# Column<b'sum(CASE WHEN (type IN (200, 300)) THEN 1 ELSE 0 END) AS `count_types`'>

PySpark 当项目在列表中时

PySpark When item in list

apache-spark

pyspark

pyspark-sql