将 pyspark.rdd.PipelinedRDD 对象转换为 Pyspark 数据帧时获取空值

Question

我的数据集有一列名为 'eventAction'。

它具有 'conversion'、'purchase'、'check-out' 等值。我想转换此列以将转换映射到 1 和所有其他类别到 0.

我是这样使用 lambda 函数的：

e1 = event1.rdd.map(lambda x: 1 if x.eventAction == 'conversion' else 0)

其中 event1 是我的 spark 数据帧的名称。

打印时 e1 我得到这个：

print(e1.take(5))
[0, 0, 0, 0, 0]

所以我认为 lambda 函数工作正常。现在，当我转换为 pyspark 数据帧时，我得到空值，如下所示：

schema1 = StructType([StructField('conversion',IntegerType(),True)])
df = spark.createDataFrame(data=[e1],schema=schema1)
df.printSchema()
df.show()

如果你能帮我解决这个问题就太好了。

谢谢！

Answer 1

spark.createDataFrame 期望 Row 的 RDD，而不是整数的 RDD。在转换为数据帧之前，您需要将 RDD map 转换为 Row 对象。请注意，e1.

两边不需要添加方括号

from pyspark.sql import Row

e1 = event1.rdd.map(lambda x: 1 if x.eventAction == 'conversion' else 0).map(lambda x: Row(x))
schema1 = StructType([StructField('conversion',IntegerType(),True)])
df = spark.createDataFrame(data=e1,schema=schema1)

就是说，您尝试做的事情应该可以使用 Spark SQL when 函数轻松完成。无需将 RDD 与自定义 lambda 函数一起使用。例如

import pyspark.sql.functions as F

df = events.select(F.when(F.col('eventAction') == 'conversion', 1).otherwise(0).alias('conversion'))

将 pyspark.rdd.PipelinedRDD 对象转换为 Pyspark 数据帧时获取空值

Getting null values when converting pyspark.rdd.PipelinedRDD object into Pyspark dataframe

python

apache-spark

pyspark

apache-spark-sql

rdd