如何在 pyspark 数据帧中的一行中执行 regexp_replace？

Question

我有一个 pyspark 数据框列

df.groupBy('Gender').count().show()
(5) Spark Jobs
+------+------+
|Gender| count|
+------+------+
|     F| 44015|
|  null| 42175|
|     M|104423|
|      |     1|
+------+------+

我在做regexp_replace

#df = df.fillna({'Gender':'missing'})
df = df.withColumn('Gender', regexp_replace('Gender', 'F','Female'))
df = df.withColumn('Gender', regexp_replace('Gender', 'M','Male'))
df = df.withColumn('Gender', regexp_replace('Gender', ' ','missing'))

不是为每一行都调用 df，这可以在一行中完成吗？

Answer 1

如果不想使用regexp_replace3次，可以使用when/otherwise 子句。

from pyspark.sql import functions as F
from pyspark.sql.functions import when

df.withColumn("Gender", F.when(F.col("Gender")=='F',F.lit("Female"))\
              .when(F.col("Gender")=='M',F.lit("Male"))\
              .otherwise(F.lit("missing"))).show()

+-------+------+
| Gender| count|
+-------+------+
| Female| 44015|
|missing| 42175|
|   Male|104423|
|missing|     1|
+-------+------+

或者您可以像这样在一行中完成三个 regexp_replace：

from pyspark.sql.functions import regexp_replace
df.withColumn('Gender', regexp_replace(regexp_replace(regexp_replace('Gender', 'F','Female'),'M','Male'),' ','missing')).show()

+-------+------+
| Gender| count|
+-------+------+
| Female| 44015|
|   null| 42175|
|   Male|104423|
|missing|     1|
+-------+------+

我认为 when/otherwise 应该优于 3 regexp_replace功能，因为您也需要与它们一起使用 fillna。

如何在 pyspark 数据帧中的一行中执行 regexp_replace？

How to do regexp_replace in one line in pyspark dataframe?

pyspark

pyspark-dataframes