Pyspark：用数据框中的空值替换所有出现的值

Question

我有一个类似于下面的数据框。我最初用 -1 填充所有空值以在 Pyspark 中进行连接。

df = pd.DataFrame({'Number': ['1', '2', '-1', '-1'],
                   'Letter': ['A', '-1', 'B', 'A'],
                   'Value': [30, 30, 30, -1]})


pyspark_df = spark.createDataFrame(df)

+------+------+-----+
|Number|Letter|Value|
+------+------+-----+
|     1|     A|   30|
|     2|    -1|   30|
|    -1|     B|   30|
|    -1|     A|   -1|
+------+------+-----+

处理数据集后，我需要将所有-1 替换回空值。

+------+------+-----+
|Number|Letter|Value|
+------+------+-----+
|     1|     A|   30|
|     2|  null|   30|
|  null|     B|   30|
|  null|     A| null|
+------+------+-----+

最简单的方法是什么？

Answer 1

when+otherwise 可以解决问题：

import pyspark.sql.functions as F

pyspark_df.select([F.when(F.col(i).cast("Integer") <0 , None).otherwise(F.col(i)).alias(i)
                  for i in df.columns]).show()

+------+------+-----+
|Number|Letter|Value|
+------+------+-----+
|     1|     A|   30|
|     2|  null|   30|
|  null|     B|   30|
|  null|     A| null|
+------+------+-----+

Answer 2

您可以扫描所有列并将 -1 替换为 None:

import pyspark.sql.functions as F

for x in pyspark_df.columns:
    pyspark_df = pyspark_df.withColumn(x, F.when(F.col(x)==-1, F.lit(None)).otherwise(F.col(x)))

pyspark_df.show()

输出：

+------+------+-----+
|Number|Letter|Value|
+------+------+-----+
|     1|     A|   30|
|     2|  null|   30|
|  null|     B|   30|
|  null|     A| null|
+------+------+-----+

Answer 3

使用 reduce 将 when+otherwise 应用于数据框上的所有列。

df.show()
#+------+------+-----+
#|Number|Letter|Value|
#+------+------+-----+
#|     1|     A|   30|
#|     2|    -1|   30|
#|    -1|     B|   30|
#+------+------+-----+
from functools import reduce

(reduce(lambda new_df, col_name: new_df.withColumn(col_name, when(col(col_name)== '-1',lit(None)).otherwise(col(col_name))),df.columns,df)).show()
#+------+------+-----+
#|Number|Letter|Value|
#+------+------+-----+
#|     1|     A|   30|
#|     2|  null|   30|
#|  null|     B|   30|
#+------+------+-----+

Answer 4

另一种不那么冗长的方式是使用 replace.

pyspark_df.replace(-1,None).replace('-1',None).show()

Pyspark：用数据框中的空值替换所有出现的值

Pyspark: Replace all occurrences of a value with null in dataframe

apache-spark

apache-spark-sql

pyspark

pyspark-dataframes