PySpark 将空字符串转换为 null 并写入 Parquet

Question

我正在尝试将空字符串转换为 Null (None)，然后以 Parquet 格式写出。

但是，输出仍然是空字符串而不是 Null (None)。有什么想法我需要改变吗？我正在使用 Spark 2.4 和 Python 3

注意：在应用以下内容之前，我正在检查字符串数据类型的列，但为了简单起见，我省略了这个问题。

from pyspark.sql import functions as psf

for column in df.columns:
    df_new = df.withColumn(
        column,
        psf.when(
            psf.length(
                psf.trim(
                    psf.col(column)
                )
            ) != 0,
            psf.trim(psf.col(column))).otherwise(None))

Answer 1

因为您将转换的 return 值分配给 df_new，并且 Spark 转换会创建一个 new DataFrame（DataFrame 是不可变结构），您基本上只更改最后一个（字符串）列。

df = spark.createDataFrame((("a", "b"), ("", "b"), ("a", "")), schema=("A", "B"))

for column in df.columns:
    trimmed = psf.trim(psf.col(column))
    df_new = df.withColumn(
        column,
        psf.when(psf.length(trimmed) != 0, trimmed)
        .otherwise(None))
df_new.show()
# +---+----+
# |  A|   B|
# +---+----+
# |  a|   b|
# |   |   b|
# |  a|null|
# +---+----+

但是，如果您将行 df_new = df.withColumn( 更改为 df = df.withColumn(，您将获得所需的结果：

for column in df.columns:
    trimmed = psf.trim(psf.col(column))
    df = df.withColumn(
        column,
        psf.when(psf.length(trimmed) != 0, trimmed)
        .otherwise(None))

df.show()
# +----+----+
# |   A|   B|
# +----+----+
# |   a|   b|
# |null|   b|
# |   a|null|
# +----+----+

PySpark 将空字符串转换为 null 并写入 Parquet

PySpark convert empty string to null and write in Parquet

python

parquet

pyspark