如何过滤并删除 spark python 中的空值

Question

我正在尝试过滤掉列中的空值并计算它是否大于 1。

badRows = df.filter($"_corrupt_record".isNotNull) if badRows.count > 0: logger.error("throwing bad rows exception...") schema_mismatch_exception(None, "cdc", item )

我遇到语法错误。还尝试使用 :

进行检查

badRows = df.filter(col("_corrupt_record").isNotNull), badRows = df.filter(None, col("_corrupt_record")), badRows = df.filter("_corrupt_record isNotnull")

如果_corrupt_record列有数据，正确的过滤方法是什么

Answer 1

尝试，例如

import pyspark.sql.functions as F
...
df.where(F.col("colname").isNotNull()) 
...

您提供的许多选项都不是您注意到的正确语法。