pyspark hive - 通过文本文件将 NULL 作为 DB null 插入
pyspark hive - Insert NULL as DB null through text file
将文本文件从 pyspark shell 插入到 hive table。
NULL 值在 table 中被视为字符串。
如果我查询配置单元 table，记录只能使用过滤条件 = 'NULL' 而不是 is null.
重试
任何人都可以建议如何将数据作为 DB NULLS 插入 table
检查您的 spark 数据帧是否为空或 None。
在写入配置单元 table 时将 nullValue 选项设置为
df.write.option('nullValue', None).saveAsTable(path)
这将解决您的问题。
将文本文件从 pyspark shell 插入到 hive table。
NULL 值在 table 中被视为字符串。
如果我查询配置单元 table，记录只能使用过滤条件 = 'NULL' 而不是 is null.
任何人都可以建议如何将数据作为 DB NULLS 插入 table
检查您的 spark 数据帧是否为空或 None。 在写入配置单元 table 时将 nullValue 选项设置为
df.write.option('nullValue', None).saveAsTable(path)
这将解决您的问题。