AttributeError: 'NoneType' object has no attribute 'write in Pyspark

Question

星火：2.4.4 Pyspark

我已经注册了临时文件 table 并尝试将输出保存到 csv 文件。 但出现错误 "AttributeError: 'NoneType' object has no attribute 'write'"

data.registerTempTable("data")
output = spark.sql("SELECT col1,col2,col3 FROM data").show(truncate = False)

output.write.format('.csv').save("D:/BPR-spark/sourcefile/filtered.csv")

请帮忙

Answer 1

您正在将 show() 的结果分配给变量 output 和 show() 没有 return 值。

所以，你想把Dataframe赋值给变量output，然后这样保存：

data.registerTempTable("data")
output = spark.sql("SELECT col1,col2,col3 FROM data")
output.write.format('.csv').save("D:/BPR-spark/sourcefile/filtered.csv")