在 Azure Databricks 中更改文件名

Question

我已经使用数据帧编写器 API 将数据写入 pyspark 数据帧。 如何更改生成的 csv 文件的名称？

Answer 1

您似乎正在尝试使用 spark.write.csv() 方法从 Spark Dataframe 中获取单个 CSV 文件。这将默认创建一个分布式文件。 如果您想要一个具有特定名称的文件，我会推荐以下内容。

df.toPandas().to_csv('/dbfs/path_of_your_file/filename.csv')

使用 Pandas to_csv 满足您需要的参数。