如何重命名保存在 Azure 数据湖中的文件

Question

我尝试在数据块中使用 scala 合并 Datalake 中的两个文件，并使用以下代码将其保存回 Datalake：

val df =sqlContext.read.format("com.databricks.spark.csv").option("header", "true").option("inferSchema", "true").load("adl://xxxxxxxx/Test/CSV") 
df.coalesce(1).write.
              format("com.databricks.spark.csv").
              mode("overwrite").
              option("header", "true").
save("adl://xxxxxxxx/Test/CSV/final_data.csv")

但是文件 final_data.csv 被保存为目录而不是包含多个文件的文件，实际的 .csv 文件被保存为 'part-00000-tid-dddddddddd-xxxxxxxxxx.csv'.

如何重命名此文件以便将其移动到另一个目录？

Answer 1

知道了。它可以使用以下代码重命名并放置到另一个目的地。合并的当前文件也将被删除。

val x = "Source"
val y = "Destination"
val df = sqlContext.read.format("csv")
        .option("header", "true").option("inferSchema", "true")
        .load(x+"/")
df.repartition(1).write.
   format("csv").
   mode("overwrite").
   option("header", "true").
   save(y+"/"+"final_data.csv")
dbutils.fs.ls(x).filter(file=>file.name.endsWith("csv")).foreach(f => dbutils.fs.rm(f.path,true))
dbutils.fs.mv(dbutils.fs.ls(y+"/"+"final_data.csv").filter(file=>file.name.startsWith("part-00000"))(0).path,y+"/"+"data.csv")
dbutils.fs.rm(y+"/"+"final_data.csv",true)

如何重命名保存在 Azure 数据湖中的文件

How do I rename the file that was saved on a datalake in Azure

scala

azure-data-lake

azure-databricks