如何使用 Databricks dbutils 从文件夹中删除所有文件

Question

谁能告诉我如何使用 databricks dbutils 删除文件夹中的所有文件。我尝试了以下但不幸的是，Databricks 不支持通配符。

dbutils.fs.rm('adl://azurelake.azuredatalakestore.net/landing/stageone/*')

谢谢

Answer 1

根据documentation，rm函数接收2个参数：

rm(dir: String, recurse: boolean = false): boolean -> 删除文件或目录

其中第二个参数是设置递归的布尔标志，所以你只需要将它设置为true:

dbutils.fs.rm('adl://azurelake.azuredatalakestore.net/landing/stageone/',True)

Answer 2

像这样的东西应该可以工作：

val PATH = "adl://azurelake.azuredatalakestore.net/landing/stageone/"
dbutils.fs.ls(PATH)
            .map(_.name)
            .foreach((file: String) => dbutils.fs.rm(PATH + file, true))

如何使用 Databricks dbutils 从文件夹中删除所有文件

How to delete all files from folder with Databricks dbutils

databricks

azure-databricks