仅当文件不存在时才使用 dbtuils 复制 Databricks 文件

Question

我正在使用以下 databricks 实用程序 (dbutils) 命令将文件从一个位置复制到另一个位置，如下所示：

dbutils.fs.cp('adl://dblake.azuredatalakestore.net/jfolder2/thisfile.csv','adl://cadblake.azuredatalakestore.net/landing/')

但是，我希望仅当不存在具有相同名称“thisfile.csv”的此类文件时才复制该文件。

谁能告诉我这是否可行？

如果没有，是否有其他解决方法？

Answer 1

dbutils.fs.ls() 列出给定路径中的文件。

所以你可以在复制文件之前检查thisfile.csv是否存在:

if "thisfile.csv" not in [file.name for file in dbutils.fs.ls("adl://cadblake.azuredatalakestore.net/landing/")]:
    dbutils.fs.cp("adl://dblake.azuredatalakestore.net/jfolder2/thisfile.csv", "adl://cadblake.azuredatalakestore.net/landing/")

仅当文件不存在时才使用 dbtuils 复制 Databricks 文件

Databricks file copy with dbtuils only if file doesn't exist

databricks

azure-databricks