Databricks 文件系统 - 根据日期复制文件

Question

我正在尝试使用 Databricks 实用程序 - dbutils

将文件复制到基于 current_date 和扩展名 .csv 的文件夹

我创建了以下内容：

import datetime
now1 = datetime.datetime.now()
now = now1.strftime("%Y-%m-%d")
from datetime import datetime
today = datetime.today().date()

然后我尝试了以下方法

dbutils.fs.cp('adl://mylake.azuredatalakestore.net/testfolder/*{today}.csv','adl://mylake.azuredatalakestore.net/testfolder/RAW/')

dbutils.fs.cp('adl://mylake.azuredatalakestore.net/testfolder/*{now}.csv','adl://mylake.azuredatalakestore.net/testfolder/RAW/'

但是，我不断收到无效语法错误

有什么想法吗？

Answer 1

dbutils.fs.cp复制单个文件和目录，不进行通配符扩展，参考dbutils.fs.help("cp")。你可以尝试用dbutils.fs.ls列出源目录的内容，在python中过滤结果，然后一个一个复制匹配的文件。

Databricks 文件系统 - 根据日期复制文件

Databricks File System - Copy File based on date

python

databricks