复制子文件夹中的所有文件,将相同的结构移动到存档文件夹并从 Azure 数据工厂中的源中删除
Copy all files from sub folders, move the same structure to archive folder and delete from source in Azure Data Factory
我在 Azure 数据湖(blob 存储)中有如下文件夹结构-->
(着陆 > 应用程序 > delta > table1 > 2021 > 05 > ABC*.csv)
(着陆 > 应用 > delta > table2 > 2021 > 05 > DEF*.csv)
每个月都会为所有表格创建一个新文件夹。
例如:landing > app > delta > table1 > 2021 > 06 > XYZ*.csv
每个子文件夹中有几个文件,
我想将这些文件复制到另一个位置(存档),保持相同的结构,继续将文件附加到存档文件夹,当创建新文件夹时,需要在存档文件夹中复制该结构并且需要移动文件也结束了。文件从源文件夹中移出后,需要将其删除。
(登陆 > app > archive > table1 > 2021 > 05 > ABC*.csv)
(登陆 > app > archive > table2 > 2021 > 05 > DEF*.csv)
如何在 Azure 数据工厂中实现此归档过程?请指教。感谢您的帮助。
谢谢。
请试试这个:
1.create源数据集,select二进制格式(只有二进制格式有deleteFilesAfterCompletion设置)。
2.create 接收器数据集,select 也是二进制格式。
3.create 复制数据 activity 并设置如下截图:
来源:
接收器:
最后,您需要创建一个 blob 创建的事件触发器并发布它们。
我在 Azure 数据湖(blob 存储)中有如下文件夹结构-->
(着陆 > 应用程序 > delta > table1 > 2021 > 05 > ABC*.csv)
(着陆 > 应用 > delta > table2 > 2021 > 05 > DEF*.csv)
每个月都会为所有表格创建一个新文件夹。
例如:landing > app > delta > table1 > 2021 > 06 > XYZ*.csv
每个子文件夹中有几个文件,
我想将这些文件复制到另一个位置(存档),保持相同的结构,继续将文件附加到存档文件夹,当创建新文件夹时,需要在存档文件夹中复制该结构并且需要移动文件也结束了。文件从源文件夹中移出后,需要将其删除。
(登陆 > app > archive > table1 > 2021 > 05 > ABC*.csv)
(登陆 > app > archive > table2 > 2021 > 05 > DEF*.csv)
如何在 Azure 数据工厂中实现此归档过程?请指教。感谢您的帮助。
谢谢。
请试试这个:
1.create源数据集,select二进制格式(只有二进制格式有deleteFilesAfterCompletion设置)。
2.create 接收器数据集,select 也是二进制格式。
3.create 复制数据 activity 并设置如下截图:
来源:
接收器:
最后,您需要创建一个 blob 创建的事件触发器并发布它们。