如何使用数据工厂遍历文件夹并合并其中的所有文件?
How can I iterate over folders and Merge all files in them using data Factory?
我在 Datalake 中存储了年、月、日时尚的文件夹,如下所示。我想使用 ADF 合并特定月份的所有文件。
- 月份
- 01
- 文件 1
- 文件 2
- 02
- 文件 3
- 文件 4
是否可以在 ADF 中实现这一点?
编辑 1 - 我需要将 Month 中的所有文件合并到一个输出文件中。
在上述情况下,文件 1、文件 2、文件 3 和文件 4 将合并为一个文件
是的,您可以通过复制 activity 来实现。
- 创建源并使用通配符路径指定要复制的文件。
2.choose Merge files
接收器中的选项。
3.you 可以在这里定义你的输出文件名。
更新:
我在 Datalake 中存储了年、月、日时尚的文件夹,如下所示。我想使用 ADF 合并特定月份的所有文件。
- 月份
- 01
- 文件 1
- 文件 2
- 02
- 文件 3
- 文件 4
- 01
是否可以在 ADF 中实现这一点?
编辑 1 - 我需要将 Month 中的所有文件合并到一个输出文件中。 在上述情况下,文件 1、文件 2、文件 3 和文件 4 将合并为一个文件
是的,您可以通过复制 activity 来实现。
- 创建源并使用通配符路径指定要复制的文件。
2.choose Merge files
接收器中的选项。
3.you 可以在这里定义你的输出文件名。
更新: