Azure 数据工厂按文件夹合并镶木地板文件

Question

我有一个 ADLS Gen2 帐户（已启用 HNS），其中包含以下格式的镶木地板文件：

-MainFolder
 -SubFolder 1
 -SubFolder 2
   -Year
   -Month
   -Day
     -Parquet file 01
     -Parquet file 02
     -...

我想用Azure Data Factory把最底层的parquet文件合并成一个文件，最终结构应该是这样的。

-MainFolder
 -SubFolder 1
 -SubFolder 2
   -Year
   -Month
   -Day
     -Merged Parquet File

如果我使用"Copy Data" Activiety，我只能在"Merge Files"和"Preserve Hirachie"之间选择。有没有办法做到这一点？感谢您的帮助！

Answer 1

如果合并文件在复制中不适合您 Activity，您可以使用数据流，联合转换可以将多个文件组合成一个文件输出。

Azure Data Factory merge parquet files by folder