使用 Copy Foreach 循环重命名 Blob 文件夹?
Rename Blob folders with Copy Foreach loops?
我的 blob 中有一个镶木地板文件层次结构,存储为
yyyy/MM/dd/yyyy_MM_dd_hh_mm_ss_[source].parquet
dd 文件夹在 24 小时内包含多个文件,至少每小时一个。
跨文件夹的示例:
2018/04/01/2018_04_01_06_37_14_ABCXYZ01.Parquet
2019/10/03/2019_10_03_21_52_34_ABCXYZ01.parquet
2020/08/23/2020_08_23_03_00_13_ABCXYZ01.parquet
我希望复制后的文件夹结构是这样的。
Year=2019/Month=04/Day=01/2019_04_01_00_00_00_ABCXYZ01.Parquet
我可能需要复制所有 8GB 的这些文件并遍历,但动态内容代码让我失望。
任何关于方法的帮助都会很棒。如果我不需要迭代,我可以使用副本 activity 和复制行为吗?
谢谢
您需要在接收器数据集中动态生成文件夹路径。请检查下面的实现以获得更好的想法。
第 1 步:GetMetaData activity 从源文件夹中动态获取文件名。
enter image description here
第 2 步:ForEach activity 迭代每个文件并在 ForEach 内部 activity 我正在动态生成目标路径格式并将其存储到 newPath 变量中。
Set 变量中使用的表达式:
Expression
ForEachSetVariable
第 3 步:在 ForEach Activity 内部,复制 activity 具有动态参数的 Sink 数据集以采用新路径。
ForEachCopy
我的 blob 中有一个镶木地板文件层次结构,存储为
yyyy/MM/dd/yyyy_MM_dd_hh_mm_ss_[source].parquet
dd 文件夹在 24 小时内包含多个文件,至少每小时一个。
跨文件夹的示例:
2018/04/01/2018_04_01_06_37_14_ABCXYZ01.Parquet
2019/10/03/2019_10_03_21_52_34_ABCXYZ01.parquet
2020/08/23/2020_08_23_03_00_13_ABCXYZ01.parquet
我希望复制后的文件夹结构是这样的。
Year=2019/Month=04/Day=01/2019_04_01_00_00_00_ABCXYZ01.Parquet
我可能需要复制所有 8GB 的这些文件并遍历,但动态内容代码让我失望。
任何关于方法的帮助都会很棒。如果我不需要迭代,我可以使用副本 activity 和复制行为吗?
谢谢
您需要在接收器数据集中动态生成文件夹路径。请检查下面的实现以获得更好的想法。
第 1 步:GetMetaData activity 从源文件夹中动态获取文件名。 enter image description here
第 2 步:ForEach activity 迭代每个文件并在 ForEach 内部 activity 我正在动态生成目标路径格式并将其存储到 newPath 变量中。 Set 变量中使用的表达式: Expression ForEachSetVariable
第 3 步:在 ForEach Activity 内部,复制 activity 具有动态参数的 Sink 数据集以采用新路径。 ForEachCopy