为什么 SSIS(通过 Powershell)在数据集很大时删除“.csv”和后续的“.zip”文件,而不是仅仅删除“.csv”?
Why is SSIS (via Powershell) deleting '.csv' AND subsequent '.zip' files instead of JUST deleting the '.csv', when dataset is large?
- 从 SQL 服务器 table 提取数据到 CSV <-WORKS
- 压缩 CSV (powershell) <-WORKS
- 仅删除 CSV (powershell) <-对于 500k 的行计数失败,对于 100k 的 rc 有效
第 3 步继续删除 CSV 文件和 ZIP 文件。
我可以看到这种情况发生,因为我可以看到文件出现在资源管理器中,然后消失。
我真的不明白这怎么可能。
步骤 2 和步骤 3 都对工作目录使用相同的参数(带有双反斜杠)。我想这一定能在文件创建和删除时正常工作。
步骤2中压缩文件的命令是一个表达式:
“压缩存档”+@[param::outputfilename_as_csv]+“”+@[User::outputfilename_as_zip]
其中 'outputfilename' 是一个带时间戳的文件名,使用 [System::ContainerStartTime] 以确保始终使用相同的时间戳,并且 'as XXX' 与 .csv 或 .zip 相同(根据需要)。
仅删除csv文件的命令是:
“删除项目” + @[param::outputfilename_as_csv]
显然 'delete CSV' 部分是正确的,有效的 directory/filename 和 'delete' 命令都有效并成功删除了 CSV 文件。
但为什么还要删除 ZIP?
我没有告诉 'remove-item' 处理文件夹,也没有包含任何通配符。字面意思就是那个,特别命名的文件。
更奇怪的是,如果我 select 视图中的 TOP 100k,它工作正常,但是增加到 TOP 500k 并且 zip 文件突然再次被删除!
有什么想法吗?
其他信息:
'execute process' 任务与 'executable' 设置为 'C:\Windows\System32\WindowsPowerShell\v1.0\powershell.exe'
一起使用
我正在使用 SSDT 2015
它没有删除这两个文件。
ZIP 创建崩溃,尽管它远低于 powershell 的 2GB 限制,并且不会留下任何 zip 文件。
最终结果是它似乎删除了两个文件。
- 从 SQL 服务器 table 提取数据到 CSV <-WORKS
- 压缩 CSV (powershell) <-WORKS
- 仅删除 CSV (powershell) <-对于 500k 的行计数失败,对于 100k 的 rc 有效
第 3 步继续删除 CSV 文件和 ZIP 文件。 我可以看到这种情况发生,因为我可以看到文件出现在资源管理器中,然后消失。 我真的不明白这怎么可能。
步骤 2 和步骤 3 都对工作目录使用相同的参数(带有双反斜杠)。我想这一定能在文件创建和删除时正常工作。
步骤2中压缩文件的命令是一个表达式: “压缩存档”+@[param::outputfilename_as_csv]+“”+@[User::outputfilename_as_zip]
其中 'outputfilename' 是一个带时间戳的文件名,使用 [System::ContainerStartTime] 以确保始终使用相同的时间戳,并且 'as XXX' 与 .csv 或 .zip 相同(根据需要)。
仅删除csv文件的命令是: “删除项目” + @[param::outputfilename_as_csv]
显然 'delete CSV' 部分是正确的,有效的 directory/filename 和 'delete' 命令都有效并成功删除了 CSV 文件。
但为什么还要删除 ZIP? 我没有告诉 'remove-item' 处理文件夹,也没有包含任何通配符。字面意思就是那个,特别命名的文件。
更奇怪的是,如果我 select 视图中的 TOP 100k,它工作正常,但是增加到 TOP 500k 并且 zip 文件突然再次被删除!
有什么想法吗?
其他信息: 'execute process' 任务与 'executable' 设置为 'C:\Windows\System32\WindowsPowerShell\v1.0\powershell.exe'
一起使用我正在使用 SSDT 2015
它没有删除这两个文件。 ZIP 创建崩溃,尽管它远低于 powershell 的 2GB 限制,并且不会留下任何 zip 文件。
最终结果是它似乎删除了两个文件。