以编程方式删除 Data Lake Storage 中的文件
Programmatically delete files in Data Lake Storage
我正在将数据导入 Azure Data Lake 并使用 Data Lake Analytics 使用 U-SQL 将其从 JSON 格式转换为 CSV。转换后我想删除 JSON 格式的数据。好像不能用U-SQL删除文件。
我想知道安排一个任务的最佳方法是什么 运行 每 24 小时将删除所有已转换的数据。
提前致谢。
我会使用 powershell 和 azure 自动化：
https://docs.microsoft.com/en-us/azure/automation/automation-first-runbook-textual-powershell
我认为这应该可以帮助您入门：
Remove-AzureRmDataLakeStoreItem -AccountName $dataLakeStoreName -Paths $myrootdir\mynewdirectory\vehicle1_09142014.csv, $myrootdir\mynewdirectoryvehicle1_09142014_Copy.csv
以下是有关使用 ADL 的 powershell 的更多信息：
https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-get-started-powershell
您还可以使用来自 Azure 数据工厂的批处理作业，或者甚至可以使用来自逻辑应用程序的简单 Webhook，有很多选项。
我正在将数据导入 Azure Data Lake 并使用 Data Lake Analytics 使用 U-SQL 将其从 JSON 格式转换为 CSV。转换后我想删除 JSON 格式的数据。好像不能用U-SQL删除文件。
我想知道安排一个任务的最佳方法是什么 运行 每 24 小时将删除所有已转换的数据。
提前致谢。
我会使用 powershell 和 azure 自动化： https://docs.microsoft.com/en-us/azure/automation/automation-first-runbook-textual-powershell
我认为这应该可以帮助您入门：
Remove-AzureRmDataLakeStoreItem -AccountName $dataLakeStoreName -Paths $myrootdir\mynewdirectory\vehicle1_09142014.csv, $myrootdir\mynewdirectoryvehicle1_09142014_Copy.csv
以下是有关使用 ADL 的 powershell 的更多信息： https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-get-started-powershell
您还可以使用来自 Azure 数据工厂的批处理作业，或者甚至可以使用来自逻辑应用程序的简单 Webhook，有很多选项。