从 Azure Data Factory Pipeline 中的 Azure Data Lake Storage 中删除临时文件（首选 NOSQL）

Question

我们使用 AdLS（Azure 数据湖存储）作为 ADF（Azure 数据工厂 - V2）管道中的临时存储。删除临时存储在 ADLS 中的数据的最佳方法是什么？

U-SQL只支持DDL不支持DML，所以无法使用ADLA(Azure data lake analytics)删除存储在ADLS中的临时数据(文件)

我计划使用 ADF 的 "Web Activity" DELETE 方法，但它使用的令牌会过期，我必须不断更新它们。

谁能告诉我我们还有哪些其他选择？

Answer 1

最好的方法是在 ADF 中使用新的删除 Activity。在你的 ADF UI 的右上角，你可以找到代码部分，点击这里并为删除 activity 编写 JSON 语法（我没有找到 delete activity widget/icon 所以我需要直接写 JSON 代码)

您可以检查语法 here

仅删除的示例管道 activity

{
"name": "DeleteFilePipeline",
"properties": {
    "activities": [
        {
            "name": "DeleteActivity",
            "type": "Delete",
            "policy": {
                "timeout": "7.00:00:00",
                "retry": 0,
                "retryIntervalInSeconds": 30,
                "secureOutput": false,
                "secureInput": false
            },
            "typeProperties": {
                "dataset": {
                    "referenceName": "deleteTest",
                    "type": "DatasetReference"
                },
                "enableLogging": false,
                "maxConcurrentConnections": 1
            }
        }
    ]
}

}

数据集 deleteTest 是 Azure Data Lake Gen1 数据集。

从 Azure Data Factory Pipeline 中的 Azure Data Lake Storage 中删除临时文件（首选 NOSQL）

Delete temporary files from Azure Datalake Storage in a Azure DataFactory Pipeline (USQL preferred)

azure

azure-data-lake

u-sql

azure-data-factory-2