Azure 数据工厂副本 Activity - 附加到 JSON 文件

Question

我正在创建一个数据工厂管道，将数据从 REST API 端点复制到 Azure Blob 存储。 API 有一次只能返回 1000 条记录的限制，因此我在我的管道中构建了一个循环，它将遍历所有页面。我想知道的是 - 是否可以使用副本 activity 附加到 Azure Blob 中的同一文件，而不是为每个页面创建一个单独的文件？

下面是 API 响应的样子。我需要从每个响应中获得的唯一值是“记录”列表，所以我在想，如果可能的话，我可以去掉其他的东西，并在循环运行时继续附加到同一个文件——尽管我不这样做知道副本 activity 是否能够做到这一点。这可能吗？或者唯一的方法是将所有响应作为单独的文件存储在 Blob 存储中，然后在事后合并它们？

谢谢

{
    "totalResults": 8483,
    "pageResults": 3,
    "timeStamp": "2020/08/24 10:43:26",
    "parameters": {
        "page": 1,
        "resultsPerPage": 3,
        "filters": [],
        "fields": [
            "lastName",
            "firstName",
            "checklistItemsAssigned",
            "checklistItemsStarted",
            "checklistItemsCompleted",
            "checklistItemsOverdue"
        ],
        "sort": {
            "field": "lastName",
            "direction": "asc"
        }
    },
    "records": [
        {
            "checklistItemsAssigned": 10,
            "lastName": "One",
            "firstName": "Person",
            "checklistItemsOverdue": 0,
            "checklistItemsStarted": 10,
            "checklistItemsCompleted": 10
        },
        {
            "checklistItemsAssigned": 5,
            "lastName": "Two",
            "firstName": "Person",
            "checklistItemsOverdue": 0,
            "checklistItemsStarted": 5,
            "checklistItemsCompleted": 5
        },
        {
            "checklistItemsAssigned": 5,
            "lastName": "Three",
            "firstName": "Person",
            "checklistItemsOverdue": 0,
            "checklistItemsStarted": 5,
            "checklistItemsCompleted": 5
        }
    ]
}

Answer 1

ADF 的复制 activity 支持从块、附加或页类型的 blob 复制 blob，但将数据复制到仅块 blob。 Blobk blob 只能被覆盖。您或许可以使用 Storage SDK 创建附加类型的 blob，但对于大多数项目来说，这都有些矫枉过正。我会在最后阶段创建新的 blob 并合并它们。

Azure 数据工厂副本 Activity - 附加到 JSON 文件

Azure Data Factory Copy Activity - Append to JSON File

azure-data-factory

azure-blob-storage

copy-activity