ADF 限制：一条管道中的 COPY 数据活动数？

Question

我有大约 25 个具有不同列（BLOB 存储）的 CSV 文件，每个文件大约有 250 列，我想加载它 Azure SQL 数据库单独表（基本层）。

创建了一个包含 10 个 COPY 数据 Activity (CDA) 的管道，所有这些都在一个管道中并行开始并执行了它。 ADF 管道保持运行不执行任何任务。当我将 CDA 减少到 7 时，管道开始工作并在几秒钟内加载数据。要检查 SQL 数据库是否有任何连接限制，同时执行 3 个管道，每个管道有 7 个 CDA，并且它有效。

这里的问题是 --> 我们可以在管道中拥有的 CDA 数量是否 Restriction/Limitation。如果是，可以做些什么来改变它？

-谢谢

--编辑添加了屏幕截图 post 应用提供的解决方案来更改属性并行副本。

Answer 1

是的，有限制。由于您要从 Blob 文件存储转到 Azure SQL 数据库，要增加并行副本的数量，您需要设置 parallelCopies 属性.

"activities":[
    {
        "name": "Sample copy activity",
        "type": "Copy",
        "inputs": [...],
        "outputs": [...],
        "typeProperties": {
            "source": {
                "type": "BlobSource",
            },
            "sink": {
                "type": "AzureSQLDBSink"
            },
            "parallelCopies": 32
        }
    }
]

从文件存储到 non-file 存储 - 将数据复制到 Azure SQL 数据库或 Azure Cosmos DB 时，默认并行复制还取决于接收器层（DTUs/RUs 的数量） .

将数据复制到 Azure Table 时，默认并行副本为 4。

https://docs.microsoft.com/en-us/azure/data-factory/copy-activity-performance-features

ADF 限制：一条管道中的 COPY 数据活动数？

ADF Limitation : Number of COPY Data Activities in One Pipeline?

azure

azure-data-factory

azure-data-factory-2