数据工厂 - 是否可以对链接服务设置并发限制?
Data Factory - is it possible to set a concurrency limit on a linked service?
我将 Azure 数据工厂与 Azure 数据仓库一起使用,我想增加连接的资源 Class。为了避免任务被迫等待并发槽变为可用的数据库,我想知道是否可以告诉数据工厂它只能 运行 2 个针对已定义数据源的活动时间。希望这有助于防止在等待并发插槽可用的数据库中暂停的任务出现任何超时。
我的数据工厂有两个并行管道,它们可能同时使用同一个数据库。
是否可以为链接服务设置全局并发限制?
简而言之,没有。
目前 ADF 并发仅设置在 activity 级别。
选项 1
您可以创建一些假数据集以在 ADF 中强制执行依赖关系以跨管道链接活动。不理想,有点凌乱。
选项 2
在 SQL DW 中限制 ADF 连接用户的资源 class 并让它处理查询队列而不是 ADF。但是请注意您的 ADF 超时值,如果您这样做,如果超过超时,ADF 将终止执行,因为它不知道其调用的服务中的操作。
希望对您有所帮助。
我将 Azure 数据工厂与 Azure 数据仓库一起使用,我想增加连接的资源 Class。为了避免任务被迫等待并发槽变为可用的数据库,我想知道是否可以告诉数据工厂它只能 运行 2 个针对已定义数据源的活动时间。希望这有助于防止在等待并发插槽可用的数据库中暂停的任务出现任何超时。
我的数据工厂有两个并行管道,它们可能同时使用同一个数据库。
是否可以为链接服务设置全局并发限制?
简而言之,没有。
目前 ADF 并发仅设置在 activity 级别。
选项 1
您可以创建一些假数据集以在 ADF 中强制执行依赖关系以跨管道链接活动。不理想,有点凌乱。
选项 2
在 SQL DW 中限制 ADF 连接用户的资源 class 并让它处理查询队列而不是 ADF。但是请注意您的 ADF 超时值,如果您这样做,如果超过超时,ADF 将终止执行,因为它不知道其调用的服务中的操作。
希望对您有所帮助。