ADFv2 排队时间

ADFv2 Queue time

我有一个包含一些复制活动的管道。其中一些活动负责将大量数据从一个存储帐户复制到同一个存储帐户,但是以压缩的方式(我说的是几 TB 的数据)。

在管道 运行 几个小时后,我注意到一些活动显示 "Queue" 监控时间 blade 我想知道这可能是什么原因 "Queue" 时间。更重要的是,如果我在那个时间被计费,也是因为据我了解,我的 ADF 没有做任何事情。

有人可以解释一下吗? :)

根据此 ADF Monitor 中的图表,您可以在示例中找到相同的指标。

其实就是executionDetails参数里面的指标。Queue Time+ Transfer Time= Duration Time.

More details on the stages copy activity goes through, and the corresponding steps, duration, used configurations, etc. It's not recommended to parse this section as it may change.

请参考Parallel Copy,复制activity会创建并行任务在内部传输数据。活动在排队时间和中转时间都处于活动状态,在排队时间内从不停止,以便在整个持续时间内计费。我认为这是数据传输过程中不可避免的损失,已经被adf内部消化了。您可以尝试调整 parallelCopies 参数以查看是否有任何变化。

如果您确实担心费用,可以提交反馈here 以征求 Azure 团队的声明。

(由于评论字符数限制,将此作为答案发布)

在与 Azure 支持进行了长时间的讨论并联系了 ADF 产品团队的某个人之后,我得到了一些答案:

1 - 排队时间未计费。

2 - 最初,编排 ADF 系统将作业放入队列中,它会得到 "queue time",直到基础架构拾取它并开始处理部分。

3 - 在我的例子中,由于底层后端执行器(它使用 Azure Batch)中的错误,作业开始后排队时间增加了。显然执行者崩溃了,我的工作受到 "re-pickup" 时间的困扰,从而增加了排队时间。这解释了为什么一段时间后我开始看到执行时间和传输的数据在减少。此错误修复的预计到达时间为月底。此外,我正在执行的工作超时(7 天后),在检查账单后我确认我没有为此收取一毛钱。