Azure 数据流 activity 处于排队状态数小时

Question

我设置了 Azure 数据流 activity。

它从源中快速获取行，但是当涉及到通过 spark 集群处理行时，对于像 10k 行这样的小样本需要很长时间。这个数据集大约有 40 列。

我想不出为什么要花这么长时间。该进程在该排队状态下保持阻塞状态，我不知道发生了什么。

activity 使用内存优化，设置中有 8 个内核，我使用默认的 IR，奇怪的是，它具有通用功能，4 个内核呈灰色。

Answer 1

使用内存优化的 8 核计算类型创建新的 Azure Integration Runtime。

检查How to create and configure Azure Integration Runtime。

在第 5 步中，填写所需的 计算类型 详细信息，如下所示，然后单击创建。使用此 IR 运行 您的管道。