Azure 数据资源管理器批处理策略修改

Question

我有大量数据从 Eventhub 流向 Azure 数据资源管理器。目前我们没有对batching policy做任何修改，所以是每5分钟调度一次。但是我们需要将它减少到一个较小的值，以便减少端到端延迟。

如何计算此设置的理想批处理时间。有没有基于ADX的CPU和Eventhub上的Data ingestion的计算，这样我就可以在不影响ADX

的CPU使用的情况下算出一个理想的时间

Answer 1

目前没有工具或其他功能可以让您执行此操作，您将需要尝试“MaximumBatchingTimeSpan”的所需设置并观察对 CPU 使用的影响。

Answer 2

本质上，如果您正在摄取大量数据（根据 table），您可能不会使用 5 分钟批处理 window，或者可以显着减少它而不会产生不利影响。 请查看您的集群 (https://docs.microsoft.com/en-us/azure/data-explorer/using-metrics#ingestion-metrics) 的延迟和批处理指标，并查看 a) 您的实际延迟是否低于 5 分钟 - 这表明批处理不是由时间驱动的，以及 b) 什么是您的集群最常执行的“批处理类型”- time/size/number 个项目。 根据这些数字，您可以调整摄取批处理策略的时间部分。