Azure Data Explorer 流式处理的高摄取延迟
Azure Data Explorer High Ingestion Latency with Streaming
我们正在使用从事件中心到 Azure 数据资源管理器的流摄取。 The Documentation 声明如下：
The streaming ingestion operation completes in under 10 seconds, and
your data is immediately available for query after completion.
我也知道 the limitations 例如
Streaming ingestion performance and capacity scales with increased VM
and cluster sizes. The number of concurrent ingestion requests is
limited to six per core. For example, for 16 core SKUs, such as D14
and L16, the maximal supported load is 96 concurrent ingestion
requests. For two core SKUs, such as D11, the maximal supported load
is 12 concurrent ingestion requests.
但我们目前遇到了 5 分钟的摄取延迟（如 Azure 指标所示），并且发现数据在摄取后 10 分钟后才真正可供查询。
我们的开发环境是最便宜的 SKU 开发（无 SLA）_Standard_D11_v2，但考虑到我们在此环境中每天仅摄取约 5000 个事件（根据“接收的事件”指标），此延迟非常高且在我们需要< 1 分钟查询可用数据的流场景中不可用。
这是我们对开发环境的延迟，还是我们可以应用的任何调整以在这些环境中实现更低的延迟？
在像 Standard_D12_v2 这样的生产环境中，延迟会如何表现？我们是否也必须期待那些高数字，或者在这个问题上 Dev/test 和生产环境之间的行为是否存在根本差异？
您是否遵循了为特定 table 启用流式摄取所需的 two steps，即在集群和 table 上启用流式摄取？
一般来说，这不是预期的，如果您使用一些事件对其进行测试，Dev/Test 集群应该表现出与生产集群相同的行为，并且在操作的大小和规模方面存在预期的限制并看到相同的延迟，这意味着出现了问题。
如果您确实按照这些步骤操作，但仍然无法正常工作，请打开支持票。
我们正在使用从事件中心到 Azure 数据资源管理器的流摄取。 The Documentation 声明如下：
The streaming ingestion operation completes in under 10 seconds, and your data is immediately available for query after completion.
我也知道 the limitations 例如
Streaming ingestion performance and capacity scales with increased VM and cluster sizes. The number of concurrent ingestion requests is limited to six per core. For example, for 16 core SKUs, such as D14 and L16, the maximal supported load is 96 concurrent ingestion requests. For two core SKUs, such as D11, the maximal supported load is 12 concurrent ingestion requests.
但我们目前遇到了 5 分钟的摄取延迟（如 Azure 指标所示），并且发现数据在摄取后 10 分钟后才真正可供查询。
我们的开发环境是最便宜的 SKU 开发（无 SLA）_Standard_D11_v2，但考虑到我们在此环境中每天仅摄取约 5000 个事件（根据“接收的事件”指标），此延迟非常高且在我们需要< 1 分钟查询可用数据的流场景中不可用。
这是我们对开发环境的延迟，还是我们可以应用的任何调整以在这些环境中实现更低的延迟？
在像 Standard_D12_v2 这样的生产环境中，延迟会如何表现？我们是否也必须期待那些高数字，或者在这个问题上 Dev/test 和生产环境之间的行为是否存在根本差异？
您是否遵循了为特定 table 启用流式摄取所需的 two steps，即在集群和 table 上启用流式摄取？
一般来说，这不是预期的，如果您使用一些事件对其进行测试，Dev/Test 集群应该表现出与生产集群相同的行为，并且在操作的大小和规模方面存在预期的限制并看到相同的延迟，这意味着出现了问题。
如果您确实按照这些步骤操作，但仍然无法正常工作，请打开支持票。