在 Azure Log Analytics 结果中处理超过 30k 条记录的策略？
Strategies for working with more than 30k records in Azure Log Analytics results?
我在一个非常活跃的 ADLS Gen2 存储帐户上有一个 Log Analytics 诊断设置。目标是协调上传到存储帐户中容器的 blob 与 Azure Functions 处理的 blob。
问题： Azure Log Analytics 没有 return 结果集 > 30k 记录
理想情况下，对帐是一次性完成的；在一天结束时将传入的 blob 与已处理的 blob 进行比较。
但是如果有 > 30k 条记录，这似乎是不可能的。看来我必须安排某种每小时的协调（不理想）。
有哪些简单的处理方法？
您可以在过滤器中使用光标。例如，您执行查询以获得一组在最好是唯一的特定列上排序的结果。然后只需获取最后一个事件并在后续请求中将其用作过滤器以获得下一个结果。我不确定监控是否保证 100% 的传入请求可用。
您还可以考虑使用适当的事件驱动资源。例如，您可以在资源上设置 Event Grid Subscription 以将 blob 创建事件推送到 Queue 或 Service Bus。然后使用该信息处理您的斑点。
我在一个非常活跃的 ADLS Gen2 存储帐户上有一个 Log Analytics 诊断设置。目标是协调上传到存储帐户中容器的 blob 与 Azure Functions 处理的 blob。
问题： Azure Log Analytics 没有 return 结果集 > 30k 记录
理想情况下，对帐是一次性完成的；在一天结束时将传入的 blob 与已处理的 blob 进行比较。
但是如果有 > 30k 条记录，这似乎是不可能的。看来我必须安排某种每小时的协调（不理想）。
有哪些简单的处理方法？
您可以在过滤器中使用光标。例如，您执行查询以获得一组在最好是唯一的特定列上排序的结果。然后只需获取最后一个事件并在后续请求中将其用作过滤器以获得下一个结果。我不确定监控是否保证 100% 的传入请求可用。
您还可以考虑使用适当的事件驱动资源。例如，您可以在资源上设置 Event Grid Subscription 以将 blob 创建事件推送到 Queue 或 Service Bus。然后使用该信息处理您的斑点。