流分析查询命中大小限制

Stream Analytics query hits size limit

我是 Azure 流分析的新手。我有一个事件中心作为输入源,现在我正在尝试对此流执行一个简单的查询。示例查询如下:

SELECT
count(*)
INTO [output1]
FROM
[input1] TIMESTAMP BY Time
GROUP BY TumblingWindow(second, 10)

所以我想统计在特定时间范围内到达的事件。

执行此查询时,总是出现以下错误:

Request exceeded maximum allowed size limit

因为我已经缩小了检查的时间window而且我确定这个时间范围内的事件数量不是很大(最多几百个) 我不确定如何避免此错误。

你有什么提示吗?

谢谢!

Request exceeded maximum allowed size limit

这个错误(我相信它应该更明确)表明你违反了azure stream analytic resource and object limits

这不仅与数量有关,还与size.Please检查源输入的大小或尝试减小窗口大小并再次测试有关。


1.Does the record size of the source query mean that one event can only have 64 KB or does this parameter mean 64 K events?

表示一个事件的大小应该在64KB以下。

  1. Is there a possibility to use Stream Analytics to select only certain subfields of the event or is the only way to reduce the event size before it is sent to the event hub?

据我所知,ASA 仅收集用于处理数据的数据,因此大小完全取决于源端和您的查询 sql。既然要用COUNT,恐怕得在eventhub上做点什么了side.Please参考我的想法:

使用Event Hub Azure Function Trigger,当事件流入事件中心时,触发函数并仅选择部分键值并将其保存到另一个事件中心命名空间中。(只是为了减小源事件的大小) 无论如何你只需要 COUNT 记录,我认为它适合你。