Azure 日志中自定义指标的时间序列分解和绘图
Time series decomposition and graphing from custom metrics in Azure Logs
在学习 Azure 日志处理时,我开始通过 AppInsight 将简单的队列计数记录为指标。目前我以一种相当简单的方式处理它们并在同一张图中显示它们。
简单查询如
customMetrics
| where cloud_RoleName == "abc" and name endswith "_ApproximateMessagesCount"
| summarize avg(valueSum) by name, bin(timestamp, 30s)
| render timechart;
然后我想我可以尝试预测这些计数并将预测与计数一起绘制。所以我去阅读文档并找到了一个时间序列分解的例子,如 https://docs.microsoft.com/en-us/azure/data-explorer/anomaly-detection#time-series-decomposition-model 所述。完美!
所以我将查询稍微修改为
let min_t = startofday(now());
let max_t = endofday(now());
let dt = 1h;
let horizon=24h;
customMetrics
| where cloud_RoleName == "abc" and name endswith "_ApproximateMessagesCount"
| make-series queueCount=avg(valueSum) on timestamp from min_t to max_t step dt by name
| extend forecast = series_decompose_forecast(queueCount, toint(horizon/dt))
| render timechart with(title="abc", ysplit=panels)
唉!有几个问题我不太明白:
- 如何显示实际计数图和预测计数图。
- 如何在每条“游泳线”上拆分图表,每条游泳线都具有随时间推移的实际计数以及预测?在这个例子中,
ysplit=panels
似乎实现了这一点,但也许它不像多图那样工作?
我可能还误解了 make-series
和 extend
的功能。我的意思是,我看到一个图表,我可以从中确定计数,然后图表很快变为零,可能是因为预测是这样。因此,实际上 queueCount
显示在 y axis
上(而所有图表都在同一条泳道上)。
报告队列计数的测试代码很简单
string queueName = $"{queueName}_ApproximateMessagesCount";
int queueLength = <someValue>;
TelemetryClient.TrackMetric(new MetricTelemetry
{
Name = queueName,
Sum = queueLength,
Count = 1,
Timestamp = DateTime.UtcNow
});
- 如果您在 table 中同时拥有实际计数和预测,那么“渲染时间表”会同时显示两者。注意需要在make-series.
中指定到max_t+horizon
let min_t = datetime(2017-01-05);
let max_t = datetime(2017-02-03 22:00);
let dt = 2h;
let horizon=7d;
demo_make_series2
| make-series num=avg(num) on TimeStamp from min_t to max_t+horizon step dt by sid
| where sid == 'TS1' // select a single time series just to get cleaner visualization
| extend forecast = series_decompose_forecast(num, toint(horizon/dt))
| render timechart
- ysplit=panels 仅适用于 KE(Kusto Explorer,桌面应用程序)
- 不明白你最后一个问题。制作系列并扩展。请澄清。
在学习 Azure 日志处理时,我开始通过 AppInsight 将简单的队列计数记录为指标。目前我以一种相当简单的方式处理它们并在同一张图中显示它们。
简单查询如
customMetrics
| where cloud_RoleName == "abc" and name endswith "_ApproximateMessagesCount"
| summarize avg(valueSum) by name, bin(timestamp, 30s)
| render timechart;
然后我想我可以尝试预测这些计数并将预测与计数一起绘制。所以我去阅读文档并找到了一个时间序列分解的例子,如 https://docs.microsoft.com/en-us/azure/data-explorer/anomaly-detection#time-series-decomposition-model 所述。完美!
所以我将查询稍微修改为
let min_t = startofday(now());
let max_t = endofday(now());
let dt = 1h;
let horizon=24h;
customMetrics
| where cloud_RoleName == "abc" and name endswith "_ApproximateMessagesCount"
| make-series queueCount=avg(valueSum) on timestamp from min_t to max_t step dt by name
| extend forecast = series_decompose_forecast(queueCount, toint(horizon/dt))
| render timechart with(title="abc", ysplit=panels)
唉!有几个问题我不太明白:
- 如何显示实际计数图和预测计数图。
- 如何在每条“游泳线”上拆分图表,每条游泳线都具有随时间推移的实际计数以及预测?在这个例子中,
ysplit=panels
似乎实现了这一点,但也许它不像多图那样工作?
我可能还误解了 make-series
和 extend
的功能。我的意思是,我看到一个图表,我可以从中确定计数,然后图表很快变为零,可能是因为预测是这样。因此,实际上 queueCount
显示在 y axis
上(而所有图表都在同一条泳道上)。
报告队列计数的测试代码很简单
string queueName = $"{queueName}_ApproximateMessagesCount";
int queueLength = <someValue>;
TelemetryClient.TrackMetric(new MetricTelemetry
{
Name = queueName,
Sum = queueLength,
Count = 1,
Timestamp = DateTime.UtcNow
});
- 如果您在 table 中同时拥有实际计数和预测,那么“渲染时间表”会同时显示两者。注意需要在make-series. 中指定到max_t+horizon
let min_t = datetime(2017-01-05);
let max_t = datetime(2017-02-03 22:00);
let dt = 2h;
let horizon=7d;
demo_make_series2
| make-series num=avg(num) on TimeStamp from min_t to max_t+horizon step dt by sid
| where sid == 'TS1' // select a single time series just to get cleaner visualization
| extend forecast = series_decompose_forecast(num, toint(horizon/dt))
| render timechart
- ysplit=panels 仅适用于 KE(Kusto Explorer,桌面应用程序)
- 不明白你最后一个问题。制作系列并扩展。请澄清。