Grafana 中的虚假高值导致错误警报

False high values in Grafana causing false alerts

我昨天在 Grafana 中配置了警报,并从两个服务器获得警报。始终是相同的两台服务器获得高 IO,高 CPU 或其他任何东西。

问题是,他们没有这么高的数据。事实上,他们几乎处于闲置状态。所有服务器都通过 Ansible 配置完全相同。所以 Telegraf 配置在所有服务器上都是相同的。

此外,如果我将 Grafana 中的统计信息过滤到相应的服务器,图表中显示的数据是正确的,如下面的屏幕截图所示。规则测试仍然导致误报。

我检查了 vmstat,它也显示了正确的信息:

procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 1  0  47100 151152  20948 454556    2    2    16    38    2    1  2  1 96  0  1
 0  0  47100 151136  20948 454592    0    0     0     0  125  135  0  1 96  0  2
 0  0  47100 150408  20956 454584    0    0     0    84  222  282  1  3 93  0  4
 0  0  47100 150424  20956 454592    0    0     0     0  151  225  0  0 97  0  2
 0  0  47100 150424  20956 454592    0    0     0     0  115  140  0  0 96  0  4
 0  0  47100 150424  20956 454592    0    0     0     0  109  125  0  0 97  0  2
 0  0  47100 150424  20956 454592    0    0     0     0  121  131  0  0 98  0  2
 0  0  47100 150412  20972 454576    0    0     0    92  139  208  0  1 96  0  3
 0  0  47100 150456  20972 454592    0    0     0     0   65  117  0  0 99  0  1
 0  0  47100 150876  20972 454592    0    0     0    16  692  705  2  4 88  0  5

如果出现问题,telegraf.log

2017-07-07T09:22:04Z I! Starting Telegraf (version 1.3.3)
2017-07-07T09:22:04Z I! Loaded outputs: influxdb
2017-07-07T09:22:04Z I! Loaded inputs: inputs.diskio inputs.processes inputs.swap inputs.system inputs.redis inputs.disk inputs.kernel inputs.mem inputs.net inputs.nginx inputs.postgresql inputs.cpu
2017-07-07T09:22:04Z I! Tags enabled: environment=production host=om-1-prod rails_env=production role=telegraf
2017-07-07T09:22:04Z I! Agent Config: Interval:10s, Quiet:false, Hostname:"om-1-prod", Flush Interval:10s

有什么问题吗?

我一直手动监控服务器,并在短时间内发现了这些高峰。

所以这里的问题是这些峰值在 Grafana 中的选定时间范围内不可见。它被聚合到一个较小的平均值,然后看起来只有 40 个 ips。如果我放大相应的时间范围,我会看到这些峰值。

长话短说:没有问题 Grafana,InfluxDB 的 Telegraf。键盘和椅子之间存在问题