Kamon、Statsd、Grafana 磁盘 Space

Question

我最近安装了 Kamon、Statsd、Graphite、Grafana 来监控我的 akka 应用程序。我使用了大多数教程建议的 Statsd、Graphite 和 Grafana 的 Docker 容器，并且一切正常，直到最近我注意到 Grafana 仪表板开始滞后并变得无响应。它现在变得没有响应，原因是托管 Docker 容器的机器有运行个 space...

85790556    /var/lib/docker
85786096    /var/lib/docker/aufs
42922104    /var/lib/docker/aufs/diff
42863828    /var/lib/docker/aufs/mnt
42863668    /var/lib/docker/aufs/mnt/1daed028a6ca7041dc95257b27328324936f548d2cfc589d6e3c94ac3d8cc63b
41878192    /var/lib/docker/aufs/mnt/1daed028a6ca7041dc95257b27328324936f548d2cfc589d6e3c94ac3d8cc63b/opt
41793244    /var/lib/docker/aufs/diff/1daed028a6ca7041dc95257b27328324936f548d2cfc589d6e3c94ac3d8cc63b
41754416    /var/lib/docker/aufs/mnt/1daed028a6ca7041dc95257b27328324936f548d2cfc589d6e3c94ac3d8cc63b/opt/graphite

这可能是由于监控统计数据的积累。所以我有两个问题...

如何安全地清理此容器中的 space 以再次运行ning。
我可以配置 statsd 或 graphite 来定期清除数据吗？

谢谢！

Answer 1

在这里找到解决方案...

https://github.com/kamon-io/docker-grafana-graphite/issues/16

我需要附加到 Docker 容器和运行...

find /opt/graphite/storage/whisper/stats -type f -mtime +3 -delete && find /opt/graphite/storage/whisper/stats -type d -empty -delete

Answer 2

更好的解决方案是配置 carbon 来管理数据的保留。您可以定义多个时间间隔来保存您的数据和分辨率。

例如 storage-schemas.conf:

retentions = 15s:7d,1m:21d,15m:5y

此保留意味着指标将保留 7 天，分辨率为 15 秒。然后 carbon 将以 1 分钟的精度聚合旧数据，并将它们保留 21 天。然后将数据保存 5 年，分辨率为 15 分钟。

根据您的需要和存储容量，您可以配置多个保留策略。

在 storage-aggregation.conf 中，您可以定义更改分辨率时 carbon 应如何聚合指标：采用 min、max、avg、sum ...

更多信息见carbon documentation

Kamon、Statsd、Grafana 磁盘 Space

Kamon, Statsd, Grafana Disk Space

docker

graphite

grafana

statsd

kamon