普罗米修斯全球与本地限制?

Prometheus global vs local limit?

我目前是 运行 Prometheus,它将指标写入端点。

我遇到 429 内存不足问题,并看到以下错误消息:

server returned HTTP status 429 Too Many Requests: per-metric series limit (local limit: 0 global limit: 20000 actual local limit: 12000

我认为这是因为超出了本地限制。在哪里设置本地限制?

我已经尝试查看 Prometheus 文档和 Prometheus Helm Chart,但是,两者都没有提及本地限制是如何设置的,以及我将如何增加它。

本地限制是在哪里确定的?

是否可以通过某种方式增加它?

Prometheus 不应该报告,据我所知,可能是您正在使用 Cortex 进行长期存储,并在此处报告:

https://github.com/cortexproject/cortex/blob/ff0d52e6d2a3b1be11c4111604fe5f79c892c967/pkg/ingester/limiter.go#L13

它可以通过此处的配置文件进行配置 https://cortexmetrics.io/docs/configuration/configuration-file/,org 使用 CLI -ingester.max-global-series-per-metric

您可能想检查您的作业配置和 sample_limit 的值。
您可以找到文档 here

如果样本多于限制,则整个 scrape 将被跳过。