超过上下文截止日期 - 普罗米修斯

Question

我有许多作业的 Prometheus 配置，我在这些作业中通过 HTTP 抓取指标。但是我有一份工作需要通过 HTTPS 抓取指标。

当我访问：

我可以看到指标。我在 prometheus.yml 配置中添加的作业是：

- job_name: 'test-jvm-metrics'
    scheme: https
    static_configs:
      - targets: ['ip:port']

当我重新启动 Prometheus 时，我可以在我的目标上看到一条错误消息：

context deadline exceeded

我读到可能 scrape_timeout 是问题所在，但我已将其设置为 50 秒，但问题仍然存在。

什么会导致此问题以及如何解决？谢谢！

Answer 1

我以前也遇到过同样的问题。在我的例子中，问题出在证书上，我通过添加修复了它：

 tls_config:
      insecure_skip_verify: true

你可以试试，说不定会有效果。

Answer 2

就我而言，这是 IPv6 的问题。我已经用 ip6tables 阻止了 IPv6，但它也阻止了 prometheus 流量。正确的 IPv6 设置为我解决了问题

Answer 3

在我的例子中，我不小心把错误的端口放在了我的 Kubernetes 部署清单上，而不是在与之关联的服务以及 Prometheus 目标中定义的端口。

Answer 4

可能默认 scrape_timeout 值对您来说太短了

[ scrape_timeout: <duration> | default = 10s ]

为 scrape_timeout 设置一个更大的值。

scrape_configs:
  - job_name: 'prometheus'

    scrape_interval: 5m
    scrape_timeout: 1m

看这里https://github.com/prometheus/prometheus/issues/1438

Answer 5

我有一个类似的问题，所以我尝试扩展我的 scrape_timeout 但它没有做任何事情 - 然而，使用 promtool 解释了这个问题

我有问题的工作是这样的：

- job_name: 'slow_fella'
  scrape_interval: 10s
  scrape_timeout: 90s
  static_configs:
  - targets: ['192.168.1.152:9100']
    labels:
      alias: sloooow

像这样检查您的配置：

/etc/prometheus $ promtool check config prometheus.yml

结果解释了问题并指出了解决方法：

Checking prometheus.yml
  FAILED: parsing YAML file prometheus.yml: scrape timeout greater than scrape interval for scrape config with job name "slow_fella"

只需确保您的 scrape_timeout 足够长以容纳您所需的 scrape_interval。

Answer 6

当 prometheus 服务器无法连接到防火墙拒绝规则的抓取端点时，可能会发生这种情况。只需在浏览器中使用 <url>:9100 检查点击 url（此处 9100 是 node_exporter 服务运行端口`）并检查您是否仍然可以访问？

Answer 7

将超时增加到 1m 帮助我解决了类似的问题

Answer 8

当我们重新配置 istio-system 命名空间及其 istio-component 时，我们开始面临类似的问题。我们还通过 prometheus-operator 在启用了 istio 注入的 monitoring 命名空间中安装了 prometheus。

重新启动 监控（启用 istio 注入）命名空间的 promtheus 组件解决了问题。

Answer 9

由于已达到最大连接数，我遇到了这个问题。我增加了数据库中的 max_connections 参数并释放了一些连接。然后 Prometheus 能够再次抓取指标。

超过上下文截止日期 - 普罗米修斯

Context Deadline Exceeded - prometheus

monitoring

prometheus