使用外部 Prometheus 抓取 CoreDNS 指标

Question

我在不同的 VPC 中有一个 kubernetes 集群（使用 Typhoon 模块构建）和一个 Prometheus 实例（运行在 docker-compose 上，而不是在 Kubernetes 集群上）。我启用了 vpc 对等连接，并且此 vpc 已打开所需的端口。除 coredns pod 外，所有指标都按预期进行了抓取。这里的问题是 coredns pods 分配了 10.2.. IP，这与我为 pods 到运行配置的 IP 范围不同。

如果coredns pod获取IP 172...*，我的prometheus就能解析，抓取成功。

现在，我不确定如何抓取这些指标。如果你知道我做错了什么，请告诉我。

$ kubectl get pods -n kube-system -o wide | grep coredns

coredns-7d8995c4cd-4l4ft                   1/1     Running   1          7d1h    10.2.5.2        ip-172-*-*-*   <none>           <none>
coredns-7d8995c4cd-vxd9d                   1/1     Running   1          6d3h    10.2.3.9        ip-172-*-*-*   <none>           <none>

Prometheus.yml 文件配置了以下作业。

  - job_name: 'kubernetes-service-endpoints'
    kubernetes_sd_configs:
      - role: endpoints
        api_server: https://kubernetes-cluster:6443
        tls_config:
          insecure_skip_verify: true
        bearer_token: "TOKEN"

    bearer_token: "TOKEN"

    honor_labels: true
    relabel_configs:
      - source_labels: [__meta_kubernetes_service_annotation_prometheus_io_scrape]
        action: keep
        regex: true
      - source_labels: [__meta_kubernetes_service_annotation_prometheus_io_scheme]
        action: replace
        target_label: __scheme__
        regex: (https?)
      - source_labels: [__meta_kubernetes_service_annotation_prometheus_io_path]
        action: replace
        target_label: __metrics_path__
        regex: (.+)
      - source_labels: [__address__, __meta_kubernetes_service_annotation_prometheus_io_port]
        action: replace
        target_label: __address__
        regex: ([^:]+)(?::\d+)?;(\d+)
        replacement: :
      - action: labelmap
        regex: __meta_kubernetes_service_label_(.+)
      - source_labels: [__meta_kubernetes_namespace]
        action: replace
        target_label: namespace
      - source_labels: [__meta_kubernetes_pod_name]
        action: replace
        target_label: pod
      - source_labels: [__meta_kubernetes_service_name]
        action: replace
        target_label: job

    metric_relabel_configs:
      - source_labels: [__name__]
        action: drop
        regex: etcd_(debugging|disk|request|server).*

P.S：我使用 Flannel 作为我的网络 CNI，这样我就可以使用主机网络本身的 IP 创建 pods。

更新信息：我尝试在 kubernetes 上部署 prometheus，并尝试按照 Yaron 的建议将这些数据联合到我的 prometheus docker。

我正在为联合尝试以下配置，但没有看到任何指标加载到我的目标 prometheus。

  - job_name: 'federate'
    scrape_interval: 10s

    honor_labels: true
    metrics_path: '/federate'

    params:
      'match[]':
        - '{job="prometheus"}'
        - '{job="kubernetes-nodes"}'
        - '{job="kubernetes-apiservers"}'
        - '{job="kubernetes-service-endpoints"}'
        - '{job="kubernetes-cadvisor"}'
        - '{job="kubelet"}'
        - '{job="etcd"}'
        - '{job="kubernetes-services"}'
        - '{job="kubernetes-pods"}'
    scheme: https
    static_configs:
    - targets:
      - prom.mycompany.com

Answer 1

解决此问题的最佳做法是运行集群内的 prometheus 实例运行 Coredns，并将该 prometheus 抓取的指标联合到外部 prometheus 运行 docker-compose.

您可以阅读有关联合 here 的更多信息，以了解如何开始利用它。

更高级的用例是使用 Thanos 更好地在不同的 prometheus 服务器之间分发查询，但要点仍然是运行每个集群中的内部 prometheus 服务器。

使用外部 Prometheus 抓取 CoreDNS 指标

Scrape CoreDNS metrics with External Prometheus

kubernetes

flannel

prometheus

coredns