在 Kubernetes 集群中使用 Python 设置 Prometheus

Question

我正在使用从 https://github.com/helm/helm 下载的 helm chart 将 Prometheus 集成到我的 Kubernetes 集群中。如果您必须知道，我正在使用 Azure 部署我的 AKS。在我的每个 pod 中，容器运行一个 Docker 图像，其中包含控制我的主 pod 中工作流的 master_server.py 脚本。

我正在尝试通过 master_server.py 使用官方 Prometheus Python 包 - https://github.com/prometheus/client_python 从我的主 pod 中获取一些自定义指标。我的 master_server.py 看起来像这样，

master_server.py（截断）

import tornado.ioloop
import tornado.options
import tornado.web
import tornado.websocket
import tornado.gen
import tornado.concurrent
import prometheus_client as prom

num_req = prom.Counter('number_of_request_receive_by_master',
                       'number of request receive by master')
num_worker = prom.Gauge('number_of_worker_available',
                        'number of worker available')

def main():
    logging.debug('Starting up server')
.
.
.
if __name__ == "__main__":
    main()
    prom.start_http_server(8081)

我用谷歌搜索了一下，发现我需要添加注释以允许 Prometheus 从我的 master pod 中抓取数据。因此，在我的 deployment.yaml 文件中，我添加了以下代码片段以允许 Prometheus 从我的主 pod 中抓取数据。

  template:
    metadata:
      annotations:
        prometheus.io/scrape: 'true'
        prometheus.io/port: '8081'

仍然没有用。我在 Prometheus 查询中看不到我的自定义指标。

下面是我的deployment.yaml的主播。

Name:                   kaldi-feature-test-master
Namespace:              kaldi-test
CreationTimestamp:      Fri, 10 Jan 2020 01:53:09 +0800
Labels:                 app.kubernetes.io/instance=kaldi-feature-test
                        app.kubernetes.io/managed-by=Tiller
                        app.kubernetes.io/name=kaldi-feature-test-master
                        helm.sh/chart=kaldi-feature-test-0.1.0
Annotations:            deployment.kubernetes.io/revision: 1
Selector:               app.kubernetes.io/instance=kaldi-feature-test,app.kubernetes.io/name=kaldi-feature-test-master
Replicas:               2 desired | 2 updated | 2 total | 2 available | 0 unavailable
StrategyType:           RollingUpdate
MinReadySeconds:        0
RollingUpdateStrategy:  25% max unavailable, 25% max surge
Pod Template:
  Labels:       app.kubernetes.io/instance=kaldi-feature-test
                app.kubernetes.io/name=kaldi-feature-test-master
  Annotations:  prometheus.io/port: 8081
                prometheus.io/scrape: true
  Containers:
   kaldi-feature-test-master:
    Image:      kalditest.azurecr.io/kalditestscaled:latest
    Port:       8080/TCP
    Host Port:  0/TCP
    Command:
      /home/appuser/opt/tini
      --
      /home/appuser/opt/start_master.sh
    Limits:
      cpu:     2
      memory:  2Gi
    Requests:
      cpu:      2
      memory:   2Gi
    Liveness:   http-get http://:http/ delay=0s timeout=1s period=10s #success=1 #failure=3
    Readiness:  http-get http://:http/ delay=0s timeout=1s period=10s #success=1 #failure=3
    Environment Variables from:
      environment-variables-master-secret  Secret  Optional: false
    Environment:                           <none>
    Mounts:                                <none>
  Volumes:                                 <none>
Conditions:
  Type           Status  Reason
  ----           ------  ------
  Available      True    MinimumReplicasAvailable
  Progressing    True    NewReplicaSetAvailable
OldReplicaSets:  <none>
NewReplicaSet:   kaldi-feature-test-master-79886c5d76 (2/2 replicas created)
Events:
  Type    Reason             Age   From                   Message
  ----    ------             ----  ----                   -------
  Normal  ScalingReplicaSet  15m   deployment-controller  Scaled up replica set kaldi-feature-test-master-79886c5d76 to 2

我检查了 Prometheus 目标并意识到连接被拒绝到我的主人 pods。

我应该怎么做才能让 Prometheus 从我的主 pod 中抓取自定义指标？

Answer 1

是的，感谢 Charles 的评论，我让它工作了！

我在 master pod 的 8080 端口为我的应用程序运行ning Tornado web server，这样可能会中断 Prometheus HTTP 服务器从 master pod 中抓取指标。

最后，我在主 pod 的 deployment.yaml 中打开了另一个 8081 端口，

.
.
.
containers:
  - name: master-pod-name
    image: master-pod-image
    ports:
      - name: http
        containerPort: 8080 # this is for my Tornado web server
        protocol: TCP
      - name: prometheus
        containerPort: 8081
.
.
.

然后在我的 python 脚本运行ning 主 pod 中，我将 Prometheus 服务器设置为端口 8081 的运行。最后它成功了 - prom.start_http_server(8081)

Answer 2

从Python代码和你提供的部署YAML文件可以看出，HTTP服务器监听8081端口，而你只暴露了8080端口，没有包含8081端口。

所以解决方案是您需要在部署的容器 kaldi-feature-test-master 和将请求路由到部署的应用程序的服务中公开端口 8081。

在 Kubernetes 集群中使用 Python 设置 Prometheus

Setting Up Prometheus with Python in Kubernetes Cluster

python

kubernetes

prometheus

azure-aks