为什么 Kubernetes Ingress 默认在其负载均衡器上创建*两个*健康检查?
Why does a Kubernetes Ingress create *two* healthchecks by default on its Load Balancers?
在我创建了一个非常基本的 Ingress(下面的 yaml)之后,没有对健康检查的特殊定义(在其他 Kubernetes 对象中也没有),Ingress 创建了一个 GCP 负载均衡器。
为什么这个 LB 有两个针对不同节点端口定义的健康检查 ("backend services"),一个针对根路径 /
,一个针对 /healthz
?我希望只看到一个。
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
name: ingress1
spec:
rules:
- host: example.com
http:
paths:
- backend:
serviceName: myservice
servicePort: 80
进行/
健康检查的原因
GKE 入口控制器的限制之一如下:
为了让 GKE ingress 控制器使用您的 readinessProbes 作为健康检查,Ingress 的 Pods 必须在创建 Ingress 时存在。如果您的副本缩放为 0 或 Pods 在创建入口时不存在,则使用 /
的默认健康检查适用。
由于上述原因,它创建了两个健康检查。
health-check 就绪探测器的工作有很多注意事项:
- 必须定义 pod 的 containerPort 字段
- 服务的 targetPort 字段必须指向 pod 的端口
containerPort 值或名称。请注意,targetPort 默认为
端口值(如果未定义)
- 创建入口时pods必须存在
- 就绪探测必须暴露在与
Ingress中指定的servicePort
- 就绪探针不能有像headers这样的特殊要求
探测超时被转换为 GCE 健康检查超时
基于以上,使用 /
进行默认回退健康检查是有意义的
进行/healthz
健康检查的原因
根据这一 FAQ 所有 GCE URL 映射需要至少一个默认后端,它处理所有不匹配 host/path 的请求。在 Ingress 中,默认后端是可选的,因为资源是 cross-platform 并且并非所有平台都需要默认后端。如果您没有在 yaml 中指定一个,GCE 入口控制器将注入在 kube-system 命名空间中运行的 default-http-backend 服务作为为该入口资源分配的 GCE HTTP lb 的默认后端。
关于默认后端的一些注意事项:
- 它是唯一不直接映射到用户的后端服务
指定的 NodePort 服务
- 在创建第一个Ingress时创建,在创建Ingress时删除
最后一个 Ingress 被删除,因为我们不想浪费配额
用户将不需要通过 Ingress
进行 L7 负载平衡
- 它有一个指向 /healthz 的 HTTP 健康检查,而不是默认的 /,
因为 / 设计为 404
因此 GKE ingress 使用以下 yaml 部署默认后端服务并为该服务设置 /healthz healthcheck。
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
name: l7-default-backend
namespace: kube-system
labels:
k8s-app: glbc
kubernetes.io/name: "GLBC"
kubernetes.io/cluster-service: "true"
spec:
replicas: 1
selector:
matchLabels:
k8s-app: glbc
template:
metadata:
labels:
k8s-app: glbc
name: glbc
spec:
containers:
- name: default-http-backend
# Any image is permissible as long as:
# 1. It serves a 404 page at /
# 2. It serves 200 on a /healthz endpoint
image: k8s.gcr.io/defaultbackend-amd64:1.5
livenessProbe:
httpGet:
path: /healthz
port: 8080
scheme: HTTP
initialDelaySeconds: 30
timeoutSeconds: 5
ports:
- containerPort: 8080
resources:
limits:
cpu: 10m
memory: 20Mi
requests:
cpu: 10m
memory: 20Mi
---
apiVersion: v1
kind: Service
metadata:
# This must match the --default-backend-service argument of the l7 lb
# controller and is required because GCE mandates a default backend.
name: default-http-backend
namespace: kube-system
labels:
k8s-app: glbc
kubernetes.io/cluster-service: "true"
kubernetes.io/name: "GLBCDefaultBackend"
spec:
# The default backend must be of type NodePort.
type: NodePort
ports:
- port: 80
targetPort: 8080
protocol: TCP
name: http
selector:
k8s-app: glbc
在我创建了一个非常基本的 Ingress(下面的 yaml)之后,没有对健康检查的特殊定义(在其他 Kubernetes 对象中也没有),Ingress 创建了一个 GCP 负载均衡器。
为什么这个 LB 有两个针对不同节点端口定义的健康检查 ("backend services"),一个针对根路径 /
,一个针对 /healthz
?我希望只看到一个。
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
name: ingress1
spec:
rules:
- host: example.com
http:
paths:
- backend:
serviceName: myservice
servicePort: 80
进行/
健康检查的原因
GKE 入口控制器的限制之一如下:
为了让 GKE ingress 控制器使用您的 readinessProbes 作为健康检查,Ingress 的 Pods 必须在创建 Ingress 时存在。如果您的副本缩放为 0 或 Pods 在创建入口时不存在,则使用 /
的默认健康检查适用。
由于上述原因,它创建了两个健康检查。
health-check 就绪探测器的工作有很多注意事项:
- 必须定义 pod 的 containerPort 字段
- 服务的 targetPort 字段必须指向 pod 的端口 containerPort 值或名称。请注意,targetPort 默认为 端口值(如果未定义)
- 创建入口时pods必须存在
- 就绪探测必须暴露在与 Ingress中指定的servicePort
- 就绪探针不能有像headers这样的特殊要求 探测超时被转换为 GCE 健康检查超时
基于以上,使用 /
进行/healthz
健康检查的原因
根据这一 FAQ 所有 GCE URL 映射需要至少一个默认后端,它处理所有不匹配 host/path 的请求。在 Ingress 中,默认后端是可选的,因为资源是 cross-platform 并且并非所有平台都需要默认后端。如果您没有在 yaml 中指定一个,GCE 入口控制器将注入在 kube-system 命名空间中运行的 default-http-backend 服务作为为该入口资源分配的 GCE HTTP lb 的默认后端。
关于默认后端的一些注意事项:
- 它是唯一不直接映射到用户的后端服务 指定的 NodePort 服务
- 在创建第一个Ingress时创建,在创建Ingress时删除 最后一个 Ingress 被删除,因为我们不想浪费配额 用户将不需要通过 Ingress 进行 L7 负载平衡
- 它有一个指向 /healthz 的 HTTP 健康检查,而不是默认的 /, 因为 / 设计为 404
因此 GKE ingress 使用以下 yaml 部署默认后端服务并为该服务设置 /healthz healthcheck。
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
name: l7-default-backend
namespace: kube-system
labels:
k8s-app: glbc
kubernetes.io/name: "GLBC"
kubernetes.io/cluster-service: "true"
spec:
replicas: 1
selector:
matchLabels:
k8s-app: glbc
template:
metadata:
labels:
k8s-app: glbc
name: glbc
spec:
containers:
- name: default-http-backend
# Any image is permissible as long as:
# 1. It serves a 404 page at /
# 2. It serves 200 on a /healthz endpoint
image: k8s.gcr.io/defaultbackend-amd64:1.5
livenessProbe:
httpGet:
path: /healthz
port: 8080
scheme: HTTP
initialDelaySeconds: 30
timeoutSeconds: 5
ports:
- containerPort: 8080
resources:
limits:
cpu: 10m
memory: 20Mi
requests:
cpu: 10m
memory: 20Mi
---
apiVersion: v1
kind: Service
metadata:
# This must match the --default-backend-service argument of the l7 lb
# controller and is required because GCE mandates a default backend.
name: default-http-backend
namespace: kube-system
labels:
k8s-app: glbc
kubernetes.io/cluster-service: "true"
kubernetes.io/name: "GLBCDefaultBackend"
spec:
# The default backend must be of type NodePort.
type: NodePort
ports:
- port: 80
targetPort: 8080
protocol: TCP
name: http
selector:
k8s-app: glbc