Nginx 入口控制器 - 调用 Webhook 失败
Nginx Ingress Controller - Failed Calling Webhook
我在 Ubuntu 虚拟机上使用 kubeadm (v1.18) 设置了一个 k8s 集群。
现在我需要添加一个入口控制器。我决定使用 nginx（但我对其他解决方案持开放态度）。我是按照docs, section "bare-metal":
安装的
kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-0.31.1/deploy/static/provider/baremetal/deploy.yaml
我觉得安装没问题：
kubectl get all -n ingress-nginx
NAME READY STATUS RESTARTS AGE
pod/ingress-nginx-admission-create-b8smg 0/1 Completed 0 8m21s
pod/ingress-nginx-admission-patch-6nbjb 0/1 Completed 1 8m21s
pod/ingress-nginx-controller-78f6c57f64-m89n8 1/1 Running 0 8m31s
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/ingress-nginx-controller NodePort 10.107.152.204 <none> 80:32367/TCP,443:31480/TCP 8m31s
service/ingress-nginx-controller-admission ClusterIP 10.110.191.169 <none> 443/TCP 8m31s
NAME READY UP-TO-DATE AVAILABLE AGE
deployment.apps/ingress-nginx-controller 1/1 1 1 8m31s
NAME DESIRED CURRENT READY AGE
replicaset.apps/ingress-nginx-controller-78f6c57f64 1 1 1 8m31s
NAME COMPLETIONS DURATION AGE
job.batch/ingress-nginx-admission-create 1/1 2s 8m31s
job.batch/ingress-nginx-admission-patch 1/1 3s 8m31s
但是，在尝试应用自定义 Ingress 时，出现以下错误：
Error from server (InternalError): error when creating "yaml/xxx/xxx-ingress.yaml": Internal error occurred: failed calling webhook "validate.nginx.ingress.kubernetes.io": Post https://ingress-nginx-controller-admission.ingress-nginx.svc:443/extensions/v1beta1/ingresses?timeout=30s: Temporary Redirect
知道哪里出了问题吗？
我怀疑是 DNS，但其他 NodePort 服务按预期工作并且 DNS 在集群内工作。
我唯一能看到的是我没有 docs here. However, this seems normal in my case, according to this thread.
中提到的 default-http-backend
最后但同样重要的是，我也尝试了 installation with manifests (after removing ingress-nginx namespace from previous installation) and the installation via Helm chart。它具有相同的结果。
我几乎是 k8s 的初学者，这是我的 playground-cluster。所以我也愿意接受其他解决方案，只要我不需要从头开始设置整个集群即可。
更新：
对于 "applying custom Ingress"，我的意思是：
kubectl apply -f <myIngress.yaml>
myIngress.yaml
的内容
apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
name: my-ingress
annotations:
nginx.ingress.kubernetes.io/rewrite-target: /
spec:
rules:
- http:
paths:
- path: /someroute/fittingmyneeds
pathType: Prefix
backend:
serviceName: some-service
servicePort: 5000
最后，我通过改变安装方式成功运行 Ingress Nginx。我仍然不明白为什么以前的安装不起作用，但我会分享解决方案以及对原始问题的更多见解。
解决方案
卸载ingress nginx：删除ingress-nginx命名空间。这不会删除验证 webhook 配置 - 手动删除它。然后安装 MetalLB 并再次安装 ingress nginx。我现在使用的是 Helm 稳定存储库中的版本。现在一切都按预期工作。感谢 kubernetes slack 频道上的 Long！
对原始问题的更多见解
installation guide 提供的 yaml 包含一个 ValidatingWebHookConfiguration：
apiVersion: admissionregistration.k8s.io/v1beta1
kind: ValidatingWebhookConfiguration
metadata:
labels:
helm.sh/chart: ingress-nginx-2.0.3
app.kubernetes.io/name: ingress-nginx
app.kubernetes.io/instance: ingress-nginx
app.kubernetes.io/version: 0.32.0
app.kubernetes.io/managed-by: Helm
app.kubernetes.io/component: admission-webhook
name: ingress-nginx-admission
namespace: ingress-nginx
webhooks:
- name: validate.nginx.ingress.kubernetes.io
rules:
- apiGroups:
- extensions
- networking.k8s.io
apiVersions:
- v1beta1
operations:
- CREATE
- UPDATE
resources:
- ingresses
failurePolicy: Fail
clientConfig:
service:
namespace: ingress-nginx
name: ingress-nginx-controller-admission
path: /extensions/v1beta1/ingresses
每当我创建或更新入口时都会执行验证（我的 ingress.yaml 的内容无关紧要）。验证失败，因为调用服务时，响应是临时重定向。我不知道为什么。
对应的服务为：
apiVersion: v1
kind: Service
metadata:
labels:
helm.sh/chart: ingress-nginx-2.0.3
app.kubernetes.io/name: ingress-nginx
app.kubernetes.io/instance: ingress-nginx
app.kubernetes.io/version: 0.32.0
app.kubernetes.io/managed-by: Helm
app.kubernetes.io/component: controller
name: ingress-nginx-controller-admission
namespace: ingress-nginx
spec:
type: ClusterIP
ports:
- name: https-webhook
port: 443
targetPort: webhook
selector:
app.kubernetes.io/name: ingress-nginx
app.kubernetes.io/instance: ingress-nginx
app.kubernetes.io/component: controller
与选择器匹配的 pod 来自此部署：
apiVersion: apps/v1
kind: Deployment
metadata:
labels:
helm.sh/chart: ingress-nginx-2.0.3
app.kubernetes.io/name: ingress-nginx
app.kubernetes.io/instance: ingress-nginx
app.kubernetes.io/version: 0.32.0
app.kubernetes.io/managed-by: Helm
app.kubernetes.io/component: controller
name: ingress-nginx-controller
namespace: ingress-nginx
spec:
selector:
matchLabels:
app.kubernetes.io/name: ingress-nginx
app.kubernetes.io/instance: ingress-nginx
app.kubernetes.io/component: controller
revisionHistoryLimit: 10
minReadySeconds: 0
template:
metadata:
labels:
app.kubernetes.io/name: ingress-nginx
app.kubernetes.io/instance: ingress-nginx
app.kubernetes.io/component: controller
spec:
dnsPolicy: ClusterFirst
containers:
- name: controller
image: quay.io/kubernetes-ingress-controller/nginx-ingress-controller:0.32.0
imagePullPolicy: IfNotPresent
lifecycle:
preStop:
exec:
command:
- /wait-shutdown
args:
- /nginx-ingress-controller
- --election-id=ingress-controller-leader
- --ingress-class=nginx
- --configmap=ingress-nginx/ingress-nginx-controller
- --validating-webhook=:8443
- --validating-webhook-certificate=/usr/local/certificates/cert
- --validating-webhook-key=/usr/local/certificates/key
securityContext:
capabilities:
drop:
- ALL
add:
- NET_BIND_SERVICE
runAsUser: 101
allowPrivilegeEscalation: true
env:
- name: POD_NAME
valueFrom:
fieldRef:
fieldPath: metadata.name
- name: POD_NAMESPACE
valueFrom:
fieldRef:
fieldPath: metadata.namespace
livenessProbe:
httpGet:
path: /healthz
port: 10254
scheme: HTTP
initialDelaySeconds: 10
periodSeconds: 10
timeoutSeconds: 1
successThreshold: 1
failureThreshold: 3
readinessProbe:
httpGet:
path: /healthz
port: 10254
scheme: HTTP
initialDelaySeconds: 10
periodSeconds: 10
timeoutSeconds: 1
successThreshold: 1
failureThreshold: 3
ports:
- name: http
containerPort: 80
protocol: TCP
- name: https
containerPort: 443
protocol: TCP
- name: webhook
containerPort: 8443
protocol: TCP
volumeMounts:
- name: webhook-cert
mountPath: /usr/local/certificates/
readOnly: true
resources:
requests:
cpu: 100m
memory: 90Mi
serviceAccountName: ingress-nginx
terminationGracePeriodSeconds: 300
volumes:
- name: webhook-cert
secret:
secretName: ingress-nginx-admission
此验证链中出现问题。知道是什么以及为什么会很有趣，但我可以继续使用我的 MetalLB 解决方案。请注意，此解决方案根本不包含验证 webhook。
我已经解决了这个问题。问题是你使用的是 Kubernetes 1.18 版本，但是当前 ingress-Nginx 中的 ValidatingWebhookConfiguration 使用的是最旧的API；看文档：
https://kubernetes.io/docs/reference/access-authn-authz/extensible-admission-controllers/#prerequisites
确保 Kubernetes 集群至少为 v1.16（使用 admissionregistration.k8s。io/v1）或 v1.9（使用 admissionregistration.k8s。io/v1beta1).
在当前的 yaml 中：
# Source: ingress-nginx/templates/admission-webhooks/validating-webhook.yaml
# before changing this value, check the required kubernetes version
# https://kubernetes.io/docs/reference/access-authn-authz/extensible-admission-controllers/#prerequisites
apiVersion: admissionregistration.k8s.io/v1beta1
在规则中：
apiVersions:
- v1beta1
因此您需要在 v1 上更改它：
apiVersion: admissionregistration.k8s.io/v1
并添加规则 -v1 :
apiVersions:
- v1beta1
- v1
更改并重新部署后-您的自定义入口服务将部署成功
您的另一个选择是完全删除验证 Webhook：
kubectl delete -A ValidatingWebhookConfiguration ingress-nginx-admission
我发现我必须在 上执行此操作，但 workaround/solution 在这里也适用。
这不是最佳答案；最好的答案是弄清楚为什么这不起作用。但在某些时候，您会遇到变通办法。
我在 Docker 上为 Mac 安装，所以我使用了 cloud 而不是 baremetal 版本：
kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v0.34.1/deploy/static/provider/cloud/deploy.yaml
在我的例子中，我混淆了安装。
我通过执行以下步骤解决了这个问题：
$ kubectl get validatingwebhookconfigurations
我遍历了从上述步骤收到的配置列表，并使用
删除了配置
$ `kubectl delete validatingwebhookconfigurations [configuration-name]`
在我的例子中，我不需要删除 ValidatingWebhookConfiguration。问题是我在 GCP 版本 1.17.14-gke.1600 上使用私有集群。如果我理解正确，在默认的 Kubernetes 安装中，valitaingwebhook API（当然是主节点上的 运行）暴露在端口 443 上。但是对于 GCP，他们将端口更改为 8443出于安全原因，为了分配端口 443，服务需要对节点具有 root 访问权限。因为他们不想要那个，所以他们改为 8443。现在，由于私有集群只有外部允许的端口 80/443 用于节点上的 Ingress（即所有节点将只接受对这些端口的请求），当 Kubernetes 尝试根据 validatingwebhook-address:8443 验证您的 Ingress 时，它将失败 - 如果它 运行 on 443 则不会失败。 This thread 包含更多详细信息信息。
因此，当前的解决方法是 recommended by Google itself（但记录很少）是在 GCP 上添加防火墙规则，这将允许入站（入口）TCP 请求到端口 8443 上的主节点，所以集群中的其他节点可以通过该端口到达主节点以验证 Webhook API 运行。
至于如何创建规则，我是这样做的：
- 去 Firewall Rules 并添加了一个新的。
- 在 Network 字段中，我选择了我的集群所在的 VPC。
- 交通方向 我设置为
Ingress
- 匹配到
Allow 的动作
- 目标到
Specified target tags
- 目标标签可以在名为网络标签的属性主节点详细信息中找到。为了找到它，我打开了一个新的 window，去了我的集群节点池，找到了主节点池。然后进入其中一个节点以查找虚拟机详细信息。我在那里找到了 网络标签 。复制其值并返回防火墙规则表单。
- 将复制的网络标签粘贴到标签字段
- 在协议和端口，检查了
Specified protocols and ports
- 然后检查TCP并放置8443
- 保存规则并再次应用清单。
NOTE: Most threads out there will say it's the port 9443. It may work. But I first attempted 8443 since it was reported to work on this thread. It worked for me so I didn't even try 9443.
在裸机集群上，我在 Helm3 安装期间禁用了 admissionWebhooks：
kubectl create ns ingress-nginx
helm install [RELEASE_NAME] ingress-nginx/ingress-nginx -n ingress-nginx --set controller.admissionWebhooks.enabled=false
我不确定这对这么晚是否有帮助，但可能是因为您的集群在代理之后？因为在那种情况下，您必须正确配置 no_proxy。具体来说，它必须包含 .svc,.cluster.local 否则验证 webhook 请求（例如 https://ingress-nginx-controller-admission.ingress-nginx.svc:443/extensions/v1beta1/ingresses?timeout=30s 将通过代理服务器路由（请注意 .svc 在 URL ).
我确实遇到了这个问题，将 .svc 添加到 no_proxy 变量中很有帮助。您可以通过修改 /etc/kubernetes/manifests/kube-apiserver.yaml 文件来快速尝试，该文件将自动重新创建您的 kubernetes api 服务器 pod。
这不仅适用于入口验证，还适用于集群中以 .svc 或 .namespace.svc.cluster.local 结尾的其他可能引用 URL 的内容（即参见此 bug)
对我有用的是在等待入口出现时增加超时。
我正在构建一个具有 known-good 配置的集群，而另一个集群是上周才以基本相同的方式创建的。我的错误消息更具体地说明了 webhook 失败的原因：
│ Error: Failed to create Ingress
'auth-system/alertmanager-oauth2-proxy'
because: Internal error occurred: failed calling webhook
"validate.nginx.ingress.kubernetes.io": Post
"https://nginx-nginx-ingress-controller-controller-admission.ingress-nginx.svc:443/networking/v1beta1/ingresses?timeout=10s":
x509: certificate signed by unknown authority
事实证明，在我的许多配置中，其中一个在创建 nginx 时输入的 DNS 名称有错字。所以 nginx 认为它有一个域名，但它得到了一个略有不同的 dns 名称的证书，这导致验证 web 挂钩失败。
解决方案不是删除钩子，而是解决 nginx dns 中的底层配置问题，使其匹配其 X.509 证书域。
可能是因为之前的 nginx-ingress-controller 配置。
您可以尝试运行以下命令-
kubectl delete -A ValidatingWebhookConfiguration ingress-nginx-admission
我有这个错误。基本上我有一个脚本用 helm 安装 nginx 控制器；然后脚本会立即安装一个使用 ingress 和 helm 的应用程序。该应用安装失败，只是入口部分。
解决方案是在安装 nginx 后等待 60 秒，让 WebAdmissionHook 有时间启动并准备就绪。
如果使用 terraform 和 helm 禁用验证 Webhook
resource "helm_release" "nginx_ingress" {
...
set {
name = "controller.admissionWebhooks.enabled"
value = "false"
}
...
}
我在 Ubuntu 虚拟机上使用 kubeadm (v1.18) 设置了一个 k8s 集群。 现在我需要添加一个入口控制器。我决定使用 nginx（但我对其他解决方案持开放态度）。我是按照docs, section "bare-metal":
安装的kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-0.31.1/deploy/static/provider/baremetal/deploy.yaml
我觉得安装没问题：
kubectl get all -n ingress-nginx
NAME READY STATUS RESTARTS AGE
pod/ingress-nginx-admission-create-b8smg 0/1 Completed 0 8m21s
pod/ingress-nginx-admission-patch-6nbjb 0/1 Completed 1 8m21s
pod/ingress-nginx-controller-78f6c57f64-m89n8 1/1 Running 0 8m31s
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/ingress-nginx-controller NodePort 10.107.152.204 <none> 80:32367/TCP,443:31480/TCP 8m31s
service/ingress-nginx-controller-admission ClusterIP 10.110.191.169 <none> 443/TCP 8m31s
NAME READY UP-TO-DATE AVAILABLE AGE
deployment.apps/ingress-nginx-controller 1/1 1 1 8m31s
NAME DESIRED CURRENT READY AGE
replicaset.apps/ingress-nginx-controller-78f6c57f64 1 1 1 8m31s
NAME COMPLETIONS DURATION AGE
job.batch/ingress-nginx-admission-create 1/1 2s 8m31s
job.batch/ingress-nginx-admission-patch 1/1 3s 8m31s
但是，在尝试应用自定义 Ingress 时，出现以下错误：
Error from server (InternalError): error when creating "yaml/xxx/xxx-ingress.yaml": Internal error occurred: failed calling webhook "validate.nginx.ingress.kubernetes.io": Post https://ingress-nginx-controller-admission.ingress-nginx.svc:443/extensions/v1beta1/ingresses?timeout=30s: Temporary Redirect
知道哪里出了问题吗？
我怀疑是 DNS，但其他 NodePort 服务按预期工作并且 DNS 在集群内工作。
我唯一能看到的是我没有 docs here. However, this seems normal in my case, according to this thread.
中提到的 default-http-backend最后但同样重要的是，我也尝试了 installation with manifests (after removing ingress-nginx namespace from previous installation) and the installation via Helm chart。它具有相同的结果。
我几乎是 k8s 的初学者，这是我的 playground-cluster。所以我也愿意接受其他解决方案，只要我不需要从头开始设置整个集群即可。
更新：
对于 "applying custom Ingress"，我的意思是：
kubectl apply -f <myIngress.yaml>
myIngress.yaml
的内容apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
name: my-ingress
annotations:
nginx.ingress.kubernetes.io/rewrite-target: /
spec:
rules:
- http:
paths:
- path: /someroute/fittingmyneeds
pathType: Prefix
backend:
serviceName: some-service
servicePort: 5000
最后，我通过改变安装方式成功运行 Ingress Nginx。我仍然不明白为什么以前的安装不起作用，但我会分享解决方案以及对原始问题的更多见解。
解决方案
卸载ingress nginx：删除ingress-nginx命名空间。这不会删除验证 webhook 配置 - 手动删除它。然后安装 MetalLB 并再次安装 ingress nginx。我现在使用的是 Helm 稳定存储库中的版本。现在一切都按预期工作。感谢 kubernetes slack 频道上的 Long！
对原始问题的更多见解
installation guide 提供的 yaml 包含一个 ValidatingWebHookConfiguration：
apiVersion: admissionregistration.k8s.io/v1beta1
kind: ValidatingWebhookConfiguration
metadata:
labels:
helm.sh/chart: ingress-nginx-2.0.3
app.kubernetes.io/name: ingress-nginx
app.kubernetes.io/instance: ingress-nginx
app.kubernetes.io/version: 0.32.0
app.kubernetes.io/managed-by: Helm
app.kubernetes.io/component: admission-webhook
name: ingress-nginx-admission
namespace: ingress-nginx
webhooks:
- name: validate.nginx.ingress.kubernetes.io
rules:
- apiGroups:
- extensions
- networking.k8s.io
apiVersions:
- v1beta1
operations:
- CREATE
- UPDATE
resources:
- ingresses
failurePolicy: Fail
clientConfig:
service:
namespace: ingress-nginx
name: ingress-nginx-controller-admission
path: /extensions/v1beta1/ingresses
每当我创建或更新入口时都会执行验证（我的 ingress.yaml 的内容无关紧要）。验证失败，因为调用服务时，响应是临时重定向。我不知道为什么。 对应的服务为：
apiVersion: v1
kind: Service
metadata:
labels:
helm.sh/chart: ingress-nginx-2.0.3
app.kubernetes.io/name: ingress-nginx
app.kubernetes.io/instance: ingress-nginx
app.kubernetes.io/version: 0.32.0
app.kubernetes.io/managed-by: Helm
app.kubernetes.io/component: controller
name: ingress-nginx-controller-admission
namespace: ingress-nginx
spec:
type: ClusterIP
ports:
- name: https-webhook
port: 443
targetPort: webhook
selector:
app.kubernetes.io/name: ingress-nginx
app.kubernetes.io/instance: ingress-nginx
app.kubernetes.io/component: controller
与选择器匹配的 pod 来自此部署：
apiVersion: apps/v1
kind: Deployment
metadata:
labels:
helm.sh/chart: ingress-nginx-2.0.3
app.kubernetes.io/name: ingress-nginx
app.kubernetes.io/instance: ingress-nginx
app.kubernetes.io/version: 0.32.0
app.kubernetes.io/managed-by: Helm
app.kubernetes.io/component: controller
name: ingress-nginx-controller
namespace: ingress-nginx
spec:
selector:
matchLabels:
app.kubernetes.io/name: ingress-nginx
app.kubernetes.io/instance: ingress-nginx
app.kubernetes.io/component: controller
revisionHistoryLimit: 10
minReadySeconds: 0
template:
metadata:
labels:
app.kubernetes.io/name: ingress-nginx
app.kubernetes.io/instance: ingress-nginx
app.kubernetes.io/component: controller
spec:
dnsPolicy: ClusterFirst
containers:
- name: controller
image: quay.io/kubernetes-ingress-controller/nginx-ingress-controller:0.32.0
imagePullPolicy: IfNotPresent
lifecycle:
preStop:
exec:
command:
- /wait-shutdown
args:
- /nginx-ingress-controller
- --election-id=ingress-controller-leader
- --ingress-class=nginx
- --configmap=ingress-nginx/ingress-nginx-controller
- --validating-webhook=:8443
- --validating-webhook-certificate=/usr/local/certificates/cert
- --validating-webhook-key=/usr/local/certificates/key
securityContext:
capabilities:
drop:
- ALL
add:
- NET_BIND_SERVICE
runAsUser: 101
allowPrivilegeEscalation: true
env:
- name: POD_NAME
valueFrom:
fieldRef:
fieldPath: metadata.name
- name: POD_NAMESPACE
valueFrom:
fieldRef:
fieldPath: metadata.namespace
livenessProbe:
httpGet:
path: /healthz
port: 10254
scheme: HTTP
initialDelaySeconds: 10
periodSeconds: 10
timeoutSeconds: 1
successThreshold: 1
failureThreshold: 3
readinessProbe:
httpGet:
path: /healthz
port: 10254
scheme: HTTP
initialDelaySeconds: 10
periodSeconds: 10
timeoutSeconds: 1
successThreshold: 1
failureThreshold: 3
ports:
- name: http
containerPort: 80
protocol: TCP
- name: https
containerPort: 443
protocol: TCP
- name: webhook
containerPort: 8443
protocol: TCP
volumeMounts:
- name: webhook-cert
mountPath: /usr/local/certificates/
readOnly: true
resources:
requests:
cpu: 100m
memory: 90Mi
serviceAccountName: ingress-nginx
terminationGracePeriodSeconds: 300
volumes:
- name: webhook-cert
secret:
secretName: ingress-nginx-admission
此验证链中出现问题。知道是什么以及为什么会很有趣，但我可以继续使用我的 MetalLB 解决方案。请注意，此解决方案根本不包含验证 webhook。
我已经解决了这个问题。问题是你使用的是 Kubernetes 1.18 版本，但是当前 ingress-Nginx 中的 ValidatingWebhookConfiguration 使用的是最旧的API；看文档： https://kubernetes.io/docs/reference/access-authn-authz/extensible-admission-controllers/#prerequisites
确保 Kubernetes 集群至少为 v1.16（使用 admissionregistration.k8s。io/v1）或 v1.9（使用 admissionregistration.k8s。io/v1beta1).
在当前的 yaml 中：
# Source: ingress-nginx/templates/admission-webhooks/validating-webhook.yaml
# before changing this value, check the required kubernetes version
# https://kubernetes.io/docs/reference/access-authn-authz/extensible-admission-controllers/#prerequisites
apiVersion: admissionregistration.k8s.io/v1beta1
在规则中：
apiVersions:
- v1beta1
因此您需要在 v1 上更改它：
apiVersion: admissionregistration.k8s.io/v1
并添加规则 -v1 :
apiVersions:
- v1beta1
- v1
更改并重新部署后-您的自定义入口服务将部署成功
您的另一个选择是完全删除验证 Webhook：
kubectl delete -A ValidatingWebhookConfiguration ingress-nginx-admission
我发现我必须在
这不是最佳答案；最好的答案是弄清楚为什么这不起作用。但在某些时候，您会遇到变通办法。
我在 Docker 上为 Mac 安装，所以我使用了 cloud 而不是 baremetal 版本：
kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v0.34.1/deploy/static/provider/cloud/deploy.yaml
在我的例子中，我混淆了安装。 我通过执行以下步骤解决了这个问题：
$ kubectl get validatingwebhookconfigurations
我遍历了从上述步骤收到的配置列表，并使用
删除了配置$ `kubectl delete validatingwebhookconfigurations [configuration-name]`
在我的例子中，我不需要删除 ValidatingWebhookConfiguration。问题是我在 GCP 版本 1.17.14-gke.1600 上使用私有集群。如果我理解正确，在默认的 Kubernetes 安装中，valitaingwebhook API（当然是主节点上的 运行）暴露在端口 443 上。但是对于 GCP，他们将端口更改为 8443出于安全原因，为了分配端口 443，服务需要对节点具有 root 访问权限。因为他们不想要那个，所以他们改为 8443。现在，由于私有集群只有外部允许的端口 80/443 用于节点上的 Ingress（即所有节点将只接受对这些端口的请求），当 Kubernetes 尝试根据 validatingwebhook-address:8443 验证您的 Ingress 时，它将失败 - 如果它 运行 on 443 则不会失败。 This thread 包含更多详细信息信息。
因此，当前的解决方法是 recommended by Google itself（但记录很少）是在 GCP 上添加防火墙规则，这将允许入站（入口）TCP 请求到端口 8443 上的主节点，所以集群中的其他节点可以通过该端口到达主节点以验证 Webhook API 运行。
至于如何创建规则，我是这样做的：
- 去 Firewall Rules 并添加了一个新的。
- 在 Network 字段中，我选择了我的集群所在的 VPC。
- 交通方向 我设置为
Ingress - 匹配到
Allow的动作
- 目标到
Specified target tags - 目标标签可以在名为网络标签的属性主节点详细信息中找到。为了找到它，我打开了一个新的 window，去了我的集群节点池，找到了主节点池。然后进入其中一个节点以查找虚拟机详细信息。我在那里找到了 网络标签 。复制其值并返回防火墙规则表单。
- 将复制的网络标签粘贴到标签字段
- 在协议和端口，检查了
Specified protocols and ports - 然后检查TCP并放置8443
- 保存规则并再次应用清单。
NOTE: Most threads out there will say it's the port 9443. It may work. But I first attempted 8443 since it was reported to work on this thread. It worked for me so I didn't even try 9443.
在裸机集群上，我在 Helm3 安装期间禁用了 admissionWebhooks：
kubectl create ns ingress-nginx
helm install [RELEASE_NAME] ingress-nginx/ingress-nginx -n ingress-nginx --set controller.admissionWebhooks.enabled=false
我不确定这对这么晚是否有帮助，但可能是因为您的集群在代理之后？因为在那种情况下，您必须正确配置 no_proxy。具体来说，它必须包含 .svc,.cluster.local 否则验证 webhook 请求（例如 https://ingress-nginx-controller-admission.ingress-nginx.svc:443/extensions/v1beta1/ingresses?timeout=30s 将通过代理服务器路由（请注意 .svc 在 URL ).
我确实遇到了这个问题，将 .svc 添加到 no_proxy 变量中很有帮助。您可以通过修改 /etc/kubernetes/manifests/kube-apiserver.yaml 文件来快速尝试，该文件将自动重新创建您的 kubernetes api 服务器 pod。
这不仅适用于入口验证，还适用于集群中以 .svc 或 .namespace.svc.cluster.local 结尾的其他可能引用 URL 的内容（即参见此 bug)
对我有用的是在等待入口出现时增加超时。
我正在构建一个具有 known-good 配置的集群，而另一个集群是上周才以基本相同的方式创建的。我的错误消息更具体地说明了 webhook 失败的原因：
│ Error: Failed to create Ingress
'auth-system/alertmanager-oauth2-proxy'
because: Internal error occurred: failed calling webhook
"validate.nginx.ingress.kubernetes.io": Post
"https://nginx-nginx-ingress-controller-controller-admission.ingress-nginx.svc:443/networking/v1beta1/ingresses?timeout=10s":
x509: certificate signed by unknown authority
事实证明，在我的许多配置中，其中一个在创建 nginx 时输入的 DNS 名称有错字。所以 nginx 认为它有一个域名，但它得到了一个略有不同的 dns 名称的证书，这导致验证 web 挂钩失败。
解决方案不是删除钩子，而是解决 nginx dns 中的底层配置问题，使其匹配其 X.509 证书域。
可能是因为之前的 nginx-ingress-controller 配置。
您可以尝试运行以下命令-
kubectl delete -A ValidatingWebhookConfiguration ingress-nginx-admission
我有这个错误。基本上我有一个脚本用 helm 安装 nginx 控制器；然后脚本会立即安装一个使用 ingress 和 helm 的应用程序。该应用安装失败，只是入口部分。
解决方案是在安装 nginx 后等待 60 秒，让 WebAdmissionHook 有时间启动并准备就绪。
如果使用 terraform 和 helm 禁用验证 Webhook
resource "helm_release" "nginx_ingress" {
...
set {
name = "controller.admissionWebhooks.enabled"
value = "false"
}
...
}