如何为 kubelet 服务器证书启用自动 CSR 批准？

Question

[在 k8s 讨论论坛上交叉发布——如果认为这是错误的形式，我们深表歉意。]

您好！

通过 Kubernetes The Hard Way 建立了一个新的 1.13.3 集群，加上 TLS 引导的额外配置，我正在努力获得 kubelet server 证书的自动批准。客户端证书引导正常，kubelet -> apiserver 通信工作顺利，但 apiserver -> kubelet 通信是手头的问题。

正在请求服务器证书，但它们被卡住等待手动干预，而且我无法像客户端 CSR 一样预测自动批准服务器 CSR 所需的 RBAC 咒语。

这是 CSR（在刚刚重新实例化集群之后）：

NAME                                                   AGE   REQUESTOR                      CONDITION
csr-m7rjs                                              4s    system:node:k8s-lab3-worker1   Pending
node-csr-aTpBsagYzYaZYJM6iGMN5AvqzVXATDj1BrmZs_dZCJA   5s    system:bootstrap:ec5591        Approved,Issued

此时显然 apiserver -> kubelet 通信（通过 kubectl exec 或 logs）失败了。如果我手动批准证书，一切都会按预期进行。

同时发出客户端和服务器 CSR 的事实让我相信 kubelet 已正确配置（加上手动批准使其运行的事实）。

触发我的蜘蛛侠感觉的主要是当 apiserver 第一次启动时，我看到：

Feb  6 00:14:13 k8s-lab3-controller1[3495]: I0206 00:14:13.697030    3495 storage_rbac.go:187] created clusterrole.rbac.authorization.k8s.io/system:certificates.k8s.io:certificatesigningrequests:nodeclient
Feb  6 00:14:13 k8s-lab3-controller1[3495]: I0206 00:14:13.706561    3495 storage_rbac.go:187] created clusterrole.rbac.authorization.k8s.io/system:certificates.k8s.io:certificatesigningrequests:selfnodeclient

用于客户端证书签名的集群角色由 apiserver 自动创建。但是 certificatesigningrequests:selfnodeserver 不是自动创建的。这是否表明服务器证书的自动批准实际上并未实现或不受支持？

好吧，我已经手动创建了它：

kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: system:certificates.k8s.io:certificatesigningrequests:selfnodeserver
  annotations:
    rbac.authorization.kubernetes.io/autoupdate: "true"
  labels:
    kubernetes.io/bootstrapping: rbac-defaults
rules:
- apiGroups: ["certificates.k8s.io"]
  resources: ["certificatesigningrequests/selfnodeserver"]
  verbs: ["create"]

然后我将角色绑定到 system:nodes 组：

kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: auto-approve-server-renewals-for-nodes
subjects:
- kind: Group
  name: system:nodes
  apiGroup: rbac.authorization.k8s.io
roleRef:
  kind: ClusterRole
  name: system:certificates.k8s.io:certificatesigningrequests:selfnodeserver
  apiGroup: rbac.authorization.k8s.io

并且可以肯定的是，system:nodes 是与服务器 CSR 关联的组之一：

$ kubectl get csr csr-m7rjs -o template --template {{.spec.groups}}
[system:nodes system:authenticated]

我已经尝试了几个小时的黑带级别的从 Stack Overflow 复制和粘贴（大部分建议确实适用于旧版本的 Kubernetes），但无济于事。我希望这里的智囊团能发现我做错了什么。

如果它是相关的，这就是我启动 apiserver 的方式（同样这是 v1.13.3，所以我是）：

/usr/local/bin/kube-apiserver \
  --advertise-address=172.24.22.168 \
  --allow-privileged=true \
  --anonymous-auth=false \
  --apiserver-count=3 \
  --audit-log-maxage=30 \
  --audit-log-maxbackup=10 \
  --audit-log-maxsize=100 \
  --audit-log-path=/var/log/audit.log \
  --authorization-mode=Node,RBAC \
  --bind-address=0.0.0.0 \
  --client-ca-file=/etc/kubernetes/pki/ca.crt \
  --enable-admission-plugins=Initializers,NamespaceLifecycle,NodeRestriction,LimitRanger,ServiceAccount,DefaultStorageClass,ResourceQuota,AlwaysPullImages,DenyEscalatingExec,SecurityContextDeny,EventRateLimit \
  --admission-control-config-file=/etc/kubernetes/admissionconfig.yaml \
  --enable-bootstrap-token-auth=true \
  --enable-swagger-ui=true \
  --etcd-cafile=/etc/kubernetes/pki/ca.crt \
  --etcd-certfile=/etc/kubernetes/pki/apiserver-etcd-client.crt \
  --etcd-keyfile=/etc/kubernetes/pki/apiserver-etcd-client.key \
  --etcd-servers=https://172.24.22.168:2379 \
  --event-ttl=1h \
  --encryption-provider-config=/etc/kubernetes/encryption-config.yaml \
  --feature-gates=RotateKubeletServerCertificate=true \
  --insecure-port=0 \
  --kubelet-certificate-authority=/etc/kubernetes/pki/ca.crt \
  --kubelet-client-certificate=/etc/kubernetes/pki/apiserver-kubelet-client.crt \
  --kubelet-client-key=/etc/kubernetes/pki/apiserver-kubelet-client.key \
  --kubelet-https=true \
  --profiling=false \
  --repair-malformed-updates=false \
  --runtime-config=api/all \
  --service-account-lookup=true \
  --service-account-key-file=/etc/kubernetes/pki/sa.crt  \
  --service-cluster-ip-range=10.32.0.0/24 \
  --service-node-port-range=30000-32767 \
  --tls-cert-file=/etc/kubernetes/pki/apiserver.crt \
  --tls-cipher-suites=TLS_ECDHE_ECDSA_WITH_AES_128_GCM_SHA256,TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256,TLS_ECDHE_ECDSA_WITH_CHACHA20_POLY1305,TLS_ECDHE_RSA_WITH_AES_256_GCM_SHA384,TLS_ECDHE_RSA_WITH_CHACHA20_POLY1305,TLS_ECDHE_ECDSA_WITH_AES_256_GCM_SHA384,TLS_RSA_WITH_AES_256_GCM_SHA384,TLS_RSA_WITH_AES_128_GCM_SHA256 \
  --tls-private-key-file=/etc/kubernetes/pki/apiserver.key \
  --v=2

（自 1.12 起，RotateKubeletServerCertificate 默认为 true 我想 --feature-gates 参数是多余的，但我碰巧把它留在了里面。）

非常感谢您提供的任何帮助。

Answer 1

原来服务器 CSR 的自动批准已被删除。

https://github.com/kubernetes/kubernetes/issues/73356

到此为止。

Answer 2

我最近写了一个 Kubelet CSR approver，它嵌入了几个安全检查，它可能正是你需要的：

https://github.com/postfinance/kubelet-csr-approver

现在它只验证 CSR SAN（请求的 DNS 名称）是否符合您通过环境变量指定的正则表达式，我已经留下选项来很容易地实施额外检查

如何为 kubelet 服务器证书启用自动 CSR 批准？

How to enable auto CSR approval for kubelet server certificates?

csr

kubernetes