Kubernetes 逐出管理器逐出控制平面 pods 以回收临时存储

Question

我正在使用 Kubernetes v1.13.0。我的主人也作为一个工作节点，所以它有工作负载 pods 运行，除了控制平面 pods.

我的 master 上的 kubelet 日志显示以下行：

eviction_manager.go:340] 驱逐管理器：必须驱逐 pod 以回收临时存储
eviction_manager.go:358] 驱逐经理：pods 驱逐排名：kube-controller-manager-vm2_kube-system(1631c2c238e0c5117acac446b26d9f8c), kube-apiserver-vm2_kube-system(ce43eba098d219e13901c4a0b829f43b), etcd-vm2_kube-system(91ab2b0ddf4486a5)

一旦 kube-apiserver pod 被驱逐，集群将变得不可用。

我该怎么做才能解决这个问题？我应该添加更多临时存储吗？我该怎么做呢？这意味着向我主机上的根分区添加更多 space？

我的理解是临时存储由 /var/log 和 /var/lib/kubelet 文件夹组成，它们都位于根分区下。

我主机上的 df -h 显示：

已用文件系统大小 Avail Use% Mounted on
/dev/vda1 39G 33G 6.2G 85% /

所以看起来根分区还剩很多内存，没有磁盘压力。那么是什么导致了这个问题？我的一些工作人员 pods 一定在存储方面做了一些疯狂的事情，但它仍然是 6G 似乎空间很大。

向根分区添加更多 space 是否可以暂时解决此问题？

kubectl describe vm2 给出以下信息：

条件：
  类型状态 LastHeartbeatTime LastTransitionTime 原因消息
  ---- ------ ------------------ ------------------ ----- - --------
  MemoryPressure False Fri, 11 Jan 2019 21:25:43 +0000 Wed, 05 Dec 2018 19:16:41 +0000 KubeletHasSufficientMemory kubelet 有足够的可用内存
  DiskPressure False Fri, 11 Jan 2019 21:25:43 +0000 Fri, 11 Jan 2019 20:58:07 +0000 KubeletHasNoDiskPressure kubelet 没有磁盘压力
  PIDPressure False Fri, 11 Jan 2019 21:25:43 +0000 Wed, 05 Dec 2018 19:16:41 +0000 KubeletHasSufficientPID kubelet 有足够的可用 PID
  Ready True 2019 年 1 月 11 日星期五 21:25:43 +0000 2018 年 12 月 6 日星期四 17:00:02 +0000 KubeletReady kubelet 正在发布就绪状态。已启用 AppArmor
容量：
 cpu: 8
 临时存储：40593708Ki
 hugepages-1Gi: 0
 hugepages-2Mi: 0
 内存：32946816Ki
 pods: 110
可分配：
 cpu: 8
 临时存储：37411161231
 hugepages-1Gi: 0
 hugepages-2Mi: 0
 内存：32844416Ki
 pods: 110

在我看来，临时存储存在压力，驱逐管理器正试图通过驱逐最近最少使用的 pods 来回收一些存储。但它不应该驱逐控制平面pods，否则集群将无法使用。

目前，Kubelet 逐出控制平面pods。然后我尝试通过在 /etc/kubernetes/manifests 文件中添加和删除 space 来手动启动 apiserver 和其他控制平面 pods。这确实启动了 apiserver，但随后它再次被驱逐。理想情况下，Kubelet 应该确保 /etc/kubernetes/manifests 中的静态 pods 始终处于开启状态并得到妥善管理。

我正在尝试了解这里发生了什么，以及如何解决这个问题，以便我的 kubernetes 集群变得更加健壮，并且我不必一直手动重启 apiserver。

Answer 1

我遇到了同样的问题并通过更改 evictionHard 的阈值解决了它。

查看 /etc/systemd/system/kubelet.service.d/10-kubeadm.conf 我有：

[Service]
Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf"
Environment="KUBELET_CONFIG_ARGS=--config=/var/lib/kubelet/config.yaml"
# This is a file that "kubeadm init" and "kubeadm join" generates at runtime, populating the KUBELET_KUBEADM_ARGS variable dynamically
EnvironmentFile=-/var/lib/kubelet/kubeadm-flags.env
# This is a file that the user can use for overrides of the kubelet args as a last resort. Preferably, the user should use
# the .NodeRegistration.KubeletExtraArgs object in the configuration files instead. KUBELET_EXTRA_ARGS should be sourced from this file.
EnvironmentFile=-/etc/default/kubelet
ExecStart=
ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS $KUBELET_CONFIG_ARGS $KUBELET_KUBEADM_ARGS $KUBELET_EXTRA_ARGS

所以我看到我的 kubelet 配置文件是 /var/lib/kubelet/config.yaml

打开我将 evitionHard 设置更改为（我认为它们之前是 10% 或 15%）：

...
evictionHard:
  imagefs.available: 1%
  memory.available: 100Mi
  nodefs.available: 1%
  nodefs.inodesFree: 1%
...

还有 --experimental-allocatable-ignore-eviction (https://kubernetes.io/docs/reference/command-line-tools-reference/kubelet/) 设置应该完全禁用逐出。

Answer 2

这是因为你的 kubelet config 设置的 eviction nodefs 和 imagefs % 太高了，设置低一些，问题就会解决：修改 /var/lib/kubelet/config.yaml

中的配置

找出部分驱逐并设置较低的百分比，如下所示：

 evictionHard:
   imagefs.available: 1%
   memory.available: 100Mi
   nodefs.available: 1%
   nodefs.inodesFree: 1%

Kubernetes 逐出管理器逐出控制平面 pods 以回收临时存储

Kubernetes eviction manager evicting control plane pods to reclaim ephemeral storage

kubernetes

kubernetes-apiserver