kubernetes 节点在使用 rook 卷时不断重启
kubernetes nodes keep rebooting when using rook volumes
几天前我遇到了一个问题,我的节点不断重启
我的堆栈:
1 master, 2 workers 使用 kubeadm (v1.17.1-00) 构建的 k8s 集群
Ubuntu 18.04 x86_64 4.15.0-74-通用
Flannel cni 插件 (v0.11.0)
Rook (v1.2) cephfs 用于存储。 Ceph 部署在我的应用所在的同一个集群中
我能够 运行 ceph 集群,但是当我尝试部署我的应用程序时,它正在使用我的 rook-volumes,突然我的 pods 开始死亡
我在使用 kubectl describe pods/name
命令时收到此消息:
Pod sandbox changed, it will be killed and re-created
在k8s活动中我得到:
<Node name> has been rebooted
一段时间后节点开始活跃,但最终在 2-3 分钟内死亡。
我尝试耗尽我的节点并连接回我的集群,但之后另一个节点出现此错误。
我通过命令journalctl -p 3
查看了故障节点的系统错误日志。
并且发现日志中充斥着这些消息:kernel: cache_from_obj: Wrong slab cache. inode_cache but object is from ceph_inode_info
。
在谷歌搜索这个问题后,我发现了这个问题:
https://github.com/coreos/bugs/issues/2616
事实证明,cephfs 无法与某些版本的 Linux 内核一起使用!!
对我来说,这些都不起作用:
- Ubuntu 19.04 x86_64 5.0.0-32-通用
- Ubuntu 18.04 x86_64 4.15.0-74-通用
解决方案
Cephfs 不适用于某些版本的 Linux 内核。升级你的内核。我终于在 Ubuntu 18.04 x86_64 5.0.0-38-generic
上工作了
Github 问题,对我有帮助:
https://github.com/coreos/bugs/issues/2616
这确实是一个棘手的问题,我一直在努力寻找解决方案,并且花了很多时间试图了解发生了什么。我希望这些信息对某些人有所帮助,因为关于 google.
的信息不多
几天前我遇到了一个问题,我的节点不断重启
我的堆栈:
1 master, 2 workers 使用 kubeadm (v1.17.1-00) 构建的 k8s 集群
Ubuntu 18.04 x86_64 4.15.0-74-通用
Flannel cni 插件 (v0.11.0)
Rook (v1.2) cephfs 用于存储。 Ceph 部署在我的应用所在的同一个集群中
我能够 运行 ceph 集群,但是当我尝试部署我的应用程序时,它正在使用我的 rook-volumes,突然我的 pods 开始死亡
我在使用 kubectl describe pods/name
命令时收到此消息:
Pod sandbox changed, it will be killed and re-created
在k8s活动中我得到:
<Node name> has been rebooted
一段时间后节点开始活跃,但最终在 2-3 分钟内死亡。
我尝试耗尽我的节点并连接回我的集群,但之后另一个节点出现此错误。
我通过命令journalctl -p 3
查看了故障节点的系统错误日志。
并且发现日志中充斥着这些消息:kernel: cache_from_obj: Wrong slab cache. inode_cache but object is from ceph_inode_info
。
在谷歌搜索这个问题后,我发现了这个问题: https://github.com/coreos/bugs/issues/2616
事实证明,cephfs 无法与某些版本的 Linux 内核一起使用!! 对我来说,这些都不起作用:
- Ubuntu 19.04 x86_64 5.0.0-32-通用
- Ubuntu 18.04 x86_64 4.15.0-74-通用
解决方案
Cephfs 不适用于某些版本的 Linux 内核。升级你的内核。我终于在 Ubuntu 18.04 x86_64 5.0.0-38-generic
上工作了Github 问题,对我有帮助: https://github.com/coreos/bugs/issues/2616
这确实是一个棘手的问题,我一直在努力寻找解决方案,并且花了很多时间试图了解发生了什么。我希望这些信息对某些人有所帮助,因为关于 google.
的信息不多