kubernetes 节点在使用 rook 卷时不断重启

kubernetes nodes keep rebooting when using rook volumes

几天前我遇到了一个问题,我的节点不断重启

我的堆栈:

我能够 运行 ceph 集群,但是当我尝试部署我的应用程序时,它正在使用我的 rook-volumes,突然我的 pods 开始死亡

我在使用 kubectl describe pods/name 命令时收到此消息:

Pod sandbox changed, it will be killed and re-created

在k8s活动中我得到:

<Node name> has been rebooted

一段时间后节点开始活跃,但最终在 2-3 分钟内死亡。

我尝试耗尽我的节点并连接回我的集群,但之后另一个节点出现此错误。

我通过命令journalctl -p 3查看了故障节点的系统错误日志。

并且发现日志中充斥着这些消息:kernel: cache_from_obj: Wrong slab cache. inode_cache but object is from ceph_inode_info

在谷歌搜索这个问题后,我发现了这个问题: https://github.com/coreos/bugs/issues/2616

事实证明,cephfs 无法与某些版本的 Linux 内核一起使用!! 对我来说,这些都不起作用:

解决方案

Cephfs 不适用于某些版本的 Linux 内核。升级你的内核。我终于在 Ubuntu 18.04 x86_64 5.0.0-38-generic

上工作了

Github 问题,对我有帮助: https://github.com/coreos/bugs/issues/2616

这确实是一个棘手的问题,我一直在努力寻找解决方案,并且花了很多时间试图了解发生了什么。我希望这些信息对某些人有所帮助,因为关于 google.

的信息不多