CDH HDFS节点退役永无止境
CDH HDFS node decommission never ends
我们有一个12台服务器的hadoop集群(CDH),最近,我们想退役其中的三个,但是这个过程已经运行有2天多了。但它永远不会结束,特别是在过去的 24 小时内,我看到三个数据节点上只有 94G 数据可用,但在过去的 24 小时内大小似乎没有变化。即使通过复制不足的块数也已经为零。 hdfs 中所有数据的复制因子都是 3。
下面是 hadoop fsck 命令的结果:
总大小:5789534135468 B(打开文件总大小:94222879072 B)
目录总数:42458
文件总数:5494378
符号链接总数:0(当前正在写入的文件:133)
块总数(已验证):5506578(平均块大小 1051385 B)(打开文件块总数(未验证):822)
最少复制块:5506578 (100.0 %)
过度复制块:0 (0.0 %)
复制不足的块:0 (0.0 %)
错误复制块:0 (0.0 %)
默认复制因子:3
平均块复制:2.999584
损坏的块:0
缺少副本:0 (0.0 %)
数据节点数:13
机架数量:1
FSCK 于 10 月 17 日星期一结束 16:36:09 KST 2016,耗时 781094 毫秒
您可以尝试停止datanode上的cloudera agent。
sudo service cloudera-scm-agent hard_stop_confirmed
代理停止后,您可以从hdfs实例页面中删除该datanode
希望这有效
我们有一个12台服务器的hadoop集群(CDH),最近,我们想退役其中的三个,但是这个过程已经运行有2天多了。但它永远不会结束,特别是在过去的 24 小时内,我看到三个数据节点上只有 94G 数据可用,但在过去的 24 小时内大小似乎没有变化。即使通过复制不足的块数也已经为零。 hdfs 中所有数据的复制因子都是 3。
下面是 hadoop fsck 命令的结果:
总大小:5789534135468 B(打开文件总大小:94222879072 B) 目录总数:42458 文件总数:5494378 符号链接总数:0(当前正在写入的文件:133) 块总数(已验证):5506578(平均块大小 1051385 B)(打开文件块总数(未验证):822) 最少复制块:5506578 (100.0 %) 过度复制块:0 (0.0 %) 复制不足的块:0 (0.0 %) 错误复制块:0 (0.0 %) 默认复制因子:3 平均块复制:2.999584 损坏的块:0 缺少副本:0 (0.0 %) 数据节点数:13 机架数量:1 FSCK 于 10 月 17 日星期一结束 16:36:09 KST 2016,耗时 781094 毫秒
您可以尝试停止datanode上的cloudera agent。
sudo service cloudera-scm-agent hard_stop_confirmed
代理停止后,您可以从hdfs实例页面中删除该datanode
希望这有效