CDH HDFS节点退役永无止境
CDH HDFS node decommission never ends
我们有一个12台服务器的hadoop集群（CDH），最近，我们想退役其中的三个，但是这个过程已经运行有2天多了。但它永远不会结束，特别是在过去的 24 小时内，我看到三个数据节点上只有 94G 数据可用，但在过去的 24 小时内大小似乎没有变化。即使通过复制不足的块数也已经为零。 hdfs 中所有数据的复制因子都是 3。
下面是 hadoop fsck 命令的结果：
总大小：5789534135468 B（打开文件总大小：94222879072 B）
目录总数：42458
文件总数：5494378
符号链接总数：0（当前正在写入的文件：133）
块总数（已验证）：5506578（平均块大小 1051385 B）（打开文件块总数（未验证）：822）
最少复制块：5506578 (100.0 %)
过度复制块：0 (0.0 %)
复制不足的块：0 (0.0 %)
错误复制块：0 (0.0 %)
默认复制因子：3
平均块复制：2.999584
损坏的块：0
缺少副本：0 (0.0 %)
数据节点数：13
机架数量：1
FSCK 于 10 月 17 日星期一结束 16:36:09 KST 2016，耗时 781094 毫秒
您可以尝试停止datanode上的cloudera agent。
sudo service cloudera-scm-agent hard_stop_confirmed
代理停止后，您可以从hdfs实例页面中删除该datanode
希望这有效
我们有一个12台服务器的hadoop集群（CDH），最近，我们想退役其中的三个，但是这个过程已经运行有2天多了。但它永远不会结束，特别是在过去的 24 小时内，我看到三个数据节点上只有 94G 数据可用，但在过去的 24 小时内大小似乎没有变化。即使通过复制不足的块数也已经为零。 hdfs 中所有数据的复制因子都是 3。
下面是 hadoop fsck 命令的结果：
总大小：5789534135468 B（打开文件总大小：94222879072 B） 目录总数：42458 文件总数：5494378 符号链接总数：0（当前正在写入的文件：133） 块总数（已验证）：5506578（平均块大小 1051385 B）（打开文件块总数（未验证）：822） 最少复制块：5506578 (100.0 %) 过度复制块：0 (0.0 %) 复制不足的块：0 (0.0 %) 错误复制块：0 (0.0 %) 默认复制因子：3 平均块复制：2.999584 损坏的块：0 缺少副本：0 (0.0 %) 数据节点数：13 机架数量：1 FSCK 于 10 月 17 日星期一结束 16:36:09 KST 2016，耗时 781094 毫秒
您可以尝试停止datanode上的cloudera agent。
sudo service cloudera-scm-agent hard_stop_confirmed
代理停止后，您可以从hdfs实例页面中删除该datanode
希望这有效