删除 HDFS 块池

Question

我是 运行 Hadoop 集群上的 Spark。我尝试了 运行 Spark 作业并注意到我遇到了一些问题，最终通过查看数据节点的日志发现其中一个数据节点的文件系统已满

我查看了 hdfs dfsadmin -report 以确定这一点。类别 DFS 剩余为 0B，因为使用的非 DFS 很大（193GB 配置容量中的 155GB）。

当我查看此数据节点上的文件系统时，我发现其中大部分来自 /usr/local/hadoop_work/ 目录。那里有 三个 个块池，其中一个非常大 (98GB)。当我查看集群中的其他数据节点时，它只有 one 块池。

我想知道我是否可以简单地删除其中两个块池？我假设（但对此知之甚少）名称节点（我只有一个）将查看最近的块池，该块池的大小较小并且对应于另一个数据节点上的块池。

Answer 1

如上面的评论所述，最终我只是删除了两个块池。我之所以这样做，是因为这些块池 ID 在另一个数据节点中不存在，通过查看本地文件系统，我可以看到这些 ID 下的文件有一段时间没有更新了。