Cloudera Manager - HDFS 免费 Space 健康问题故障排除

Question

我有一个由两台主机配置的集群 -

我 运行 的工作似乎正在创建大量日志，我的一个 hdfs 数据节点显示严重的健康问题，如 -

四件事：

1. 如何清理这些日志并使 space 免费？从 /var/log/hadoop-hdfs 手动删除它们是个好主意吗？

2. 如上/var/log/hadoop-hdfs目录只有610MB hdfs中的space在哪里被占用了？

3. 如何配置日志文件定期删除？

4. 我有 HDFS、Spark 和 YARN - MR2 服务已启动，运行它们都在创建自己的日志。我也想清理那些。

谢谢！

Answer 1

深入研究 hdfs 后 -

要获取哪个目录的大小，请执行： hadoop fs -du -h /user/

Spark 服务日志创建：

由 Spark 位置创建的日志被识别、手动删除并且集群恢复到健康状态 -

Spark on 在 HDFS 中的位置创建日志 -

/user/spark/applicationHistory

日志文件大小为 129GB。（已删除）

使用的命令 -（当 -rm 将文件移动到垃圾箱时，我们也需要从垃圾箱中 -rm 以便正确清理）

$ hadoop fs -rm /user/spark/applicationHistory/*

$ hadoop fs -rm -r  /user/cloudera/.Trash/Current