HDFS /tmp 文件系统正在快速填满，预计会导致中断

Question

在我们的 Hadoop 集群（Cloudera 发行版）中，我们最近发现 Hive Job 是由用户在 '/tmp' 位置创建 160 TB 文件启动的，它几乎消耗了剩余的 HDFS space 并且即将导致停电。后来我们排除故障并终止特定作业，因为我们无法联系到启动该作业的用户。

所以现在我的问题是，如果有人创建了大文件或者我们需要限制使用 HDFA 配额的用户，我们能否为“/tmp”位置设置警报。如果您有任何其他建议，请分享。

Answer 1

您可以使用以下一组命令设置和管理目录的配额

    hdfs dfsadmin -setQuota <N> <directory>...<directory>

    hdfs dfsadmin -clrQuota <directory>...<directory>

    hdfs dfsadmin -setSpaceQuota <N> <directory>...<directory>

    hdfs dfsadmin -clrSpaceQuota <directory>...<directory>

*where N is the Number of bytes you want to set

Reference Link

Helpful article

希望这对您的场景有所帮助。

Answer 2

您还可以从处理端在Yarn 资源池中的Cloudera Manager 中管理资源。您可以限制分配给集群上每个用户或服务 运行 的最大核心数和内存。