为什么我的 hdfs 容量不保持不变?
Why is my hdfs capacity not remainng constant?
我是 运行 dataproc 上的 pyspark 作业,我的 hdfs 总容量不会保持不变。
正如您在第一个图表中看到的那样,尽管已使用的 hdfs 容量很小,但剩余的 hdfs 容量正在下降。为什么 remaining + used 不是常量?
监控图中的“used”其实是“DFS used”,并没有显示“non-DFS used”。如果您在组件网关 Web 界面中打开 HDFS UI,您应该能够看到如下内容:
Configured Capacity : 232.5 GB
DFS Used : 38.52 GB
Non DFS Used : 45.35 GB
DFS Remaining : 148.62 GB
DFS Used% : 16.57 %
DFS Remaining% : 63.92 %
公式为:
DFS 剩余 = 总磁盘 Space - 最大值(保留 Space,Non-DFS 使用)- DFS 使用
已配置容量 = 总磁盘容量 Space - 保留容量 Space
保留 Space 由 dfs.datanode.du.reserved
1 property which defaults to 0. So in your case it is the non-DFS used that gets deducted. Here is a similar question 控制。
我是 运行 dataproc 上的 pyspark 作业,我的 hdfs 总容量不会保持不变。
正如您在第一个图表中看到的那样,尽管已使用的 hdfs 容量很小,但剩余的 hdfs 容量正在下降。为什么 remaining + used 不是常量?
监控图中的“used”其实是“DFS used”,并没有显示“non-DFS used”。如果您在组件网关 Web 界面中打开 HDFS UI,您应该能够看到如下内容:
Configured Capacity : 232.5 GB
DFS Used : 38.52 GB
Non DFS Used : 45.35 GB
DFS Remaining : 148.62 GB
DFS Used% : 16.57 %
DFS Remaining% : 63.92 %
公式为:
DFS 剩余 = 总磁盘 Space - 最大值(保留 Space,Non-DFS 使用)- DFS 使用
已配置容量 = 总磁盘容量 Space - 保留容量 Space
保留 Space 由 dfs.datanode.du.reserved
1 property which defaults to 0. So in your case it is the non-DFS used that gets deducted. Here is a similar question 控制。