集群主机的存储空间 space 比 HDFS 似乎识别/访问的存储空间多？如何增加 HDFS 存储的使用？
Cluster hosts have more storage space than HDFS seems to recognize / have access to? How to increase HDFS storage use?
在 HDFS (HDP v3.1.0) 运行 存储不足 space 时出现问题（这也导致 spark 作业挂起时出现问题接受模式）。我假设有 一些配置，我可以让 HDFS 使用节点主机 上已经存在的更多存储 space，但快速谷歌搜索并不清楚具体是什么。有更多经验的人可以帮忙吗？
在 Ambari UI 中，我看到...
（来自 ambari UI）
（来自 NameNode UI）。
然而，当通过 ambari 查看整体主机时 UI，集群主机 上 似乎仍有大量 space（此列表中的最后 4 个节点是数据节点，每个节点总共有 140GB 的存储空间 space)
不确定相关的设置，但这里是 ambari 中的一般设置：
我对 "Reserved Space for HDFS" 设置的解释是，它表明应该为非 DFS（即本地 FS）存储保留 13GB，因此 HDFS 已经 运行 似乎没有意义 space。
我解释错了吗？
此问题中应显示的任何其他 HDFS 配置？
查看 HDFS 的磁盘使用情况，我看到...
[hdfs@HW001 root]$ hdfs dfs -du -h /
1.3 G 4.0 G /app-logs
3.7 M 2.3 G /apps
0 0 /ats
899.1 M 2.6 G /atsv2
0 0 /datalake
39.9 G 119.6 G /etl
1.7 G 5.2 G /hdp
0 0 /mapred
92.8 M 278.5 M /mr-history
19.5 G 60.4 G /ranger
4.4 K 13.1 K /services
11.3 G 34.0 G /spark2-history
1.8 M 5.4 M /tmp
4.3 G 42.2 G /user
0 0 /warehouse
总共约 269GB consumed (perhaps setting a 也有帮助吗？）。查看 HDFS 上的免费 space，我看到...
[hdfs@HW001 root]$ hdfs dfs -df -h /
Filesystem Size Used Available Use%
hdfs://hw001.ucera.local:8020 353.3 G 244.1 G 31.5 G 69%
然而 ambari 报告了 91% 的容量，所以这对我来说似乎很奇怪（除非我在这里误解了某些东西 (LMK)）。这也与我在查看 hdfs datanode 目录所在的本地 FS 上的磁盘 space 时广泛看到的内容相冲突...
[root@HW001 ~]# clush -ab -x airflowet df -h /hadoop/hdfs/data
HW001: df: ‘/hadoop/hdfs/data’: No such file or directory
airflowetl: df: ‘/hadoop/hdfs/data’: No such file or directory
---------------
HW002
---------------
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/centos_mapr001-root 101G 93G 8.0G 93% /
---------------
HW003
---------------
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/centos_mapr001-root 101G 94G 7.6G 93% /
---------------
HW004
---------------
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/centos_mapr001-root 101G 92G 9.2G 91% /
---------------
HW005
---------------
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/centos_mapr001-root 101G 92G 9.8G 91% /
查看 hdfs 根的 block report...
[hdfs@HW001 root]$ hdfs fsck / -files -blocks
.
.
.
Status: HEALTHY
Number of data-nodes: 4
Number of racks: 1
Total dirs: 8734
Total symlinks: 0
Replicated Blocks:
Total size: 84897192381 B (Total open files size: 10582 B)
Total files: 43820 (Files currently being written: 10)
Total blocks (validated): 42990 (avg. block size 1974812 B) (Total open file blocks (not validated): 8)
Minimally replicated blocks: 42990 (100.0 %)
Over-replicated blocks: 0 (0.0 %)
Under-replicated blocks: 1937 (4.505699 %)
Mis-replicated blocks: 0 (0.0 %)
Default replication factor: 3
Average block replication: 3.045057
Missing blocks: 0
Corrupt blocks: 0
Missing replicas: 11597 (8.138018 %)
Erasure Coded Block Groups:
Total size: 0 B
Total files: 0
Total block groups (validated): 0
Minimally erasure-coded block groups: 0
Over-erasure-coded block groups: 0
Under-erasure-coded block groups: 0
Unsatisfactory placement block groups: 0
Average block group size: 0.0
Missing block groups: 0
Corrupt block groups: 0
Missing internal blocks: 0
FSCK ended at Tue May 26 12:10:43 HST 2020 in 1717 milliseconds
The filesystem under path '/' is HEALTHY
我假设存在 一些配置，我可以让 HDFS 使用节点主机上已经存在的更多存储 space，但具体是什么不清楚从快速谷歌搜索。有更多经验的人可以帮忙吗？如果这可能是由于我没有看到的其他问题，如果有人可以 LMK 吗？
您没有提到 /tmp 中是否存在可以清理的糟糕数据。
每个datanode有88.33GB的存储空间？
如果是这样，您不能只创建新的 HDD 以连接到集群并突然创建 space。
dfs.data.dir in hdfs-site 是每个数据节点上已安装卷的逗号分隔列表。
要获得更多存储空间，您需要格式化并装载更多磁盘，然后编辑 属性。
在 HDFS (HDP v3.1.0) 运行 存储不足 space 时出现问题（这也导致 spark 作业挂起时出现问题接受模式）。我假设有 一些配置，我可以让 HDFS 使用节点主机 上已经存在的更多存储 space，但快速谷歌搜索并不清楚具体是什么。有更多经验的人可以帮忙吗？
在 Ambari UI 中，我看到...
然而，当通过 ambari 查看整体主机时 UI，集群主机 上 似乎仍有大量 space（此列表中的最后 4 个节点是数据节点，每个节点总共有 140GB 的存储空间 space)
不确定相关的设置，但这里是 ambari 中的一般设置：
查看 HDFS 的磁盘使用情况，我看到...
[hdfs@HW001 root]$ hdfs dfs -du -h /
1.3 G 4.0 G /app-logs
3.7 M 2.3 G /apps
0 0 /ats
899.1 M 2.6 G /atsv2
0 0 /datalake
39.9 G 119.6 G /etl
1.7 G 5.2 G /hdp
0 0 /mapred
92.8 M 278.5 M /mr-history
19.5 G 60.4 G /ranger
4.4 K 13.1 K /services
11.3 G 34.0 G /spark2-history
1.8 M 5.4 M /tmp
4.3 G 42.2 G /user
0 0 /warehouse
总共约 269GB consumed (perhaps setting a
[hdfs@HW001 root]$ hdfs dfs -df -h /
Filesystem Size Used Available Use%
hdfs://hw001.ucera.local:8020 353.3 G 244.1 G 31.5 G 69%
然而 ambari 报告了 91% 的容量，所以这对我来说似乎很奇怪（除非我在这里误解了某些东西 (LMK)）。这也与我在查看 hdfs datanode 目录所在的本地 FS 上的磁盘 space 时广泛看到的内容相冲突...
[root@HW001 ~]# clush -ab -x airflowet df -h /hadoop/hdfs/data
HW001: df: ‘/hadoop/hdfs/data’: No such file or directory
airflowetl: df: ‘/hadoop/hdfs/data’: No such file or directory
---------------
HW002
---------------
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/centos_mapr001-root 101G 93G 8.0G 93% /
---------------
HW003
---------------
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/centos_mapr001-root 101G 94G 7.6G 93% /
---------------
HW004
---------------
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/centos_mapr001-root 101G 92G 9.2G 91% /
---------------
HW005
---------------
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/centos_mapr001-root 101G 92G 9.8G 91% /
查看 hdfs 根的 block report...
[hdfs@HW001 root]$ hdfs fsck / -files -blocks
.
.
.
Status: HEALTHY
Number of data-nodes: 4
Number of racks: 1
Total dirs: 8734
Total symlinks: 0
Replicated Blocks:
Total size: 84897192381 B (Total open files size: 10582 B)
Total files: 43820 (Files currently being written: 10)
Total blocks (validated): 42990 (avg. block size 1974812 B) (Total open file blocks (not validated): 8)
Minimally replicated blocks: 42990 (100.0 %)
Over-replicated blocks: 0 (0.0 %)
Under-replicated blocks: 1937 (4.505699 %)
Mis-replicated blocks: 0 (0.0 %)
Default replication factor: 3
Average block replication: 3.045057
Missing blocks: 0
Corrupt blocks: 0
Missing replicas: 11597 (8.138018 %)
Erasure Coded Block Groups:
Total size: 0 B
Total files: 0
Total block groups (validated): 0
Minimally erasure-coded block groups: 0
Over-erasure-coded block groups: 0
Under-erasure-coded block groups: 0
Unsatisfactory placement block groups: 0
Average block group size: 0.0
Missing block groups: 0
Corrupt block groups: 0
Missing internal blocks: 0
FSCK ended at Tue May 26 12:10:43 HST 2020 in 1717 milliseconds
The filesystem under path '/' is HEALTHY
我假设存在 一些配置，我可以让 HDFS 使用节点主机上已经存在的更多存储 space，但具体是什么不清楚从快速谷歌搜索。有更多经验的人可以帮忙吗？如果这可能是由于我没有看到的其他问题，如果有人可以 LMK 吗？
您没有提到 /tmp 中是否存在可以清理的糟糕数据。
每个datanode有88.33GB的存储空间？
如果是这样，您不能只创建新的 HDD 以连接到集群并突然创建 space。
dfs.data.dir in hdfs-site 是每个数据节点上已安装卷的逗号分隔列表。
要获得更多存储空间，您需要格式化并装载更多磁盘，然后编辑 属性。