Hadoop 文件系统大小 du 命令
Hadoop filesystem size du command
我想知道hadoop fs -du的两个输出是什么意思。文档上不清楚：
In [16]: subprocess.call(["hadoop", "fs", "-du","-
h","/project/crm/warehouse/"])
输出：
5.9 G 17.8 G /project/crm/warehouse/n98770_patron_1
路径的实际大小是多少？ 5.9 GB 还是 17.8？
谢谢
第一列是实际的文件或目录大小，而第二列是由于复制
而实际消耗的space
由于 HDFS 会复制您的数据，因此第二个字段显示其后占用的总磁盘空间 space。
在这种情况下，您的总尺码为 17.8，基本尺码为 5.9
17.8/5.9 is roughly 3
这意味着您的 hdfs 集群的复制因子为 3（默认值）。
如果你的复制因子是 2，那么输出将是：
5.9 G 12 G /project/crm/warehouse/n98770_patron_1
我想知道hadoop fs -du的两个输出是什么意思。文档上不清楚：
In [16]: subprocess.call(["hadoop", "fs", "-du","-
h","/project/crm/warehouse/"])
输出：
5.9 G 17.8 G /project/crm/warehouse/n98770_patron_1
路径的实际大小是多少？ 5.9 GB 还是 17.8？
谢谢
第一列是实际的文件或目录大小，而第二列是由于复制
而实际消耗的space由于 HDFS 会复制您的数据，因此第二个字段显示其后占用的总磁盘空间 space。
在这种情况下，您的总尺码为 17.8，基本尺码为 5.9
17.8/5.9 is roughly 3
这意味着您的 hdfs 集群的复制因子为 3（默认值）。
如果你的复制因子是 2，那么输出将是：
5.9 G 12 G /project/crm/warehouse/n98770_patron_1