递归列出 HDFS 文件夹中按文件大小排序的文件
recursively list files ordered by file size in an HDFS folder
如果我需要递归列出HDFS文件夹中按文件大小排序的文件,有没有脚本可以参考?
提前致谢,
林
bin/hdfs dfs -ls -R / | sort -r -n -k 5
虽然@kostya 给出了很好的答案,但使用一点 awk 可以帮助重新排列输出以改进下游过程
hdfs dfs -ls -R ${hdfspath} 2> ${hdfsname}.err \
|awk "{ printf \"%s:%s:%s:%s:%s\n\",$5,$6,$3,$1,$8; }" \
|sort -rn > hdfs-${hdfsname}.du
如果我需要递归列出HDFS文件夹中按文件大小排序的文件,有没有脚本可以参考?
提前致谢, 林
bin/hdfs dfs -ls -R / | sort -r -n -k 5
虽然@kostya 给出了很好的答案,但使用一点 awk 可以帮助重新排列输出以改进下游过程
hdfs dfs -ls -R ${hdfspath} 2> ${hdfsname}.err \
|awk "{ printf \"%s:%s:%s:%s:%s\n\",$5,$6,$3,$1,$8; }" \
|sort -rn > hdfs-${hdfsname}.du