在hadoop目录中查找最大文件的命令
Command to find largest file in hadoop directory
我试图在 hadoop 文件系统的给定目录中找到最大的文件。我发现这个 link: http://www.tecmint.com/find-top-large-directories-and-files-sizes-in-linux/，它显示了以下用于查找最大文件的命令：
find /home/tecmint/Downloads/ -type f -exec du -Sh {} + | sort -rh | head -n 5
但是当我运行
hadoop fs -find [hadoop location] -type f -exec du -Sh {} + | sort -rh | head -n 5
我得到了find: Unexpected argument: -type。
我也 运行 hadoop fs -du -a | sort -n | head -n 1 但我得到的结果不是目录中最大的文件。非常感谢任何帮助。
在Linux中可以运行下面的命令来查找Desktop目录下最大的文件，如果要查找最小的文件，去掉sort的-r参数！
du ~/Desktop/* | sort -n -r | head -n 1
对于 HDFS，您可以尝试以下命令
hadoop fs -du <Path-in-HDFS> | sort -n -r | head -n 1
我试图在 hadoop 文件系统的给定目录中找到最大的文件。我发现这个 link: http://www.tecmint.com/find-top-large-directories-and-files-sizes-in-linux/，它显示了以下用于查找最大文件的命令：
find /home/tecmint/Downloads/ -type f -exec du -Sh {} + | sort -rh | head -n 5
但是当我运行
hadoop fs -find [hadoop location] -type f -exec du -Sh {} + | sort -rh | head -n 5
我得到了find: Unexpected argument: -type。
我也 运行 hadoop fs -du -a | sort -n | head -n 1 但我得到的结果不是目录中最大的文件。非常感谢任何帮助。
在Linux中可以运行下面的命令来查找Desktop目录下最大的文件，如果要查找最小的文件，去掉sort的-r参数！
du ~/Desktop/* | sort -n -r | head -n 1
对于 HDFS，您可以尝试以下命令
hadoop fs -du <Path-in-HDFS> | sort -n -r | head -n 1