Shell 在 Hadoop 2.6.9 中将文件从 HDFS 传输到本地文件系统的命令

Question

我是 Hadoop 新手。有没有bash命令将文件从Hadoop分布式文件系统传输到hadoop节点上的标准文件系统

我正在使用Hadoop 2.6.0

我在 Java 中看到另一个类似的问题，询问如何做同样的事情：Copying files from HDFS to local file system with JAVA

我们可以用一个简单的 shell 命令代替（它在属于 hadoop 集群的节点上运行）吗？

Answer 1

hdfs dfs -get /hdfs/path /local/path

hdfs dfs -put /local/path /hdfs/path

Answer 2

如果要将数据从 HDFS 下拉到本地目录，您需要使用 -get 或 -copyToLocal 开关切换到 hadoop fs 命令。

hadoop fs -copyToLocal hdfs://path localpath

只需调用shell中的命令scripting.you就可以完成如下操作。

对于 awk '/.csv/ {print }' /user/hadoop/TempFiles/CLNewFiles.txt 中的行；

做

hadoop fs copyToLocal /user/hadoop/TempFiles/$line yourlocalpath

echo "$line 文件正在从 hadoop 下载"

完成