将目录从远程 HDFS 本​​地文件系统复制到我的本地机器

Copying a directory from a remote HDFS local file system to my local machine

我本地的hdfs环境下有一个目录，我想把它复制到我的本地电脑上。我正在使用 ssh（使用密码）访问 hdfs。

我尝试了很多建议的复制命令，但没有用。

我尝试了什么：

scp ‘username@hn0-sc-had:Downloads/*’ ~/Downloads

如本文所述link。 我究竟做错了什么？

SCP 将从远程 Linux 服务器复制。

HDFS 不存在于单个服务器上或者是 "local filesystem"，因此 SCP 不是直接从中复制的正确工具

您的选择包括

  1. SSH 到远程服务器
  2. 使用 hdfs dfs -copyToLocal 从 HDFS 中提取文件
  3. 从您的计算机使用 SCP 获取您刚刚下载到远程服务器上的文件

或

  1. 使用来自远程服务器
    2. 的 XML 文件配置本地 Hadoop CLI
  2. 从您自己的计算机直接对 HDFS 使用 hdfs dfs -copytoLocal

或

  1. Install HDFS NFS Gateway
  2. 在您的本地计算机上安装一个 NFS 卷，并从中复制文件