将远程文件 scp 到 hadoop 而不将其复制到边缘节点

Question

想要将文件从远程服务器复制到 hadoop，而不复制到边缘节点。

1.Per 下面的文章我们可以分两步完成，首先对本地边缘节点执行 scp，然后执行 hdfs fs 命令从边缘节点移动到 hdfs https://community.cloudera.com/t5/Support-Questions/Import-data-from-remote-server-to-HDFS/td-p/233148

2.Per 下面的文章我们可以做 ssh 猫，但是我们有像 .gz 这样的文件不能是 CAT putting a remote file into hadoop without copying it to local disk

但我正在寻找第三个选项，我们可以在其中使用 scp 而不是 ssh CAT 并复制到 hadoop 而无需复制到边缘节点。

Answer 1

Hadoop 没有 SCP 上传功能。

如果您想在没有边缘节点或 SSH 的情况下获取文件，那么这就是 WebHDFS 或 NFSGateway 提供的

Answer 2

使用管道传输

mkfifo - 在本地服务器上创建管道（不存储任何数据）

尝试 mkfifo | SCP：| hdfs dfs -put | rm