HDFS 文件 FTP 从集群到另一台机器

Question

我想创建一个 Oozie 工作流来将 HDFS 文件从 HDFS 集群传输到另一个服务器。

由于 Oozie 可以在系统中的任何节点上 运行 命令或脚本，是否可以在其中一个节点上 运行 一个 shell 脚本或 SFTP 并传输文件到目标服务器。

Answer 1

我认为通过从远程服务器对 HDFS 文件执行 http GET (open operation) 可以轻松完成此任务（您可以为此使用 curl）。

无论如何，如果你想通过 Oozie 来做，我想你可以创建一个脚本来负责将所需的文件从 HDFS 移动到本地文件系统，然后执行 scp 以便将本地文件系统中的文件移动到远程文件系统。