将 zip 文件从一台服务器移动到 hdfs?

Move zip files from one server to hdfs?

将文件从一个 Linux 框移动到 HDFS 的最佳方法是什么?我应该使用 flume 还是 ssh

SSH 命令:

cat kali.txt | ssh user@hadoopdatanode.com "hdfs dfs -put - /data/kali.txt"

SSH 的唯一问题是我每次都需要提及密码,需要检查如何在没有身份验证的情况下传递密码。

能否flume将文件从一台服务器直接移动到 HDFS?

也许您可以在 python 中创建一个脚本来为您完成工作

您可以在包含文件的 Linux 盒子上安装 hadoop 客户端。然后你可以"hdfs dfs -put"你的数据直接从那个盒子到hadoop集群。

也许你可以制作无密码ssh,然后无需输入密码即可传输文件