如何使用oozie将文件从本地复制到hdfs
How to copy files from local to hdfs using oozie
我正在尝试使用 oozie 将文件从我的边缘节点复制到 HDFS。许多人建议设置密码少 ssh 来完成这项工作。
我无法登录 oozie 用户，因为它是服务用户。
除了无密码ssh还有其他方法吗
提前致谢。
除了无密码 ssh 之外，还有两个选项：
1. 我的首选方案：使用 JSch java 库并创建一个 java 应用程序，它将接受一个 shell 脚本作为参数执行。使用 JSch ，它将在配置的边缘节点上执行 ssh 并在边缘节点上执行 shell 脚本。在 jsch 中，您可以配置 edgenode 用户名和密码。使用 'JCEKS' 文件来存储密码。
然后在 Oozie 中添加一个 Java 动作到 运行 使用 JSch 创建的 java 应用程序。
2.使用“/usr/bin/expect”库创建一个shell脚本，它将在edgenode上执行ssh，然后运行配置的shell脚本。更多细节在这里 Use expect in bash script to provide password to SSH command
我正在尝试使用 oozie 将文件从我的边缘节点复制到 HDFS。许多人建议设置密码少 ssh 来完成这项工作。
我无法登录 oozie 用户，因为它是服务用户。
除了无密码ssh还有其他方法吗
提前致谢。
除了无密码 ssh 之外，还有两个选项： 1. 我的首选方案：使用 JSch java 库并创建一个 java 应用程序，它将接受一个 shell 脚本作为参数执行。使用 JSch ，它将在配置的边缘节点上执行 ssh 并在边缘节点上执行 shell 脚本。在 jsch 中，您可以配置 edgenode 用户名和密码。使用 'JCEKS' 文件来存储密码。 然后在 Oozie 中添加一个 Java 动作到 运行 使用 JSch 创建的 java 应用程序。 2.使用“/usr/bin/expect”库创建一个shell脚本，它将在edgenode上执行ssh，然后运行配置的shell脚本。更多细节在这里 Use expect in bash script to provide password to SSH command