oozie 不支持其中的 unix 文件移动操作

Question

我有一个 OOZIE 调度程序，我在其中编写了一些 UNIX 命令，可以在 unix 框中将文件从一个文件夹移动到另一个文件夹。

但它在 OOZIE 中不起作用，每次都抛出错误 'path not found'。

请注意：我使用的是hadoop多节点集群

Answer 1

当您 运行 一个 Oozie 作业时，在内部它将是一个 map-reduce 作业，并且该作业将 运行ning 在它在该特定数据节点中查找的任何数据节点上要移动的文件。如果该数据节点没有该文件，它会抛出找不到路径。

相同的代码适用于单个集群，不适用于多节点集群。

您可以使用 Hadoop 命令（copyFromLocal 或 put）加载数据，或者您可以使用 Flume 加载相同的数据。