Oozie Shell 操作输出数据超出其限制 [2048]

Question

我有 shell 如下脚本

ssh  -q -v -i id_rsa -o "StrictHostKeyChecking no" user@remotemachine script > file

hdfs dfs -put -f file hdfspath

当我运行这个脚本在 oozie shell 操作中使用“”时，文件从远程机器复制到我的机器。实际上它超过 2kb 的文件。但是当我使用 (hdfs dfs -put) 命令将它移动到 hdfs 时，它会出现错误

Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.ShellMain], exception invoking main(), Output data exceeds its limit [2048] org.apache.oozie.action.hadoop.LauncherException: Output data exceeds its limit [2048]

Answer 1

在shell 操作中添加以下内容或将其放入/etc/oozie/conf/oozie-site.xml 并重新启动oozie 服务器。这将增加可以作为 shell 操作标记 <capture-output/> 的一部分捕获的控制台输出数据。默认值为 2048，这是输出数据的最大字符大小。

 <configuration>             
  <property>
    <name>oozie.action.max.output.data</name>
    <value>8192</value>
  </property>        
</configuration>

如果您不使用 shell 操作的控制台输出来进行下一个操作的任何决定，则不需要 <capture-output/>。如果不需要，请尝试删除标签 <capture-output/>。

Oozie Shell 操作输出数据超出其限制 [2048]

Oozie Shell action Output data exceeds its limit [2048]

shell

hadoop

hdfs

oozie