Oozie 禁止从 shell 作业操作中记录日志？

Question

我有一个简单的工作流程（见下文），其中运行是一个 shell 脚本。 shell 脚本运行s pyspark 脚本，它将文件从本地移动到 hdfs 文件夹。

当我运行 shell 脚本本身时，它运行良好，日志通过 shell 脚本中的 > spark.txt 2>&1 重定向到文件夹.

但是当我使用以下工作流程提交 oozie 作业时，shell 的输出似乎被抑制了。我试图重定向所有可能的 oozie 日志 (-verbose -log) > oozie.txt 2>&1，但它没有帮助。

工作流程成功完成（状态成功，没有错误日志），但我看到，文件夹没有复制到 hdfs，但是当我运行它单独（不是通过 oozie）时，一切都很好.

<action name="forceLoadFromLocal2hdfs">
<shell xmlns="uri:oozie:shell-action:0.1">
  <job-tracker>${jobTracker}</job-tracker>
  <name-node>${nameNode}</name-node>
  <configuration>
    <property>
      <name>mapred.job.queue.name</name>
      <value>${queueName}</value>
    </property>
  </configuration>
  <exec>driver-script.sh</exec>
  <argument>s</argument>
  <argument>script.py</argument>
  <!-- arguments for py script -->
  <argument>hdfsPath</argument>
  <argument>localPath</argument>
  <file>driver-script.sh#driver-script.sh</file>
</shell>
<ok to="end"/>
<error to="killAction"/>

非常感谢！

编辑：感谢我在

下找到完整日志的建议

yarn -logs -applicationId [application_xxxxxx_xxxx]

Answer 1

感谢我在

下找到完整日志的建议

yarn -logs -applicationId [application_xxxxxx_xxxx]

Oozie 禁止从 shell 作业操作中记录日志？

Oozie supress logging from shell job action?

shell

logging

oozie