Oozie

Question

我创建了一个 Java 操作并使用 Cloudera 的 Hue 部署了它。我注意到 jar 文件已被复制到工作区的 /lib 文件夹，但被截断为精确的 64MB（发生在来自其他 hdfs 文件夹的 jar 文件和使用 sharelib 的两种情况下）。

我按照 https://community.cloudera.com/t5/Batch-Processing-and-Workflow/Oozie-Java-Action-ClassNotFoundException/td-p/4761 的 link 但是在将 jar 复制到工作区 /lib 文件夹后，工作流因服务器错误 (500) 而失败。

/opt/cloudera/parcels/CDH-5.0.0-1.cdh5.0.0.p0.47/lib/hue/build/env/lib/python2.6/site-packages/Django-1.4.5-py2.6.egg/django/core/handlers/base.py  111     get_response
/opt/cloudera/parcels/CDH-5.0.0-1.cdh5.0.0.p0.47/lib/hue/apps/oozie/src/oozie/decorators.py     52  decorate
/opt/cloudera/parcels/CDH-5.0.0-1.cdh5.0.0.p0.47/lib/hue/apps/oozie/src/oozie/views/editor.py   335     submit_workflow
/opt/cloudera/parcels/CDH-5.0.0-1.cdh5.0.0.p0.47/lib/hue/apps/oozie/src/oozie/views/editor.py   356     _submit_workflow
/opt/cloudera/parcels/CDH-5.0.0-1.cdh5.0.0.p0.47/lib/hue/desktop/libs/liboozie/src/liboozie/submittion.py   79  run
/opt/cloudera/parcels/CDH-5.0.0-1.cdh5.0.0.p0.47/lib/hue/desktop/libs/liboozie/src/liboozie/submittion.py   144     deploy
/opt/cloudera/parcels/CDH-5.0.0-1.cdh5.0.0.p0.47/lib/hue/desktop/libs/liboozie/src/liboozie/submittion.py   281     _do_as
/opt/cloudera/parcels/CDH-5.0.0-1.cdh5.0.0.p0.47/lib/hue/desktop/libs/liboozie/src/liboozie/submittion.py   275     _copy_files
/opt/cloudera/parcels/CDH-5.0.0-1.cdh5.0.0.p0.47/lib/hue/desktop/libs/hadoop/src/hadoop/fs/webhdfs.py   480     copyfile

我没有找到与最大文件大小相关的oozie配置，也不确定它是否与Hadoop配置相关。你遇到过这种情况吗？非常感谢。

Answer 1

不完全确定，但可能已在 hue issue

的 link 中报告过

Oozie - jar 文件在复制到 Cloudera 上的 lib 文件夹时被截断

Oozie - jar file truncated when copied to lib folder on Cloudera

java

hadoop

cloudera