运行 oozie 与 hadoop 中的问题
Problems in running oozie with hadoop
我正在尝试 运行 hadoop 2.7.0 上的 oozie 4.2.0 在我的本地计算机上以伪分布式模式工作。
我构建了一个 oozie 发行版,将其绑定到我正在使用的正确 hadoop 版本,然后,根据文档,我执行了以下步骤
<ul>
<li>Created a folder called <b>libext</b> where I put a .zip of <i>ext-2.2</i> library</li>
<li>Lauched the commands
oozie-setup.sh prepare-war
ooziedb.sh create -sqlfile oozie.sql -run
oozied.sh start
一切顺利,事实上我可以导航 <code>localhost:11000/oozie/</code>
而且如果我执行 <code>oozie admin -oozie http://localhost:11000/oozie -status</code>
服务器回复 <b>NORMAL</B>
。
但是我无法启动任何作业,示例也无法启动。如果我执行<br> <code>oozie job -oozie localhost:11000/oozie -config /path/to/examples/apps/map-reduce/job.properties -run</code>
,将示例文件夹移动到 HDSF 上的正确位置后
服务器回复
Error: HTTP error code: 500 : Internal Server Error.
同样的情况,如果我尝试使用 Java API.
以编程方式提交工作流
查看 <code>oozie.log</code>
文件,我得到以下 error/warning:
ERROR V2AdminServlet:517 - SERVER[Matteos-MBP.vimond.local] USER[-]
GROUP[-] TOKEN[-] APP[-] JOB[-] ACTION[-] URL[GET http://localhost:11000/oozie/v2/admin/instrumentation?_dc=1437056225186] error, null
java.lang.NullPointerException
at org.apache.oozie.service.ShareLibService.getLatestLibPath(ShareLibService.java:687)
at org.apache.oozie.service.ShareLibService.getValue(ShareLibService.java:742)
at org.apache.oozie.service.ShareLibService.getValue(ShareLibService.java:737)
at org.apache.oozie.servlet.BaseAdminServlet.instrElementsToJson(BaseAdminServlet.java:312)
at org.apache.oozie.servlet.BaseAdminServlet.instrToJson(BaseAdminServlet.java:339)
at org.apache.oozie.servlet.BaseAdminServlet.sendInstrumentationResponse(BaseAdminServlet.java:396)
at org.apache.oozie.servlet.V2AdminServlet.sendInstrumentationResponse(V2AdminServlet.java:124)
at org.apache.oozie.servlet.BaseAdminServlet.doGet(BaseAdminServlet.java:127)
at javax.servlet.http.HttpServlet.service(HttpServlet.java:617)
每次刷新webapp界面,
AuthenticationToken ignored:
org.apache.hadoop.security.authentication.util.SignerException: Invalid
signature
每次我通过命令行或 java API
提交工作流
我的工作环境:
Mac Os Yosemite
java 版本“1.8.0_45”
Hadoop 2.7.0
oozie 4.2.0
阿帕奇行家 3.3.3
任何人都可以帮助我让它工作吗?
我解决了我的问题,首先将ShareLib 部署到HDFS,然后手动将common-io 库从2.1 版本升级到2.4 版本。我不再有例外,我可以将作业提交到 oozie-server
来源:http://mail-archives.apache.org/mod_mbox/oozie-user/201507.mbox/browser
我正在尝试 运行 hadoop 2.7.0 上的 oozie 4.2.0 在我的本地计算机上以伪分布式模式工作。 我构建了一个 oozie 发行版,将其绑定到我正在使用的正确 hadoop 版本,然后,根据文档,我执行了以下步骤
<ul>
<li>Created a folder called <b>libext</b> where I put a .zip of <i>ext-2.2</i> library</li>
<li>Lauched the commands
oozie-setup.sh prepare-war
ooziedb.sh create -sqlfile oozie.sql -run
oozied.sh start
一切顺利,事实上我可以导航 <code>localhost:11000/oozie/</code>
而且如果我执行 <code>oozie admin -oozie http://localhost:11000/oozie -status</code>
服务器回复 <b>NORMAL</B>
。
但是我无法启动任何作业,示例也无法启动。如果我执行<br> <code>oozie job -oozie localhost:11000/oozie -config /path/to/examples/apps/map-reduce/job.properties -run</code>
服务器回复
Error: HTTP error code: 500 : Internal Server Error.
同样的情况,如果我尝试使用 Java API.
以编程方式提交工作流查看 <code>oozie.log</code>
文件,我得到以下 error/warning:
ERROR V2AdminServlet:517 - SERVER[Matteos-MBP.vimond.local] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[-] ACTION[-] URL[GET http://localhost:11000/oozie/v2/admin/instrumentation?_dc=1437056225186] error, null java.lang.NullPointerException at org.apache.oozie.service.ShareLibService.getLatestLibPath(ShareLibService.java:687) at org.apache.oozie.service.ShareLibService.getValue(ShareLibService.java:742) at org.apache.oozie.service.ShareLibService.getValue(ShareLibService.java:737) at org.apache.oozie.servlet.BaseAdminServlet.instrElementsToJson(BaseAdminServlet.java:312) at org.apache.oozie.servlet.BaseAdminServlet.instrToJson(BaseAdminServlet.java:339) at org.apache.oozie.servlet.BaseAdminServlet.sendInstrumentationResponse(BaseAdminServlet.java:396) at org.apache.oozie.servlet.V2AdminServlet.sendInstrumentationResponse(V2AdminServlet.java:124) at org.apache.oozie.servlet.BaseAdminServlet.doGet(BaseAdminServlet.java:127) at javax.servlet.http.HttpServlet.service(HttpServlet.java:617)
每次刷新webapp界面,
AuthenticationToken ignored:
org.apache.hadoop.security.authentication.util.SignerException: Invalid
signature
每次我通过命令行或 java API
提交工作流我的工作环境:
Mac Os Yosemite
java 版本“1.8.0_45”
Hadoop 2.7.0
oozie 4.2.0
阿帕奇行家 3.3.3
任何人都可以帮助我让它工作吗?
我解决了我的问题,首先将ShareLib 部署到HDFS,然后手动将common-io 库从2.1 版本升级到2.4 版本。我不再有例外,我可以将作业提交到 oozie-server
来源:http://mail-archives.apache.org/mod_mbox/oozie-user/201507.mbox/browser