Oozie

Question

我是运行虚拟集群运行 MapR 4.1.0 和 Yarn。当我尝试通过 Oozie 启动作业时，出现错误：

[user01@mapr1node no-op]$ oozie job -config job.properties -run
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/mapr/oozie/oozie-4.1.0/lib/slf4j-simple-1.6.6.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/mapr/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.SimpleLoggerFactory]
Error: E0902 : E0902: Exception occured: [No FileSystem for scheme: maprfs]

下面是我修改后的 job.properties 文件（我不得不更改 Jobtracker 以引用 yarn）。

nameNode=maprfs:///
jobTracker=mapr1node:8032
queueName=default
examplesRoot=examples

oozie.wf.application.path=maprfs:/user/${user.name}/${examplesRoot}/apps/no-op

我花了几天时间试图弄清楚为什么无法识别 maprfs（我可以确认这个示例对其他人也适用）。我怀疑我的集群配置有误，但我不知道是什么。

Answer 1

Ooozie 周围的 maprfs 中存在一个已知问题。下面是 link，其中 MAPR 工程师描述了一种解决方法。

https://community.mapr.com/thread/9539

它对大多数（但不是全部）这样做的人都有效。

Answer 2

是的，这些步骤有效。 https://community.mapr.com/thread/9539#comment-34807

并使用以下命令将最新补丁安装到集群 1057 service mapr-warden 停止 1058 服务 mapr-zookeeper 停止

vi /etc/yum.repos.d/maprtech.repo 将补丁 baseurl 添加到 repo 文件。 “ baseurl=http://package.mapr.com/patches/releases/v4.1.0/redhat/ ” 然后

1064 yum 安装 mapr-patch -y 1065 服务 mapr-zookeeper 启动 1066 服务 mapr-warden 启动 1067 maprcli 节点 cldbmaster 1068 服务 mapr-warden qstatus 1069 服务 mapr-zookeeper qstatus 1070 maprcli 节点 cldbmaster 1071 maprcli节点列表-columns svc 1072 netstat -植物| grep 11000 bin/oozie-start.sh

然后提交示例作业 [mapr@VM205 oozie-4.1.0]$ bin/oozie job -oozie http://10.10.72.205:11000/oozie -config examples/apps/pig/job.properties -运行

一切正常。

Oozie - 文件系统 maprfs 不存在

Oozie - FileSystem maprfs Does Not Exist

mapr