无法在 oozie 中安排作业。创建 HiveContext 时出错

Question

正在尝试运行来自 oozie 的 spark 作业。下面是我正在尝试运行.

的代码

SparkConf conf = getConf(appName);
JavaSparkContext sc = new JavaSparkContext(conf);
HiveContext hiveContext = new HiveContext(sc);

我收到以下错误：

JOB[0000000-170808082825775-oozie-oozi-W] ACTION[0000000-170808082825775-oozie-oozi-W@Sample-node] Launcher exception: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
    at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:522)

这是我的工作流程xml文件

<workflow-app name="DataSampling" xmlns="uri:oozie:workflow:0.4">
    <start to='Sample-node'/>
    <action name="Sample-node">
        <spark xmlns="uri:oozie:spark-action:0.1">
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
                        <configuration>
                                <property>
                                        <name>tez.lib.uris</name>
                                        <value>/hdp/apps/2.5.3.0-37/tez/tez.tar.gz</value>
                                </property>
                        </configuration>
            <master>${master}</master>
            <mode>${mode}</mode>
            <name>Sample class on Oozie - Sampling</name>
            <class>Sampling</class>
            <jar>/path/jarfile.jar</jar>
            <arg>${numEventsPerPattern}</arg>
            <arg>${eventdate}</arg>
            <arg>${eventtype}</arg>
            <arg>${user}</arg>
        </spark>
        <ok to="end"/>
        <error to="fail"/>
    </action>
   <kill name="fail">
        <message>Workflow failed, error
            message[${wf:errorMessage(wf:lastErrorNode())}]
        </message>
    </kill>
    <end name='end'/>
</workflow-app>

我正在使用 Hortonworks 数据平台 2.5。如果我在类路径中遗漏了一些东西，任何人都可以帮忙吗？

提前致谢。

Answer 1

终于成功了。 Oozie 能够创建 HiveContext。

问题与类路径有关。删除hdfs中的文件夹/user/oozie/share/lib。

在 core-site.xml 下更新 Ambari 中的以下属性将以下属性设置为 *

hadoop.proxyuser.oozie.groups
hadoop.proxyuser.oozie.hosts
hadoop.proxyuser.root.groups
hadoop.proxyuser.root.hosts

使用以下命令创建了新的共享库：

/usr/hdp/current/oozie-client/bin/oozie-setup.sh sharelib create -fs /user/oozie/share/lib

重启oozie服务

以上 2 个步骤应该使用 oozie 用户

来完成

将以下标签添加到工作流 xml 文件

<spark-opts>--num-executors 6 --driver-memory 8g --executor-memory 6g</spark-opts>

运行作为 hdfs 用户的 oozie 作业。

无法在 oozie 中安排作业。创建 HiveContext 时出错

Unable to schedule job in oozie. Getting Error while creating HiveContext

apache-spark

hive

spark-dataframe

oozie

oozie-workflow