如何在 Cloudera 上的 Oozie 工作流中添加类路径

Question

我有一个scala的应用，用maven打包成jar

<build>
    <sourceDirectory>src/main/scala</sourceDirectory>
    <resources>
        <resource>
            <directory>src/main</directory>
        </resource>
    </resources>
    <plugins>
        <plugin>
            <groupId>org.scala-tools</groupId>
            <artifactId>maven-scala-plugin</artifactId>
            <version>2.11</version>
            <executions>
                <execution>
                    <goals>
                        <goal>compile</goal>
                        <goal>testCompile</goal>
                    </goals>
                    <phase>compile</phase>
                </execution>

            </executions>
        </plugin>
        <plugin>
            <artifactId>maven-compiler-plugin</artifactId>
            <version>3.3</version>
            <configuration>
                <source>1.8</source>
                <target>1.8</target>
                <mainClass>mypackage.Check</mainClass>
            </configuration>
        </plugin>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-jar-plugin</artifactId>
            <version>2.4</version>
            <configuration>
                <archive>
                    <index>true</index>
                    <manifest>
                        <classpathPrefix>lib/</classpathPrefix>
                        <addClasspath>true</addClasspath>
                        <mainClass>mypackage.Check</mainClass>
                    </manifest>
                </archive>
            </configuration>
        </plugin>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-dependency-plugin</artifactId>
            <version>2.2</version>
            <executions>
                <execution>
                    <id>copy-dependencies</id>
                    <phase>package</phase>
                    <goals>
                        <goal>copy-dependencies</goal>
                    </goals>
                    <configuration>
                        <outputDirectory>${project.build.directory}/lib</outputDirectory>
                        <overWriteReleases>true</overWriteReleases>
                        <overWriteSnapshots>true</overWriteSnapshots>
                        <overWriteIfNewer>true</overWriteIfNewer>
                    </configuration>
                </execution>
            </executions>
        </plugin>

    </plugins>
</build>

如图所示，我在 pom.xml 中设置了 mainClass，在本地，我可以运行它正确 java -jar normarevision-0.0.1-SNAPSHOT.jar /Users/Scala/normarevision/src/main/application.conf

如何在 Cloudera Oozie Workflow 中使用它，

我试过 Check o 在 Mainclass 字段中留空，但都没有成功。还有什么需要配置的吗？

现在我明白了这是类路径的问题，它现在可以用fellowing命令找到了： java –cp {SCALA_LIB}:myjar.jar mypackage.Check$delayedInit$body args

java –jar myjar.jar args

Java –cp {SCALA_LIB}:myjar.jar mypackage.Check args 所以现在问题就转向如何在Cloudera中的Oozie工作流中设置类路径了。欢迎任何帮助。

Answer 1

目前，我找到一种解决方法是更改 job.propertyfile 的配置 oozie.use.system.libpath=false 并将所有需要的库复制到工作区目录的 /lib 中。就我而言， /user/hue/oozie/workspaces/hue-oozie-*****/lib.

如何在 Cloudera 上的 Oozie 工作流中添加类路径

How to add a classpath in a workflow of Oozie on Cloudera

scala

oozie

cloudera-cdh