mvn包elasticsearch-spark错误

Question

我有一个想使用 es-spark 的 maven 项目 read from elasticsearch，我的 pom.xml 就像：

  <groupId>com.jzdata.logv</groupId>
  <artifactId>es-spark</artifactId>
  <version>0.0.1-SNAPSHOT</version>
  <packaging>jar</packaging>

  <name>es-spark</name>
  <url>http://maven.apache.org</url>

  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
  </properties>

  <dependencies>
    <dependency>
        <groupId>org.elasticsearch</groupId>
        <artifactId>elasticsearch-spark_2.11</artifactId>
        <version>2.1.2</version>
    </dependency>
  </dependencies>

   <build>
    <plugins>
     <plugin>  
       <groupId>org.apache.maven.plugins</groupId>  
       <artifactId>maven-compiler-plugin</artifactId>
       <version>3.1</version>  
       <configuration>  
         <source>1.7</source>  
         <target>1.7</target>  
       </configuration>  
     </plugin>
     <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-jar-plugin</artifactId>
        <version>2.6</version>
        <configuration>
          <archive>
            <manifest>
              <addClasspath>true</addClasspath>
              <classpathPrefix>lib/</classpathPrefix>
              <mainClass>my.main.class</mainClass>
            </manifest>
           </archive>
        </configuration>
      </plugin>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-dependency-plugin</artifactId>
        <version>2.10</version>
        <executions>
          <execution>
            <id>copy-dependencies</id>
            <phase>package</phase>
            <goals>
              <goal>copy-dependencies</goal>
            </goals>
            <configuration>
              <outputDirectory>${project.build.directory}/lib</outputDirectory>
            </configuration>
          </execution>
        </executions>
      </plugin>
    </plugins>  
  </build>

我的依赖关系是 elasticsearch-spark install。

我想打包一个运行可用的JAR文件和依赖jar文件。

where I 运行 cmd mvn package,显示没有找到包org.apache.spark,org.apache.spark.api.java,但是这些包在我的 Maven 依赖项中。

我哪里错了？

Answer 1

该库旨在用于 Spark 应用程序，它假定 Spark 依赖项在加载时可用。

*同样，当您的应用程序运行时，您希望 Spark 依赖项可用：RDDs/DataFrames/SparkContext 都是 Spark 的一部分。（*请参阅下面我的评论）

问题是您没有向编译器指出这一点，它认为您正在使用在执行期间不可用的库。可以这样想 - 构建失败是因为编译器认为您的应用程序无法运行。

要解决此问题，您必须告诉编译器您希望在执行期间使用 Spark 库：

<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>1.6.0</version> <scope>provided</scope> </dependency>

*重要* 您需要从您的工件中排除 Spark 库，否则您最终可能会在您的类路径中包含多个版本的 Spark（无论如何他们都没有理由包含它们，Spark 正在加载您的应用程序！）。将 scope 设置为 provided 告诉编译器您期望 Spark 可用并且它应该从输出中排除。

https://maven.apache.org/guides/introduction/introduction-to-dependency-mechanism.html#Dependency_Scope

mvn包elasticsearch-spark错误

mvn package elasticsearch-spark error

maven

elasticsearch

apache-spark

elasticsearch-hadoop