Spark/Java: GSON 依赖项中的 NoClassDefFoundError

Question

我有一个使用 JAR 文件的小型 Spark 项目，我正在使用 Maven 对其进行打包。

我正在使用 GSON 处理 JSON 文件，我特别需要 JsonReader class.

我添加了 GSON 依赖项，当我运行它作为标准 Java 项目时它工作正常。但是，当我将它打包并运行在 Spark 中时，它会抱怨：

Exception in thread "main" java.lang.NoClassDefFoundError: com/google/gson/stream/JsonReader

这是有问题的行：

reader = new JsonReader(new InputStreamReader(new FileInputStream(
                jsonfile)));

我确实导入了它：

import com.google.gson.*;
import com.google.gson.stream.JsonReader;

这是我的 POM 文件：

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>SWETesting</groupId>
  <artifactId>SWETesting</artifactId>
  <version>0.0.1-SNAPSHOT</version>
  <build>
    <sourceDirectory>src</sourceDirectory>
    <plugins>
      <plugin>
        <artifactId>maven-compiler-plugin</artifactId>
        <version>3.1</version>
        <configuration>
          <source/>
          <target/>
        </configuration>
      </plugin>
    </plugins>
  </build>
  <dependencies>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.11</artifactId>
        <version>1.2.1</version>
    </dependency>
    <dependency>
        <groupId>org.jsoup</groupId>
        <artifactId>jsoup</artifactId>
        <version>1.8.1</version>
    </dependency>
    <dependency>
        <groupId>com.google.code.gson</groupId>
        <artifactId>gson</artifactId>
        <version>2.3.1</version>
    </dependency>
  </dependencies>
</project>

我什至在我的发行版中安装了 libgoogle-gson，但这没有帮助。

这里有什么问题？

编辑：我在使用 Maven 构建作业后以独立模式提交作业：

mvn package
/home/chris/Tools/spark-1.2.1/bin/spark-submit --class PlagiarismCheck --master local[6] target/SWETesting-0.0.1-SNAPSHOT.jar > output.txt

Answer 1

好像是指旧版本的jar。 gson jar 旧版本 1.5 没有包名流。检查 maven 依赖树并查找是否存在任何旧版本的 gson jar。如果是，请清理项目/删除存储库中的 jars

检查maven依赖树的命令

C:\Projects\Project_name>mvn dependency:tree

Answer 2

问题是您的项目依赖项未包含在 SWETesting-0.0.1-SNAPSHOT.jar 中，因此出现错误。您可以使用 maven-assembly plugin or similar, that should fix the issue. You can find an example here.

生成一个胖罐子

Spark/Java: GSON 依赖项中的 NoClassDefFoundError

Spark/Java: NoClassDefFoundError in GSON dependency

java

apache-spark

gson

maven-3