无法运行 Java Spark on EMR

Question

我在本地得到了一个简单的 Java Spark 程序运行，但它在 Amazon EMR 上失败了。我尝试了 AMI 3.2.1 和 AMI 3.3.1，都是同样的错误。失败的代码位于下面的 JavaSparkContext 中：

public static void main(String[] args) throws Exception {

    if (args.length < 1) {
        System.err.println("Usage: JavaWordCount <file>");
        System.exit(1);
    }

    SparkConf sparkConf = new SparkConf().setAppName("JavaWordCount");
    sparkConf.setMaster("local").set("spark.executor.memory", "1g");
    JavaSparkContext ctx = new JavaSparkContext(sparkConf);
        :

我得到的错误是：

   Exception in thread "main" java.lang.NoSuchMethodError: scala.collection.immutable.HashSet$.empty()Lscala/collection/immutable/HashSet;
        at akka.actor.ActorCell$.<init>(ActorCell.scala:305)
        at akka.actor.ActorCell$.<clinit>(ActorCell.scala)
        at akka.actor.RootActorPath.$div(ActorPath.scala:152)
        at akka.actor.LocalActorRefProvider.<init>(ActorRefProvider.scala:465)
        at akka.remote.RemoteActorRefProvider.<init>(RemoteActorRefProvider.scala:124)
        at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
        at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
        at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
        at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
        at akka.actor.ReflectiveDynamicAccess$$anonfun$createInstanceFor.apply(DynamicAccess.scala:78)
        at scala.util.Try$.apply(Try.scala:191)
        at akka.actor.ReflectiveDynamicAccess.createInstanceFor(DynamicAccess.scala:73)
        at akka.actor.ReflectiveDynamicAccess$$anonfun$createInstanceFor.apply(DynamicAccess.scala:84)
        at akka.actor.ReflectiveDynamicAccess$$anonfun$createInstanceFor.apply(DynamicAccess.scala:84)
        at scala.util.Success.flatMap(Try.scala:230)
        at akka.actor.ReflectiveDynamicAccess.createInstanceFor(DynamicAccess.scala:84)
        at akka.actor.ActorSystemImpl.<init>(ActorSystem.scala:550)
        at akka.actor.ActorSystem$.apply(ActorSystem.scala:111)
        at akka.actor.ActorSystem$.apply(ActorSystem.scala:104)
        at org.apache.spark.util.AkkaUtils$.createActorSystem(AkkaUtils.scala:104)
        at org.apache.spark.SparkEnv$.create(SparkEnv.scala:152)
        at org.apache.spark.SparkContext.<init>(SparkContext.scala:202)
        at org.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:53)
        at examples.JavaSparkProfile.main(JavaSparkProfile.java:54)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:606)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:212)

有人知道吗？

非常感谢！

Answer 1

检查 Scala 版本。 Select 2.10.*

无法运行 Java Spark on EMR

Fail to run Java Spark on EMR

amazon-web-services

emr

apache-spark

我在本地得到了一个简单的 Java Spark 程序运行，但它在 Amazon EMR 上失败了。我尝试了 AMI 3.2.1 和 AMI 3.3.1，都是同样的错误。失败的代码位于下面的 JavaSparkContext 中：

无法 运行 Java Spark on EMR

Fail to run Java Spark on EMR

amazon-web-services

emr

apache-spark

我在本地得到了一个简单的 Java Spark 程序 运行，但它在 Amazon EMR 上失败了。我尝试了 AMI 3.2.1 和 AMI 3.3.1，都是同样的错误。失败的代码位于下面的 JavaSparkContext 中：

无法运行 Java Spark on EMR

我在本地得到了一个简单的 Java Spark 程序运行，但它在 Amazon EMR 上失败了。我尝试了 AMI 3.2.1 和 AMI 3.3.1，都是同样的错误。失败的代码位于下面的 JavaSparkContext 中：