Spark 作业失败,因为它找不到 hadoop 核心-site.xml
Spark job fails because it can't find the hadoop core-site.xml
我正在尝试 运行 spark 作业,但在尝试启动驱动程序时出现此错误:
16/05/17 14:21:42 ERROR SparkContext: Error initializing SparkContext.
java.io.FileNotFoundException: Added file file:/var/lib/mesos/slave/slaves/0c080f97-9ef5-48a6-9e11-cf556dfab9e3-S1/frameworks/5c37bb33-20a8-4c64-8371-416312d810da-0002/executors/driver-20160517142123-0183/runs/802614c4-636c-4873-9379-b0046c44363d/core-site.xml does not exist.
at org.apache.spark.SparkContext.addFile(SparkContext.scala:1364)
at org.apache.spark.SparkContext.addFile(SparkContext.scala:1340)
at org.apache.spark.SparkContext$$anonfun.apply(SparkContext.scala:491)
at org.apache.spark.SparkContext$$anonfun.apply(SparkContext.scala:491)
at scala.collection.immutable.List.foreach(List.scala:318)
at org.apache.spark.SparkContext.<init>(SparkContext.scala:491)
at org.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:59)
at com.spark.test.SparkJobRunner.main(SparkJobRunner.java:56)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:731)
at org.apache.spark.deploy.SparkSubmit$.doRunMain(SparkSubmit.scala:181)
at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:206)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:121)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
我在多个服务器上安装了 spark 运行ning,这些服务器是我的 mesos 集群的一部分(不确定是否正确,但这就是我正在做的)我也在这些服务器上安装了 hadoop 运行ning服务器。我在一台服务器上启动了 spark master,然后在其他服务器上启动了 spark slave。我有 3 个应用程序,这并不重要,但我有一个 UI,用户可以在其中启动 spark 作业,它将作业放入 kafka 队列中,我有一个启动器应用程序,它使用SparkLauncher(见下面的代码),然后我有我的 spark 驱动程序,它连接到 kafka 队列,然后处理从 UI 发送的请求。 UI 和发射器 运行 正在马拉松比赛中。如上所述,Spark 是集群上的自己的进程,驱动程序连接到 spark 到 运行 作业。
编辑:我已经将 hdfs-site.xml、core-site.xml 和 spark-env.sh 上传到 hadoop 并在我的 spark 上下文中指向它们:
SparkConf conf = new SparkConf()
.setAppName(config.getString(SPARK_APP_NAME))
.setMaster(sparkMaster)
.setExecutorEnv("HADOOP_USER_NAME", config.getString(HADOOP_USER, ""))
.set("spark.mesos.uris", "<hadoop node>:9000/config/core-site.xml,<hadoop node>:9000/config/hdfs-site.xml")
.set("spark.files", "core-site.xml,hdfs-site.xml,spark-env.sh")
.set("spark.mesos.coarse", "true")
.set("spark.cores.max", config.getString(SPARK_CORES_MAX))
.set("spark.driver.memory", config.getString(SPARK_DRIVER_MEMORY))
.set("spark.driver.extraJavaOptions", config.getString(SPARK_DRIVER_EXTRA_JAVA_OPTIONS, ""))
.set("spark.executor.memory", config.getString(SPARK_EXECUTOR_MEMORY))
.set("spark.executor.extraJavaOptions", config.getString(SPARK_EXECUTOR_EXTRA_JAVA_OPTIONS))
.set("spark.executor.uri", hadoopPath);
这是启动驱动程序的代码:
SparkLauncher launcher = new SparkLauncher()
.setMaster(<my spark/mesos master>)
.setDeployMode("cluster")
.setSparkHome("/home/spark")
.setAppResource(<hdfs://path/to/a/spark.jar>)
.setMainClass(<my main class>);
handle = launcher.startApplication();
我确定我做错了什么我只是不知道是什么。我是 spark、hadoop 和 mesos 的新手,所以请随时指出我做错的任何其他事情。
我的问题是我没有在集群中的每台服务器上的 $SPARK_HOME/spark-env.sh 中设置 HADOOP_CONF_DIR。一旦我设置好,我就能够让我的 spark 工作正确启动。我还意识到我不需要在 SparkConf 中包含 core-site.xml、hdfs-site.xml 或 spark-env.sh 文件,所以我删除了设置 "spark.files" 的行
我正在尝试 运行 spark 作业,但在尝试启动驱动程序时出现此错误:
16/05/17 14:21:42 ERROR SparkContext: Error initializing SparkContext.
java.io.FileNotFoundException: Added file file:/var/lib/mesos/slave/slaves/0c080f97-9ef5-48a6-9e11-cf556dfab9e3-S1/frameworks/5c37bb33-20a8-4c64-8371-416312d810da-0002/executors/driver-20160517142123-0183/runs/802614c4-636c-4873-9379-b0046c44363d/core-site.xml does not exist.
at org.apache.spark.SparkContext.addFile(SparkContext.scala:1364)
at org.apache.spark.SparkContext.addFile(SparkContext.scala:1340)
at org.apache.spark.SparkContext$$anonfun.apply(SparkContext.scala:491)
at org.apache.spark.SparkContext$$anonfun.apply(SparkContext.scala:491)
at scala.collection.immutable.List.foreach(List.scala:318)
at org.apache.spark.SparkContext.<init>(SparkContext.scala:491)
at org.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:59)
at com.spark.test.SparkJobRunner.main(SparkJobRunner.java:56)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:731)
at org.apache.spark.deploy.SparkSubmit$.doRunMain(SparkSubmit.scala:181)
at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:206)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:121)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
我在多个服务器上安装了 spark 运行ning,这些服务器是我的 mesos 集群的一部分(不确定是否正确,但这就是我正在做的)我也在这些服务器上安装了 hadoop 运行ning服务器。我在一台服务器上启动了 spark master,然后在其他服务器上启动了 spark slave。我有 3 个应用程序,这并不重要,但我有一个 UI,用户可以在其中启动 spark 作业,它将作业放入 kafka 队列中,我有一个启动器应用程序,它使用SparkLauncher(见下面的代码),然后我有我的 spark 驱动程序,它连接到 kafka 队列,然后处理从 UI 发送的请求。 UI 和发射器 运行 正在马拉松比赛中。如上所述,Spark 是集群上的自己的进程,驱动程序连接到 spark 到 运行 作业。 编辑:我已经将 hdfs-site.xml、core-site.xml 和 spark-env.sh 上传到 hadoop 并在我的 spark 上下文中指向它们:
SparkConf conf = new SparkConf()
.setAppName(config.getString(SPARK_APP_NAME))
.setMaster(sparkMaster)
.setExecutorEnv("HADOOP_USER_NAME", config.getString(HADOOP_USER, ""))
.set("spark.mesos.uris", "<hadoop node>:9000/config/core-site.xml,<hadoop node>:9000/config/hdfs-site.xml")
.set("spark.files", "core-site.xml,hdfs-site.xml,spark-env.sh")
.set("spark.mesos.coarse", "true")
.set("spark.cores.max", config.getString(SPARK_CORES_MAX))
.set("spark.driver.memory", config.getString(SPARK_DRIVER_MEMORY))
.set("spark.driver.extraJavaOptions", config.getString(SPARK_DRIVER_EXTRA_JAVA_OPTIONS, ""))
.set("spark.executor.memory", config.getString(SPARK_EXECUTOR_MEMORY))
.set("spark.executor.extraJavaOptions", config.getString(SPARK_EXECUTOR_EXTRA_JAVA_OPTIONS))
.set("spark.executor.uri", hadoopPath);
这是启动驱动程序的代码:
SparkLauncher launcher = new SparkLauncher()
.setMaster(<my spark/mesos master>)
.setDeployMode("cluster")
.setSparkHome("/home/spark")
.setAppResource(<hdfs://path/to/a/spark.jar>)
.setMainClass(<my main class>);
handle = launcher.startApplication();
我确定我做错了什么我只是不知道是什么。我是 spark、hadoop 和 mesos 的新手,所以请随时指出我做错的任何其他事情。
我的问题是我没有在集群中的每台服务器上的 $SPARK_HOME/spark-env.sh 中设置 HADOOP_CONF_DIR。一旦我设置好,我就能够让我的 spark 工作正确启动。我还意识到我不需要在 SparkConf 中包含 core-site.xml、hdfs-site.xml 或 spark-env.sh 文件,所以我删除了设置 "spark.files" 的行