Error: Cannot load main class from JAR file:/loudacre/kb/KBDOC-00299.html Spark Error

Question

我使用 SparkContext.stop() 或 sc.stop() 使用了以下 Whosebug 问题中的可用答案。即便如此，我仍收到以下错误。该文件存在于指定的文件夹中。 1

Answer 1

要在集群模式下启动 Spark 应用程序，一般语法是

$ ./bin/spark-submit --class path.to.your.Class --master yarn --deploy-mode cluster [options] <app jar> [app options]

在你的情况下，最简单的方法是在你的项目目录下启动 spark-submit

$ cd /home/username/my_project

在此目录下，您应该有一个目标目录，您的 app.jar 应该在该目录下

$ ls target/
my_app.jar

作为您应该如何启动 spark-submit 的示例

 $ spark-submit \
  --class example.KMeansCoords \
  --name "KMeansCoords" \
  --master yarn-client \
    target/kmeans-1.0.jar \
   /loudacre/devicestatus_etl/*

哪里

--class <application.MainClass>
--name  <name of your app>
--master <local, yarn, mesos....>
<path to your app.jar>
<options, resources like files to load in your app>

还有很多选择，可以关注这个link了解更多详情

Running Spark on YARN

Error: Cannot load main class from JAR file:/loudacre/kb/KBDOC-00299.html Spark Error

Error: Cannot load main class from JAR file:/loudacre/kb/KBDOC-00299.html Spark Error

apache-spark

hdfs