运行 Junit 中的 spark 应用程序

Question

我有一个使用 Apache Spark 的 java 应用程序。我运行它使用 spark-submit。

我使用的命令格式是：

bin/spark-submit \  
--master spark://sparkmaster:7077 \  
--class com.ic.spark.sto.test.Runner \ 
/spark-test/target/spark-test-2.0.jar \   
/spark-test/resources/smallfile.csv \ 
/spark-test/resources/config.properties \ 
true false false

我想运行将其作为 JUnit。我创建了一个测试 class 并将主要方法（来自 com.ic.spark.sto.test.Runner）方法的内容复制到那里的测试中。当我运行时，我收到一条错误消息，提示无法找到 core-site.xml 。目前我正在尝试运行在安装了本地 spark 的机器上执行此操作。我认为我的应用程序不知道火花在哪里。我该如何更改它才能找到 spark 并正确执行？

Answer 1

我将 main 的内容复制并粘贴到 JUnit class。然后我创建了一个 TestRunner 类来启动 JUnit。

要执行，我使用与上面相同的命令，但传递 --class com.ic.spark.sto.test.TestRunner 而不是 --class com.ic.spark.sto.test.Runner

core-site.xml 文件位于错误的位置。

运行 Junit 中的 spark 应用程序

Run spark application in Junit

java

apache-spark

junit

spark-submit