如何在使用 Spark Submit 时提交参数？

Question

我在使用 spark-submit 方面需要帮助。

 ./bin/spark-submit --master spark://127.0.0.1:7077 --class Main --jars jars/test.jar firstArgs secondArgs

这是我启动 spark-submit 的 spark 命令和运行我的 test.jar Main 方法。

我的 test.jar 是 java 文件，示例代码如

public class Main {

public static void main(String[] args) {
 System.out.println("Hello World, Im testing my patience");
 System.out.println("TEST ! : " + args[0]);
 System.out.println("TESTEST ! : " + args[1]);
}

}

这个。

所以我理想的结果应该是

测试！ : 第一个参数测试！ : secondArgs

但是，我得到了

 DependencyUtils: Local jar /home/me/server/spark-3.1.1-bin-hadoop3.2/firstArgs

当我输入我的应用程序参数时似乎是

~~ --jars jars/test.jar firstArg secondArg

spark-submit 尝试将 firstArg 作为 jar 文件而不是参数:(

如何修复我的命令行以使其正确消化我的 firstArg 和 secondArg？？

我已经尝试查看有关如何使用 --application-arguments 的帖子，但所有示例代码看起来都与我的代码没有任何不同。（至少在我看来）我似乎无法找到问题所在在我的命令行中。请帮助我:(

Answer 1

如果你按照这个 https://spark.apache.org/docs/latest/submitting-applications.html

spark-submit 的最后一个参数是 jar（没有 --jars），之后的所有参数都是您程序的参数。

尝试：

./bin/spark-submit --master spark://127.0.0.1:7077 --class Main jars/test.jar firstArgs secondArgs

如何在使用 Spark Submit 时提交参数？

How do I submit args while using Spark Submit?

java

apache-spark

spark-submit