你能 运行 一个 Java-Spark 应用程序(桌面)在多集群节点中吗

Can you run an Java-Spark application (desktop) in a multi-cluster node

我在 Java 中实现了一个脚本来使用 Apache Spark 处理和转换数据。我想在多台机器(多集群节点)上 运行 这个脚本,但我找不到任何关于如何为 Java 中的脚本执行此操作的文档。所以我想知道这里是否有人因为我找不到任何文档而尝试过?如果不可能,那么除了将代码从 Java 更改为 Scala 之外还有什么替代方法?

谢谢!

如果您使用 spark 库(RDD 和其他东西)完成了脚本,您只需将脚本发送到 spark 集群。

而spark会自己分担slave之间的执行。

如果您的问题是如何在集群上启动 Spark 应用程序或如何配置集群,请查看 Spark documentation