你能 运行 一个 Java-Spark 应用程序(桌面)在多集群节点中吗
Can you run an Java-Spark application (desktop) in a multi-cluster node
我在 Java 中实现了一个脚本来使用 Apache Spark 处理和转换数据。我想在多台机器(多集群节点)上 运行 这个脚本,但我找不到任何关于如何为 Java 中的脚本执行此操作的文档。所以我想知道这里是否有人因为我找不到任何文档而尝试过?如果不可能,那么除了将代码从 Java 更改为 Scala 之外还有什么替代方法?
谢谢!
如果您使用 spark 库(RDD 和其他东西)完成了脚本,您只需将脚本发送到 spark 集群。
而spark会自己分担slave之间的执行。
如果您的问题是如何在集群上启动 Spark 应用程序或如何配置集群,请查看 Spark documentation
我在 Java 中实现了一个脚本来使用 Apache Spark 处理和转换数据。我想在多台机器(多集群节点)上 运行 这个脚本,但我找不到任何关于如何为 Java 中的脚本执行此操作的文档。所以我想知道这里是否有人因为我找不到任何文档而尝试过?如果不可能,那么除了将代码从 Java 更改为 Scala 之外还有什么替代方法?
谢谢!
如果您使用 spark 库(RDD 和其他东西)完成了脚本,您只需将脚本发送到 spark 集群。
而spark会自己分担slave之间的执行。
如果您的问题是如何在集群上启动 Spark 应用程序或如何配置集群,请查看 Spark documentation