spring xd 可以在 yarn 模式下使用外部 spark 集群吗？
Can spring xd work with an external spark cluster in yarn mode?
我有一个 yarn 模式的 spark 集群，还有一些批处理和流式处理作业 运行。我发现 spring xd 可以使用其嵌入式 spark 处理批处理和流作业。
我的问题是，spring xd可以在yarn模式下使用外部spark cluster吗？怎么做？非常感谢。
您无法使用 Spring XD 在 yarn 模式下启动 Spark 作业，只能使用 master URL 在本地或 Spark 集群上启动。使用 Spring Cloud Data Flow，您可以启动 spark-yarn 任务，请参阅 http://docs.spring.io/spring-cloud-task-app-starters/docs/1.0.1.RELEASE/reference/html/_spark_yarn_task.html
我有一个 yarn 模式的 spark 集群，还有一些批处理和流式处理作业 运行。我发现 spring xd 可以使用其嵌入式 spark 处理批处理和流作业。
我的问题是，spring xd可以在yarn模式下使用外部spark cluster吗？怎么做？非常感谢。
您无法使用 Spring XD 在 yarn 模式下启动 Spark 作业，只能使用 master URL 在本地或 Spark 集群上启动。使用 Spring Cloud Data Flow，您可以启动 spark-yarn 任务，请参阅 http://docs.spring.io/spring-cloud-task-app-starters/docs/1.0.1.RELEASE/reference/html/_spark_yarn_task.html