Spark 的 oozie 等价物是什么？

Question

我们有非常复杂的管道，我们需要对其进行组合和调度。我看到 Hadoop 生态系统为此提供了 Oozie。当我 运行 Mesos 上的 Spark 或 Standalone 并且没有 Hadoop 集群时，基于 Spark 的作业有哪些选择？

Answer 1

Oozie 可以用在 Yarn 的情况下， spark没有可用的内置调度器，所以你可以自由选择任何工作在集群模式下的调度器。

对于 Mesos，我认为 Chronos 是正确的选择，有关 Chronos

的更多信息

Answer 2

与 Hadoop 不同，使用 Spark 链接事物非常容易。所以写一个 Spark Scala 脚本可能就足够了。我的第一个建议是捆绑。

如果你喜欢保持SQL喜欢，可以试试SparkSQL。

如果你有一个非常复杂的流程，值得一看 Google 数据流 https://github.com/GoogleCloudPlatform/DataflowJavaSDK。