我可以使用 Airflow 来 start/stop 激发流媒体作业吗

Question

我有两种类型的作业：Spark Ba​​tch 作业和 Spark 流作业。

我想用气流来安排和管理它们。

作业停止使用气流。但我想将它用于我的流媒体工作。谁能为我的流媒体工作提供一些想法或其他工具

Answer 1

批处理作业 - 包括 spark 可以通过气流调度程序进行调度。

Streaming Jobs - 技术上是的 - 没有什么能阻止你。但是，对 Spark Streaming 作业执行相同的操作没有意义，因为这些作业很长 运行，最好通过其他工具执行它们。