如何从 Apache Airflow 提交 spark-submit

Question

任何人都可以帮助我如何在 Apache Airflow 中安排 spark 作业，

我正在找剧本请帮帮我

Answer 1

阿莫，您需要执行以下步骤：

1. 从 here
下载并在您的 Airflow 服务器上安装 Apache Spark
2. 像集群上的那样配置新安装的 Spark。
3. 为方便起见，将 bin 目录添加到您的 PATH 环境变量中。
4. 使用 BashOperator 在 Airflow 中创建一个 Dag，它运行 spark-submit 命令或负责该操作的自定义 shell。参见 here。