Airflow：使用 LivyBatchOperator 在 yarn 中提交 pyspark 应用程序

Question

我遇到过一个叫做 LivyBatchOperator 的东西，但是找不到一个很好的例子来让它在 airflow 中提交 pyspark 应用程序。任何关于此的信息将不胜感激。提前致谢。

Answer 1

我遇到了这个blog post，它可以帮助您了解 Airflow + Spark 上的可用选项。

Here is an example of LivyBatchOperator and here 是关于如何安装 airflow-livy-operators。

我会推荐以下选项：

1. AWS EMR : 使用 EmrAddStepsOperator
2. 常规 Spark 集群： 使用上述机制在气流中设置 Livy 运算符。这将从气流服务器的角度以及在 spark 集群前面使用 Livy 的角度为您提供一个灵活的配置。

让我知道你的回复！