如何将 Spark 作业属性传递给 Airflow 中的 DataProcSparkOperator？

Question

我正在尝试使用 Airflow DataProcSparkOperator 在 Dataproc 上执行 Spark jar。该 jar 位于 GCS 上，我正在动态创建 Dataproc 集群，然后在新创建的 Dataproc 集群上执行该 jar。

我可以使用默认设置的 Airflow 的 DataProcSparkOperator 执行此操作，但我无法配置 Spark 作业属性（例如 --master、--deploy-mode、--driver-memory 等。 ). 从气流文档中没有得到任何帮助。也尝试了很多东西，但没有成功。 感谢帮助。

Answer 1

要通过 DataProcSparkOperator 配置 Spark 作业，您需要使用 dataproc_spark_properties 参数。

例如，您可以这样设置deployMode：

DataProcSparkOperator(
    dataproc_spark_properties={ 'spark.submit.deployMode': 'cluster' })

在 this answer 中您可以找到更多详细信息。