提供自定义 UUID 以通过气流 DataprocSubmitJobOperator 激发作业
Provide custom UUID to spark job through airflow DataprocSubmitJobOperator
我想为通过 Google 云上的 Airflow DataprocSubmitJobOperator 提交的 spark 作业提供自定义作业 ID。
通过 API 我们可以使用 --id 参数来做到这一点，知道我们如何通过这个运算符给出相同的参数吗？
我认为您应该能够通过在 DataprocSubmitJobOperator 的配置中指定 task_id 来提供自定义作业 ID。您可以在 documentation.
中找到更多相关信息
您可以在“参考”字段中指定职位编号
https://cloud.google.com/dataproc/docs/reference/rest/v1/projects.regions.jobs#jobreference
我想为通过 Google 云上的 Airflow DataprocSubmitJobOperator 提交的 spark 作业提供自定义作业 ID。
通过 API 我们可以使用 --id 参数来做到这一点，知道我们如何通过这个运算符给出相同的参数吗？
我认为您应该能够通过在 DataprocSubmitJobOperator 的配置中指定 task_id 来提供自定义作业 ID。您可以在 documentation.
中找到更多相关信息您可以在“参考”字段中指定职位编号
https://cloud.google.com/dataproc/docs/reference/rest/v1/projects.regions.jobs#jobreference