如何在 DataprocWorkflowTemplateInstantiateOperator 与 Bashoperator 之间做出决定,以从作曲家实例化数据处理工作流模板

how to decide between DataprocWorkflowTemplateInstantiateOperator vs Bashoperator to instantiate dataproc workflow template from composer

我有一个用例,我需要从 composer 执行 dataproc 工作流模板。我正在使用一组 gcloud 命令来执行工作流模板的创建和实例化。 现在我想从 composer 中实现它,所以我有两个可用于实现的选项: -使用 bashoperator 运行 gcloud 命令批处理文件 -创建模板,然后使用DataprocWorkflowTemplateInstantiateOperator进行实例化

我需要知道推荐的方法和原因?

您可以使用DataprocInstantiateInlineWorkflowTemplateOperator which create, instantiate and delete Workflow. More information about inline instantiate can be found in GCP documentation.