我们可以将值传递给 运行 GCP Cloud Composer Pipeline 吗?

Can we pass values to a running GCP Cloud Composer Pipeline?

如果我有一个使用 Cloud Composer 安排的 Dataproc 工作流模板,我可以通过 Cloud Composer 环境将值传递到存在于工作流模板中的我的 Dataproc 作业吗? 如果是,请注明出处。 提前致谢!

如果您使用 DataprocInstantiateWorkflowTemplateOperator operator then you can use parameters argument,即“Dataproc 模板的参数映射”。

parameters 参数是模板化字段之一的事实意味着它可以使用例如配置:

  • DAG 运行 通过 macros 配置(使用 {{ dag_run.conf }}
  • Airflow variables(例如使用 {{ var.value.get('my.var', 'fallback') }}
  • 环境变量(os.environ.get

如果您不需要不时更改它们的选项,您也可以对此进行硬编码parameters