我们可以将值传递给 运行 GCP Cloud Composer Pipeline 吗?
Can we pass values to a running GCP Cloud Composer Pipeline?
如果我有一个使用 Cloud Composer 安排的 Dataproc 工作流模板,我可以通过 Cloud Composer 环境将值传递到存在于工作流模板中的我的 Dataproc 作业吗?
如果是,请注明出处。
提前致谢!
如果您使用 DataprocInstantiateWorkflowTemplateOperator operator then you can use parameters
argument,即“Dataproc 模板的参数映射”。
parameters
参数是模板化字段之一的事实意味着它可以使用例如配置:
- DAG 运行 通过 macros 配置(使用
{{ dag_run.conf }}
)
- Airflow variables(例如使用
{{ var.value.get('my.var', 'fallback') }}
)
- 环境变量(
os.environ.get
)
如果您不需要不时更改它们的选项,您也可以对此进行硬编码parameters
。
如果我有一个使用 Cloud Composer 安排的 Dataproc 工作流模板,我可以通过 Cloud Composer 环境将值传递到存在于工作流模板中的我的 Dataproc 作业吗? 如果是,请注明出处。 提前致谢!
如果您使用 DataprocInstantiateWorkflowTemplateOperator operator then you can use parameters
argument,即“Dataproc 模板的参数映射”。
parameters
参数是模板化字段之一的事实意味着它可以使用例如配置:
- DAG 运行 通过 macros 配置(使用
{{ dag_run.conf }}
) - Airflow variables(例如使用
{{ var.value.get('my.var', 'fallback') }}
) - 环境变量(
os.environ.get
)
如果您不需要不时更改它们的选项,您也可以对此进行硬编码parameters
。