在 GC Composer DAG 中使用 Cloud Functions 作为运算符

Using Cloud Functions as operators in a GC Composer DAG

各位编码员,

对于一个项目,我有兴趣使用 Google Cloud Composer 来处理多个工作流,这些工作流由可以在工作流之间共享的操作组成。

在我看来,Cloud Functions 是在 Composer 中执行这些操作的完美方式 DAG

据我了解,我需要一个运算符来调用云函数,其中包含特定 DAG 中任务的特定数据。

我在Airflow documentation中找到了一个Google Cloud Function operator,但是,这些只是用于部署和删除云函数,而不是调用它们。

关于 invoking DAGs from a cloud function 的文章很多,但似乎没有关于在 DAG 中使用云函数作为操作的文章。

示例用例:
每次将文档放入某个桶中时,我都想启动 DAG 工作流来分析该文档。 这个 DAG 可以包含各种任务,例如提取文档的发送者、徽标的分类或搜索特定的词。对于这些单独的任务,我想创建单独的云函数,这些函数在 DAG 中拼接在一起以组成我的工作流。

问题:
如何从 Google Composer DAG 中调用云函数?
人们有这方面的经验或有可用的示例代码吗?

提前致谢。

HTTP Triggers can be used to run Cloud Functions, so you can invoke them from a DAG using the HTTP operator。 DAG 运行调用 Cloud Function 触发器的任务,而不是运行函数。