在 GC Composer DAG 中使用 Cloud Functions 作为运算符
Using Cloud Functions as operators in a GC Composer DAG
各位编码员,
对于一个项目,我有兴趣使用 Google Cloud Composer 来处理多个工作流,这些工作流由可以在工作流之间共享的操作组成。
在我看来,Cloud Functions 是在 Composer 中执行这些操作的完美方式 DAG。
据我了解,我需要一个运算符来调用云函数,其中包含特定 DAG 中任务的特定数据。
我在Airflow documentation中找到了一个Google Cloud Function operator,但是,这些只是用于部署和删除云函数,而不是调用它们。
关于 invoking DAGs from a cloud function 的文章很多,但似乎没有关于在 DAG 中使用云函数作为操作的文章。
示例用例:
每次将文档放入某个桶中时,我都想启动 DAG 工作流来分析该文档。
这个 DAG 可以包含各种任务,例如提取文档的发送者、徽标的分类或搜索特定的词。对于这些单独的任务,我想创建单独的云函数,这些函数在 DAG 中拼接在一起以组成我的工作流。
问题:
如何从 Google Composer DAG 中调用云函数?
人们有这方面的经验或有可用的示例代码吗?
提前致谢。
HTTP Triggers can be used to run Cloud Functions, so you can invoke them from a DAG using the HTTP operator。 DAG 运行调用 Cloud Function 触发器的任务,而不是运行函数。
各位编码员,
对于一个项目,我有兴趣使用 Google Cloud Composer 来处理多个工作流,这些工作流由可以在工作流之间共享的操作组成。
在我看来,Cloud Functions 是在 Composer 中执行这些操作的完美方式 DAG。
据我了解,我需要一个运算符来调用云函数,其中包含特定 DAG 中任务的特定数据。
我在Airflow documentation中找到了一个Google Cloud Function operator,但是,这些只是用于部署和删除云函数,而不是调用它们。
关于 invoking DAGs from a cloud function 的文章很多,但似乎没有关于在 DAG 中使用云函数作为操作的文章。
示例用例:
每次将文档放入某个桶中时,我都想启动 DAG 工作流来分析该文档。
这个 DAG 可以包含各种任务,例如提取文档的发送者、徽标的分类或搜索特定的词。对于这些单独的任务,我想创建单独的云函数,这些函数在 DAG 中拼接在一起以组成我的工作流。
问题:
如何从 Google Composer DAG 中调用云函数?
人们有这方面的经验或有可用的示例代码吗?
提前致谢。
HTTP Triggers can be used to run Cloud Functions, so you can invoke them from a DAG using the HTTP operator。 DAG 运行调用 Cloud Function 触发器的任务,而不是运行函数。