Google Cloud Composer - 让一个 Cloud Function 成为另一个 Cloud Function 的下游依赖
Google Cloud Composer - having a Cloud Function be a downstream dependent of another Cloud Function
我有两个脚本想要 运行、function_1
和 function_2
,其中 function_2
只有在成功执行后才必须是 运行 function_1
.
为了在 GCP 上执行此操作,我将每个脚本转换为 Cloud Function,我将其设置为由 Pub/Sub 触发,这是 GCP 中的标准。假设我想使用 Composer 安排这些功能。由于没有用于执行 Cloud Function 的运算符,我必须使用 Pub/Sub 运算符向我的主题发送一条消息,该消息将依次执行该函数。
这是我的问题:是否可以让 Composer 中的 function_2
触发器仅在 function_1
成功 运行 后执行?由于我的 DAG 任务不是函数的执行,而是向 Pub/Sub 发送消息(这又是 运行 函数),我不明白我怎么能有 function_2
运行 在上游函数完全执行之后,而不是在发送 Pub/Sub 消息时。
在 Airflow 1.10.1 版本 Google Cloud Functions Operator 发布,这将解决问题,无需使用 Pub/Sub。
假设您是 运行 < Airflow 1.10.1,使用 http_operator 是解决方法,return 来自 GCF 的状态。
参考:
https://airflow.apache.org/docs/stable/howto/operator/gcp/function.html
我有两个脚本想要 运行、function_1
和 function_2
,其中 function_2
只有在成功执行后才必须是 运行 function_1
.
为了在 GCP 上执行此操作,我将每个脚本转换为 Cloud Function,我将其设置为由 Pub/Sub 触发,这是 GCP 中的标准。假设我想使用 Composer 安排这些功能。由于没有用于执行 Cloud Function 的运算符,我必须使用 Pub/Sub 运算符向我的主题发送一条消息,该消息将依次执行该函数。
这是我的问题:是否可以让 Composer 中的 function_2
触发器仅在 function_1
成功 运行 后执行?由于我的 DAG 任务不是函数的执行,而是向 Pub/Sub 发送消息(这又是 运行 函数),我不明白我怎么能有 function_2
运行 在上游函数完全执行之后,而不是在发送 Pub/Sub 消息时。
在 Airflow 1.10.1 版本 Google Cloud Functions Operator 发布,这将解决问题,无需使用 Pub/Sub。
假设您是 运行 < Airflow 1.10.1,使用 http_operator 是解决方法,return 来自 GCF 的状态。
参考:
https://airflow.apache.org/docs/stable/howto/operator/gcp/function.html