数据融合中的管道依赖

Question

我在 Data Fusion 中有三个管道，分别是 A、B 和 C。我希望在执行管道 A 和 B 都完成后触发管道 C。管道触发器仅将依赖项放在一个管道上。这可以在 Data Fusion 中实现吗？

Answer 1

您可以使用 Google Cloud Composer [1] 来完成。为了首先执行此操作，您需要在 Google Cloud Composer [2] 中创建一个新环境，完成后，您需要在您的环境 [3] 中安装一个新的 Python 包，您需要安装的软件包是 [4] "apache-airflow-backport-providers-google".

安装此包后，您将能够使用这些操作 [5]，您需要的是 [6]“启动 DataFusion 管道”，这样您就可以从 Airflow 启动新管道.

python 代码示例如下：

import airflow
import datetime
from airflow import DAG
from airflow import models
from airflow.operators.bash_operator import BashOperator
from datetime import timedelta
from airflow.providers.google.cloud.operators.datafusion import (
    CloudDataFusionStartPipelineOperator
)

default_args = {
   'start_date': airflow.utils.dates.days_ago(0),
   'retries': 1,
   'retry_delay': timedelta(minutes=5)
}

with models.DAG(
    'composer_DF',
    schedule_interval=datetime.timedelta(days=1),
    default_args=default_args) as dag:

    # the operations.
    A = CloudDataFusionStartPipelineOperator(
            location="us-west1", pipeline_name="A", 
            instance_name="instance_name", task_id="start_pipelineA",
        )
    B = CloudDataFusionStartPipelineOperator(
            location="us-west1", pipeline_name="B", 
            instance_name="instance_name", task_id="start_pipelineB",
        )
    C = CloudDataFusionStartPipelineOperator(
            location="us-west1", pipeline_name="C", 
            instance_name="instance_name", task_id="start_pipelineC",
        )
    # First A then B and then C
    A >> B >> C

您可以通过查看 Airflow 文档来设置时间间隔。

将此代码保存为 .py 文件后，将其保存到环境的 Google Cloud Storage DAG 文件夹中。

DAG启动时执行任务A，完成后执行任务B，依此类推。

[1] https://cloud.google.com/composer

[2] https://cloud.google.com/composer/docs/how-to/managing/creating#:~:text=In%20the%20Cloud%20Console%2C%20open%20the%20Create%20Environment%20page.&text=Under%20Node%20configuration%2C%20click%20Add%20environment%20variable.&text=The%20From%3A%20email%20address%2C%20such,%40%20.&text=Your%20SendGrid%20API%20key.

[3]https://cloud.google.com/composer/docs/how-to/using/installing-python-dependencies

[4]https://pypi.org/project/apache-airflow-backport-providers-google/

[5] https://airflow.readthedocs.io/en/latest/_api/airflow/providers/google/cloud/operators/datafusion/index.html

[6]https://airflow.readthedocs.io/en/latest/howto/operator/google/cloud/datafusion.html#start-a-datafusion-pipeline

Answer 2

您可以浏览通过 CDAP REST API 设置的“时间表”。这允许并行执行管道并且不依赖于云作曲家（工作流中第一个管道的基于文件的触发器除外。为此你需要云功能或者可能是云作曲家文件传感器）

Answer 3

我没有想到直接的方法，只有两个解决方法

解决 1。将流水线A和B合并为流水线AB，然后触发流水线C(AB > C)。

Pipeline A - (GCS Copy > Decompress), Pipeline B - (GCS2 > thrashsad)

BigQueryExecute to mitigate error : Invalid DAG. There is an island made up of stages..

在 BigQueryExecute 中，有效的虚拟查询。

将两个流水线合二为一，可能会导致流水线测试不方便。为了克服这个问题，您可以一次向运行管道添加一个虚拟条件。

在 BigQueryExecute 中，将查询更改为 'Select ${flag}' 并将运行time 参数中的标志值或 Select 1 作为标志传递，并将“Row As Arguments”勾选为 true。
在 BigQueryExecute 之后添加条件插件并放置条件运行time['flag'] = 1
Condition plugin有两个outlet，分别连接pipeline A和pipeline B。

解决方法 2：将两个管道（A 和 B）的标志存储在 BiqQuery table，创建两个流 A>C 和 B >C 以触发管道 C。这将触发管道 C 两次，但使用 BigQueryExecute 和条件插件将运行仅当两个标志在 BigQuery table.

中可用时

怎么办？

在管道 A 和 B 中将输出（一行）写入 BigQuery table 'Pipeline_Run'
在管道 C 中，添加 BigQueryExecute 和查询 'select count(*) as Cnt from ds.Pipeline_Run' 并将“Row As Arguments”勾选为 true。
在管道 C 中，添加条件插件并检查 cnt 的值是否为 2 (运行time['cnt'] = 2) 并将管道的其余插件连接到其“是”出口。

数据融合中的管道依赖

Pipeline Dependencies in Data Fusion

google-cloud-data-fusion

cdap