在 Airflow 1.10 中重试创建 dataproc 集群

Retry of dataproc cluster creation in Airflow 1.10

你好,我需要的只是Airflow.We使用Airflow 1。10.We有一个要求,如果任务fails.We 在 Airflow 2.0 中确实有重试参数,但我们没有任何此类参数可以重试在气流 1 中创建和删除集群。10.Can 任何人建议任何替代方案,以便如果创建或删除 dataproc 集群失败,那么我们可以重试创建它。

DataprocCreateClusterOperator has retry参数:

:param retry: A retry object used to retry requests. If ``None`` is specified, requests will not be
    retried.

此功能是在 PR 中添加的,适用于 Airflow>=1.10

如果您使用的是 Airflow<2.0: 您将需要:

pip install apache-airflow-backport-providers-google

如果您使用的是 Airflow>=2.0: 您将需要:

pip install apache-airflow-providers-google

然后您可以将运算符导入为:

from airflow.providers.google.cloud.operators.dataproc import DataprocCreateClusterOperator

并将其用作:

create_cluster_operator = DataprocCreateClusterOperator(
    task_id='create_dataproc_cluster',
    cluster_name="test",
    ...,
    retry=YOUR_RETRY_VALUE
    timeout=YOUR_TIMEOUT_VALUE
)

请注意,所有 Airflow 运算符都继承自具有 retries 参数的 BaseOperator

:param retries: the number of retries that should be performed before
    failing the task

不要混淆 retryretries