在 Airflow 1.10 中重试创建 dataproc 集群
Retry of dataproc cluster creation in Airflow 1.10
你好,我需要的只是Airflow.We使用Airflow 1。10.We有一个要求,如果任务fails.We 在 Airflow 2.0 中确实有重试参数,但我们没有任何此类参数可以重试在气流 1 中创建和删除集群。10.Can 任何人建议任何替代方案,以便如果创建或删除 dataproc 集群失败,那么我们可以重试创建它。
DataprocCreateClusterOperator
has retry
参数:
:param retry: A retry object used to retry requests. If ``None`` is specified, requests will not be
retried.
此功能是在 PR 中添加的,适用于 Airflow>=1.10
如果您使用的是 Airflow<2.0:
您将需要:
pip install apache-airflow-backport-providers-google
如果您使用的是 Airflow>=2.0:
您将需要:
pip install apache-airflow-providers-google
然后您可以将运算符导入为:
from airflow.providers.google.cloud.operators.dataproc import DataprocCreateClusterOperator
并将其用作:
create_cluster_operator = DataprocCreateClusterOperator(
task_id='create_dataproc_cluster',
cluster_name="test",
...,
retry=YOUR_RETRY_VALUE
timeout=YOUR_TIMEOUT_VALUE
)
请注意,所有 Airflow 运算符都继承自具有 retries
参数的 BaseOperator
:
:param retries: the number of retries that should be performed before
failing the task
不要混淆 retry
和 retries
。
你好,我需要的只是Airflow.We使用Airflow 1。10.We有一个要求,如果任务fails.We 在 Airflow 2.0 中确实有重试参数,但我们没有任何此类参数可以重试在气流 1 中创建和删除集群。10.Can 任何人建议任何替代方案,以便如果创建或删除 dataproc 集群失败,那么我们可以重试创建它。
DataprocCreateClusterOperator
has retry
参数:
:param retry: A retry object used to retry requests. If ``None`` is specified, requests will not be retried.
此功能是在 PR 中添加的,适用于 Airflow>=1.10
如果您使用的是 Airflow<2.0: 您将需要:
pip install apache-airflow-backport-providers-google
如果您使用的是 Airflow>=2.0: 您将需要:
pip install apache-airflow-providers-google
然后您可以将运算符导入为:
from airflow.providers.google.cloud.operators.dataproc import DataprocCreateClusterOperator
并将其用作:
create_cluster_operator = DataprocCreateClusterOperator(
task_id='create_dataproc_cluster',
cluster_name="test",
...,
retry=YOUR_RETRY_VALUE
timeout=YOUR_TIMEOUT_VALUE
)
请注意,所有 Airflow 运算符都继承自具有 retries
参数的 BaseOperator
:
:param retries: the number of retries that should be performed before failing the task
不要混淆 retry
和 retries
。