清除云作曲家所有成功的 dag 运行 状态
Clear cloud composer all Successful dag run states
我读过 a question on clearing DAG run states in Composer 但不是很明显,
我如何清除所有 DAG 运行 状态 ,包括那些成功的 ?
即我有一个回填作业,我想从头开始。
我也读了Airflow clear
CLI Docs,它似乎没有说明我怎么也只能select成功。
我发现,你需要在gcloud
中的命令中添加--upstream
和--downstream
部分,然后它也会清除任务状态。例如:
gcloud composer environments 运行 jido --location=asia-northeast1 clear -- --dag_regex 'val' -c -s 2018-12- 31 -e 2020-01-01 --上游 --下游
$ gcloud composer environments run <environment> \
--location=asia-northeast1 clear -- <DAG_ID> \
-c \
-s <dag run start date> \
-e <dag run end date> \
--upstream \
--downstream
填写字段的示例:
$ gcloud composer environments run mycomposerenvironment \
--location=asia-northeast1 clear -- my_important_dag \
-c \
-s 2019-08-20 \
-e 2019-08-31 \
--upstream \
--downstream
您也可以使用 dag_regex
如果您有动态 dag,这将非常有用:
$ gcloud composer environments run mycomposerenvironment \
--location=asia-northeast1 clear -- --dag_regex '_val_' \
-c \
-s 2019-08-20 \
-e 2019-08-31 \
--upstream \
--downstream
我读过 a question on clearing DAG run states in Composer 但不是很明显,
我如何清除所有 DAG 运行 状态 ,包括那些成功的 ?
即我有一个回填作业,我想从头开始。
我也读了Airflow clear
CLI Docs,它似乎没有说明我怎么也只能select成功。
我发现,你需要在gcloud
中的命令中添加--upstream
和--downstream
部分,然后它也会清除任务状态。例如:
gcloud composer environments 运行 jido --location=asia-northeast1 clear -- --dag_regex 'val' -c -s 2018-12- 31 -e 2020-01-01 --上游 --下游
$ gcloud composer environments run <environment> \
--location=asia-northeast1 clear -- <DAG_ID> \
-c \
-s <dag run start date> \
-e <dag run end date> \
--upstream \
--downstream
填写字段的示例:
$ gcloud composer environments run mycomposerenvironment \
--location=asia-northeast1 clear -- my_important_dag \
-c \
-s 2019-08-20 \
-e 2019-08-31 \
--upstream \
--downstream
您也可以使用 dag_regex
如果您有动态 dag,这将非常有用:
$ gcloud composer environments run mycomposerenvironment \
--location=asia-northeast1 clear -- --dag_regex '_val_' \
-c \
-s 2019-08-20 \
-e 2019-08-31 \
--upstream \
--downstream