execution_date 和回填在气流中意味着什么
what do execution_date and backfill means in airflow
我是气流的新手,我正在尝试理解 execution_date
在气流上下文中的含义。我已经阅读了气流文档中的tutorial page,其中指出
The date specified in this context is an execution_date, which simulates the scheduler running your task or dag at a specific date + time:
我尝试使用以下命令运行教程中的任务。
airflow test tutorial print_date 2015-06-01
我预计它会打印 execution_date
但任务是像这样在我的本地系统上打印实际日期。
[2018-05-26 20:36:13,880] {bash_operator.py:101} INFO - Sat May 26 20:36:13 IST 2018
我以为调度程序会在给定的时间被模拟。所以我在这里对 execution_date
参数的理解感到困惑。谁能帮我理解这个?谢谢。
它在您的日志中打印当前时间,因为它实际上是在此时执行的。
执行日期是DAG 运行参数。任务可以使用它来获得与任务实际执行时间不同的日期参考。
示例:假设您有兴趣每天存储一次货币汇率。你想获得自 2010 年以来的汇率。你将在 DAG 中调用一个 API 的任务,它将 return 一天的货币汇率。您可以创建一个开始日期为 2010 年 1 月 1 日的 DAG,计划为每天一次。即使您现在创建它,在 2018 年,它也会 运行 自开始日期以来的每一天,并且由于执行日期,您将拥有正确的数据。
我是气流的新手,我正在尝试理解 execution_date
在气流上下文中的含义。我已经阅读了气流文档中的tutorial page,其中指出
The date specified in this context is an execution_date, which simulates the scheduler running your task or dag at a specific date + time:
我尝试使用以下命令运行教程中的任务。
airflow test tutorial print_date 2015-06-01
我预计它会打印 execution_date
但任务是像这样在我的本地系统上打印实际日期。
[2018-05-26 20:36:13,880] {bash_operator.py:101} INFO - Sat May 26 20:36:13 IST 2018
我以为调度程序会在给定的时间被模拟。所以我在这里对 execution_date
参数的理解感到困惑。谁能帮我理解这个?谢谢。
它在您的日志中打印当前时间,因为它实际上是在此时执行的。
执行日期是DAG 运行参数。任务可以使用它来获得与任务实际执行时间不同的日期参考。
示例:假设您有兴趣每天存储一次货币汇率。你想获得自 2010 年以来的汇率。你将在 DAG 中调用一个 API 的任务,它将 return 一天的货币汇率。您可以创建一个开始日期为 2010 年 1 月 1 日的 DAG,计划为每天一次。即使您现在创建它,在 2018 年,它也会 运行 自开始日期以来的每一天,并且由于执行日期,您将拥有正确的数据。