是否有任何替代终端上的 "airflow scheduler" 命令能够在 VM 上 运行 计划 DAG 而不是 "here"?
Is there any alternative to the "airflow scheduler" command on a terminal to be able to run scheduled DAGs on a VM without being "here"?
我在 Azure VM 上使用 Airflow。我希望我的 DAG 每天午夜 运行 但我不能总是在此时连接到 VM 以 运行 "airflow scheduler" 命令。我希望我的 DAG 能够在 VM 开启时的午夜 运行 而无需我的干预。
我尝试使用 Azure VM 管理器中的 "run command",但 运行 限制为 90 分钟。我也尝试浏览 airflow.cfg 文件,但没有找到任何东西。
这是我的 DAG 的配置
default_args = {
'owner': 'airflow',
'depends_on_past': False,
'start_date': datetime(2019, 7, 29),
'retries': 1,
'email': ['n.haack@live.fr'],
'retry_delay': timedelta(minutes=2)}
dag = DAG(dag_id=DAG_ID,
default_args=default_args,
schedule_interval=timedelta(days=1))
我想知道是否有 "airflow scheduler" 命令的替代方法能够 运行 DAG,或者是否有办法 运行 Airflow 上的 DAG 仅与服务器在
编辑
有一个解决方案是 运行 一个带有 "airflow scheduler --daemon" 的 bootstrap 脚本。这样,每次启动机器时 bash 命令都会 运行 并且守护进程将保留它直到它关闭。
谢谢@Chengzhi
有一个解决方案是 运行 一个带有 "airflow scheduler --daemon" 的 bootstrap 脚本。这样,每次启动机器时 bash 命令都会 运行 并且守护进程将保留它直到它关闭。谢谢@程志
Elements of response here
我在 Azure VM 上使用 Airflow。我希望我的 DAG 每天午夜 运行 但我不能总是在此时连接到 VM 以 运行 "airflow scheduler" 命令。我希望我的 DAG 能够在 VM 开启时的午夜 运行 而无需我的干预。
我尝试使用 Azure VM 管理器中的 "run command",但 运行 限制为 90 分钟。我也尝试浏览 airflow.cfg 文件,但没有找到任何东西。
这是我的 DAG 的配置
default_args = {
'owner': 'airflow',
'depends_on_past': False,
'start_date': datetime(2019, 7, 29),
'retries': 1,
'email': ['n.haack@live.fr'],
'retry_delay': timedelta(minutes=2)}
dag = DAG(dag_id=DAG_ID,
default_args=default_args,
schedule_interval=timedelta(days=1))
我想知道是否有 "airflow scheduler" 命令的替代方法能够 运行 DAG,或者是否有办法 运行 Airflow 上的 DAG 仅与服务器在
编辑 有一个解决方案是 运行 一个带有 "airflow scheduler --daemon" 的 bootstrap 脚本。这样,每次启动机器时 bash 命令都会 运行 并且守护进程将保留它直到它关闭。 谢谢@Chengzhi
有一个解决方案是 运行 一个带有 "airflow scheduler --daemon" 的 bootstrap 脚本。这样,每次启动机器时 bash 命令都会 运行 并且守护进程将保留它直到它关闭。谢谢@程志
Elements of response here