仍然无法 运行 所有任务与 Airflow 并行
Still unable to run all tasks in parallel with Airflow
我的任务设置为 this question。
基于 UI 看起来依赖关系定义明确：
我测试了如下个别任务：airflow test capone_dash_preproc AAAG5608078M2 2017-07-25。这很好用，更新了与该用户对应的目标数据库条目。但是，当我尝试 运行 完整任务时，它似乎挂断了。 python3 dash_dag.py 基本上会在 Web 服务器上产生以下终端输出，无休止地重复。所有 CPU 都很安静，因此似乎没有进行太多计算：
/usr/local/lib/python3.6/site-packages/flask/exthook.py:71: ExtDeprecationWarning: Importing flask.ext.cache is deprecated, use flask_cache instead.
.format(x=modname), ExtDeprecationWarning
[2017-07-25 16:48:23,266] [58627] {models.py:167} INFO - Filling up the DagBag from /Users/aaronpolhamus/airflow/dags
[2017-07-25 16:48:25 -0500] [58487] [INFO] Handling signal: ttou
[2017-07-25 16:49:13 -0500] [58557] [INFO] Worker exiting (pid: 58557)
[2017-07-25 16:49:44 -0500] [58487] [INFO] Handling signal: ttin
[2017-07-25 16:49:44 -0500] [58642] [INFO] Booting worker with pid: 58642
/usr/local/lib/python3.6/site-packages/flask/exthook.py:71: ExtDeprecationWarning: Importing flask.ext.cache is deprecated, use flask_cache instead.
.format(x=modname), ExtDeprecationWarning
[2017-07-25 16:49:44,607] [58642] {models.py:167} INFO - Filling up the DagBag from /Users/aaronpolhamus/airflow/dags
[2017-07-25 16:49:46 -0500] [58487] [INFO] Handling signal: ttou
[2017-07-25 16:50:21 -0500] [58568] [INFO] Worker exiting (pid: 58568)
[2017-07-25 16:50:51 -0500] [58487] [INFO] Handling signal: ttin
[2017-07-25 16:50:51 -0500] [58661] [INFO] Booting worker with pid: 58661
/usr/local/lib/python3.6/site-packages/flask/exthook.py:71: ExtDeprecationWarning: Importing flask.ext.cache is deprecated, use flask_cache instead.
.format(x=modname), ExtDeprecationWarning
[2017-07-25 16:50:52,324] [58661] {models.py:167} INFO - Filling up the DagBag from /Users/aaronpolhamus/airflow/dags
[2017-07-25 16:50:54 -0500] [58487] [INFO] Handling signal: ttou
[2017-07-25 16:51:20 -0500] [58596] [INFO] Worker exiting (pid: 58596)
[2017-07-25 16:51:50 -0500] [58487] [INFO] Handling signal: ttin
[2017-07-25 16:51:50 -0500] [58677] [INFO] Booting worker with pid: 58677
...
我的困惑来自于这样一个事实，即个人测试 运行 很好并填充了数据库。是整个 运行 挂起并失败。这里有什么明显的吗？
存在多个组件的气流。最重要的是调度程序、网络服务器和工作程序（在水平扩展的情况下）。调度程序始终*需要 运行 让 Airflow 执行任务。网络服务器只是在那里提供一个很好的 UI 在调度程序正在做的事情之上以及其他 API。所有组件都使用支持数据库。
您显示的是网络服务器的输出，而我本以为会看到调度程序的输出。根据您发布的屏幕截图和您尝试 运行 您的 DAG 的方式，我的假设是您没有启动它。
因此，通过在命令行上发出 airflow scheduler 来启动调度程序，您的 DAG 可能会启动。
*回填是一个例外
我的任务设置为 this question。
基于 UI 看起来依赖关系定义明确：
我测试了如下个别任务：airflow test capone_dash_preproc AAAG5608078M2 2017-07-25。这很好用，更新了与该用户对应的目标数据库条目。但是，当我尝试 运行 完整任务时，它似乎挂断了。 python3 dash_dag.py 基本上会在 Web 服务器上产生以下终端输出，无休止地重复。所有 CPU 都很安静，因此似乎没有进行太多计算：
/usr/local/lib/python3.6/site-packages/flask/exthook.py:71: ExtDeprecationWarning: Importing flask.ext.cache is deprecated, use flask_cache instead.
.format(x=modname), ExtDeprecationWarning
[2017-07-25 16:48:23,266] [58627] {models.py:167} INFO - Filling up the DagBag from /Users/aaronpolhamus/airflow/dags
[2017-07-25 16:48:25 -0500] [58487] [INFO] Handling signal: ttou
[2017-07-25 16:49:13 -0500] [58557] [INFO] Worker exiting (pid: 58557)
[2017-07-25 16:49:44 -0500] [58487] [INFO] Handling signal: ttin
[2017-07-25 16:49:44 -0500] [58642] [INFO] Booting worker with pid: 58642
/usr/local/lib/python3.6/site-packages/flask/exthook.py:71: ExtDeprecationWarning: Importing flask.ext.cache is deprecated, use flask_cache instead.
.format(x=modname), ExtDeprecationWarning
[2017-07-25 16:49:44,607] [58642] {models.py:167} INFO - Filling up the DagBag from /Users/aaronpolhamus/airflow/dags
[2017-07-25 16:49:46 -0500] [58487] [INFO] Handling signal: ttou
[2017-07-25 16:50:21 -0500] [58568] [INFO] Worker exiting (pid: 58568)
[2017-07-25 16:50:51 -0500] [58487] [INFO] Handling signal: ttin
[2017-07-25 16:50:51 -0500] [58661] [INFO] Booting worker with pid: 58661
/usr/local/lib/python3.6/site-packages/flask/exthook.py:71: ExtDeprecationWarning: Importing flask.ext.cache is deprecated, use flask_cache instead.
.format(x=modname), ExtDeprecationWarning
[2017-07-25 16:50:52,324] [58661] {models.py:167} INFO - Filling up the DagBag from /Users/aaronpolhamus/airflow/dags
[2017-07-25 16:50:54 -0500] [58487] [INFO] Handling signal: ttou
[2017-07-25 16:51:20 -0500] [58596] [INFO] Worker exiting (pid: 58596)
[2017-07-25 16:51:50 -0500] [58487] [INFO] Handling signal: ttin
[2017-07-25 16:51:50 -0500] [58677] [INFO] Booting worker with pid: 58677
...
我的困惑来自于这样一个事实，即个人测试 运行 很好并填充了数据库。是整个 运行 挂起并失败。这里有什么明显的吗？
存在多个组件的气流。最重要的是调度程序、网络服务器和工作程序（在水平扩展的情况下）。调度程序始终*需要 运行 让 Airflow 执行任务。网络服务器只是在那里提供一个很好的 UI 在调度程序正在做的事情之上以及其他 API。所有组件都使用支持数据库。
您显示的是网络服务器的输出，而我本以为会看到调度程序的输出。根据您发布的屏幕截图和您尝试 运行 您的 DAG 的方式，我的假设是您没有启动它。
因此，通过在命令行上发出 airflow scheduler 来启动调度程序，您的 DAG 可能会启动。
*回填是一个例外