气流 - dags 不是运行

Question

python: 27

我刚刚在带有 mysql 后端的新虚拟机 GCP 上安装了气流。（sudo pip install apache-airflow 和 sudo pip install apache-airflow[mysql]）

我还没有创建自己的任何 dag，但正在尝试运行示例以了解其工作原理。

我已更改配置以使用

executor = LocalExecutor

完成

export AIRFLOW_HOME=`pwd`/airflow  (in both shells)
airflow initdb

Web 服务器以 [=35=] 启动，在不同的 shell 我已经启动 "airflow scheduler"。

我尝试通过单击 "DAGs" 和运行按钮进入网络 ui 统计任务。（对话框打开询问我现在是否要运行）

我尝试开始的是 "example_bash_operator, example_http_operator, example_python_operator"，它们现在显示为运行ning。但是状态不会改变。我还单击了 3 个 DAG，因此显示为 "on"。

当我去浏览 -> 任务实例并查看应该启动的第一个实例时，它显示：

All dependencies are met but the task instance is not running. 
In most cases this just means that the task will probably be scheduled soon unless:
.......

我的服务器没有给出任何有意义的输出。我的调度程序正在输出

[2017-11-20 13:42:37,460] {jobs.py:1407} INFO - Heartbeating the process manager
[2017-11-20 13:42:37,460] {jobs.py:1443} INFO - Heartbeating the executor

Answer 1

我知道现在有点晚了，但我也遇到了同样的问题，所以我想在那里为面临这个问题的其他人提供答案。

所以问题是因为 airflow 的调度程序在 airflow.cfg 中的变量 dags_folder 指定的文件夹中寻找到运行的 dag。示例 dags 存储在 airflow 库安装的位置，这就是为什么调度程序没有选择任何东西到运行的原因。要修复它，只需将 airlfow.cfg 中的 dags_folder 的值更改为指向包含示例 dags 的文件夹。从根目录

中找到示例 dag 文件夹运行 find | grep 'example_bash_operator'

气流 - dags 不是运行

Airflow - dags not beeing run

python

gcp

apache-airflow

气流 - dags 不是 运行

Airflow - dags not beeing run

python

gcp

apache-airflow

气流 - dags 不是运行