Google Cloud Composer DAG 未出现在 UI 中

Question

正在尝试向我们的 Google Cloud Composer 实例添加一个新的 DAG - 我们目前有 32 多个 DAG - 在 https://cloud.google.com/composer/docs/how-to/using/managing-dags 中做通常的事情似乎没有任何效果- 我们在 webserver/UI 中看不到这些 DAG，而且我看不到它们必须被加载。我确实看到它们被复制到日志中的适当存储桶中，但除此之外什么也没有。

我什至尝试设置一个虚拟环境变量来启动 Composer 实例的完全重启，但无济于事。

最后，我整理了一个完全精简的 DAG 并尝试添加它。这是 DAG：

from airflow import models
from airflow.contrib.operators import kubernetes_pod_operator
from airflow.operators.python_operator import BranchPythonOperator
from airflow.operators.dummy_operator import DummyOperator

dag = models.Dag(
    dag_id="test-dag",
    schedule_interval=None,
    start_date=datetime(2020, 3, 9),
    max_active_runs=1,
    catchup=False,
)

task_test = DummyOperator(dag=dag, task_id="test-task")

即使是这个简单的 DAG 也没有被接受，所以我想知道接下来我可以尝试什么。我查看了 https://github.com/apache/airflow/blob/master/airflow/config_templates/default_airflow.cfg，想看看是否有任何我可以在 DagBag 加载时间限制等方面进行调整的地方，但没有任何结果。完全难倒在这里。

Answer 1

我的环境也没有采用您的示例。但是，我尝试了以下格式并且没有出现问题：

from airflow import DAG
from datetime import datetime
from airflow.contrib.operators import kubernetes_pod_operator
from airflow.operators.python_operator import BranchPythonOperator
from airflow.operators.dummy_operator import DummyOperator

with DAG(
    "my-test-dag",
    schedule_interval=None,
    start_date=datetime(2020, 3, 9),
    max_active_runs=1,
    catchup=False) as dag:

        task_test = DummyOperator(dag=dag, task_id="my-test-task")

Answer 2

我们最终解决了这个问题：

dag = models.Dag(

应该是

dag = models.DAG(

Google Cloud Composer DAG 未出现在 UI 中

Google Cloud Composer DAG not appearing in UI

airflow

google-cloud-composer