Apache airflow:在同一台本地机器上安装两个实例

Apache airflow: install two instances in the same local machine

我在本地 Ubuntu 机器上有一个 Airflow 实例。这个实例运行得不是很好,所以我想重新安装它。问题是我无法删除当前实例,因为它已被其他人使用,所以我想在同一台机器上创建一个新的Airflow实例以将各种dag放在那里。

我该怎么做?我创建了一个不同的虚拟环境,但我不知道如何在那个环境中安装第二个 airflow 服务器,它与当前的 airflow 并行工作。

谢谢!

  1. 为网络服务器使用不同的端口
  2. 使用不同的 AIRFLOW_HOME 变量
  3. 使用不同的sql_alchemy_conn(指向不同的数据库)
  4. 将您必须的部署复制到 start/stop 您的气流组件。

根据您的部署,您可能会以某种方式记录 运行 气流的进程 ID(所谓的 pid-files),或者有一些其他方法来确定哪些进程是 运行。但这没什么 airflow-specific,这是特定于您的部署的东西。