Apache airflow:在同一台本地机器上安装两个实例
Apache airflow: install two instances in the same local machine
我在本地 Ubuntu 机器上有一个 Airflow 实例。这个实例运行得不是很好,所以我想重新安装它。问题是我无法删除当前实例,因为它已被其他人使用,所以我想在同一台机器上创建一个新的Airflow实例以将各种dag放在那里。
我该怎么做?我创建了一个不同的虚拟环境,但我不知道如何在那个环境中安装第二个 airflow 服务器,它与当前的 airflow 并行工作。
谢谢!
- 为网络服务器使用不同的端口
- 使用不同的 AIRFLOW_HOME 变量
- 使用不同的sql_alchemy_conn(指向不同的数据库)
- 将您必须的部署复制到 start/stop 您的气流组件。
根据您的部署,您可能会以某种方式记录 运行 气流的进程 ID(所谓的 pid-files),或者有一些其他方法来确定哪些进程是 运行。但这没什么 airflow-specific,这是特定于您的部署的东西。
我在本地 Ubuntu 机器上有一个 Airflow 实例。这个实例运行得不是很好,所以我想重新安装它。问题是我无法删除当前实例,因为它已被其他人使用,所以我想在同一台机器上创建一个新的Airflow实例以将各种dag放在那里。
我该怎么做?我创建了一个不同的虚拟环境,但我不知道如何在那个环境中安装第二个 airflow 服务器,它与当前的 airflow 并行工作。
谢谢!
- 为网络服务器使用不同的端口
- 使用不同的 AIRFLOW_HOME 变量
- 使用不同的sql_alchemy_conn(指向不同的数据库)
- 将您必须的部署复制到 start/stop 您的气流组件。
根据您的部署,您可能会以某种方式记录 运行 气流的进程 ID(所谓的 pid-files),或者有一些其他方法来确定哪些进程是 运行。但这没什么 airflow-specific,这是特定于您的部署的东西。