Airflow 创建过多连接并导致 RDS 服务器崩溃 MySQL
Airflow creates too many connections and crashes MySQL RDS server
我正在使用 Airflow 连接从 RDS SQL 实例中提取和处理数据。问题是该进程正在生成超过 21 个连接（尽管我的并发性在 cfg 文件中设置为 4）并且 RAM 超载。根据我设置流程的方式，我不希望一次有超过 6 - 8 个连接。是否有一个好的 cfg 文件设置或管理面板选项可以让我控制这种行为？我已尝试更新 sql_alchemy_pool_recycle，但这并没有解决问题。
随着连接数量的增加和 RDS 实例上的 RAM 饱和，您可以在甘特图上看到系统性能从哪里开始下降：
在 airflow 中，您可以通过 POOL 限制大量并发，您可以设置池大小，操作员不会超出池大小。 https://airflow.incubator.apache.org/concepts.html#pools
我正在使用 Airflow 连接从 RDS SQL 实例中提取和处理数据。问题是该进程正在生成超过 21 个连接（尽管我的并发性在 cfg 文件中设置为 4）并且 RAM 超载。根据我设置流程的方式，我不希望一次有超过 6 - 8 个连接。是否有一个好的 cfg 文件设置或管理面板选项可以让我控制这种行为？我已尝试更新 sql_alchemy_pool_recycle，但这并没有解决问题。
随着连接数量的增加和 RDS 实例上的 RAM 饱和，您可以在甘特图上看到系统性能从哪里开始下降：
在 airflow 中，您可以通过 POOL 限制大量并发，您可以设置池大小，操作员不会超出池大小。 https://airflow.incubator.apache.org/concepts.html#pools