Apache Airflow 连接挂钩正在实例化多个连接

Question

背景：Apache Airflow 文档如下：

Hooks Hooks act as an interface to communicate with the external shared resources in a DAG. For example, multiple tasks in a DAG can require access to a MySQL database. Instead of creating a connection per task, you can retrieve a connection from the hook and utilize it.

我尝试使用不同的数据库生成 10 个任务：MYSQL、POSTGRES、MONGODB。请注意，我在一个 DAG（由 10 个任务组成）中使用了一个数据库（例如：MYSQL）。但是，所有任务都在实例化一个新连接。

我的任务示例：

conn_string = kwargs.get('conn_id')
pg = PostgresHook(conn_string)
pg_query ="...."
records = pg.get_records(pg_query)

当气流文档本身读取时，为什么气流会实例化一个新连接（..... DAG 中的多个任务可能需要访问 MySQL 数据库。而不是为每个任务创建一个连接，您可以从挂钩中检索连接并使用它.................)

这里遗漏了什么...

Answer 1

我相信他们对那部分文档的意思是挂钩会阻止您一遍又一遍地重新定义相同的凭据。对于连接，它们指的是您在 Web 界面中定义的 Airflow 连接，而不是与主机的实际互联网连接。

如果你这样想：

可以在 3 个 airflow worker 节点中的任何一个中安排任务。
你的 10 个任务分配给这 3 个。

如果来自不同的主机，他们如何共享同一个互联网连接？跨员工维护这些互联网连接将非常非常困难。

不过别担心，我也花了很长时间才明白他们在那里的意思。

Apache Airflow 连接挂钩正在实例化多个连接

Apache Airflow Connection hook is instantiating multiple connection

airflow