使用 AWS Managed Airflow 编排 Redshift 存储过程

Question

我创建了许多 redshift 存储过程(15-20)，有些可以异步 运行 而许多必须以同步方式 运行。

我尝试使用 Aws Eventbridge 以异步和同步方式安排它们，但发现许多限制（故障处理和编排）。

---

我继续使用 AWS Managed Airflow。

• 如何在airflow中做redshift集群连接？

• 这样我们就可以在airflow dags和stored proc中调用我们的存储过程了。 运行 会在 redshift 集群中吗？

• 是否存在用于连接的任何 RedshiftOperator，或者我们可以使用气流菜单中的连接选项创建到 Redshift 集群的直接连接？

• 如果可能，我们是否可以仅使用 AWS 控制台而不使用 Aws cli 来实现所有这些？

Answer 1

How can we do the redshift cluster connection in the airflow?

So that we can call our stored procedure in airflow dags and stored proc. will run in the redshift cluster?

您可以使用 Airflow Connections 连接到 Redshift。这是管理与外部服务（例如数据库）的连接的本机方法。

Managing Connections (Airflow)
Amazon Redshift Connection (Airflow)

Is there any RedshiftOperator present for connection or we can create a direct connection to the Redshift cluster using the connection option in the airflow menu?

您可以使用 PostgresOperator 在 Redshift 集群中执行 SQL 命令。初始化 PostgresOperator 时，将 postgres_conn_id 参数设置为 Redshift 连接 ID（例如 redshift_default）。示例：

PostgresOperator(
    task_id="call_stored_proc",
    postgres_conn_id="redshift_default",
    sql="sql/stored_proc.sql",
)

PostgresOperator (Airflow)
How-to Guide for PostgresOperator (Airflow)

If possible can we achieve all these using AWS console only, without Aws cli?

不，仅使用 AWS 控制台无法实现此目的。