使用 AWS Glue 编排 Redshift 存储过程
Orchestration of Redshift stored procedures using AWS Glue
我有多个 Redshift 存储过程 (~15)，有些依赖于以前的 运行 存储过程，而有些可以 运行 异步。
我需要通过适当的故障处理来协调这一点，以防任何后继存储过程失败，然后我可以 运行 那个特定的过程。
我尝试使用 AWS Eventbridge 对此进行编排，但我发现了很多限制。就像触发任何特定的存储过程一样。使用 Eventbridge 规则 5 个目标 运行 组合同步和异步
有什么方法可以 运行 我在 AWS Glue 中使用自定义 canvas 的存储过程来构建编排。将一个存储过程放在一个块中
如何在流程图中建立redshift连接，以便我的存储过程在我的redshift集群中执行？
我不知道 Glue（我对此表示怀疑），但这对 Step Functions 来说是一个很好的案例。许多博客介绍如何使用 Step Functions 设置无服务器数据编排流程并进行适当的错误/异常处理。起点 - https://aws.amazon.com/blogs/big-data/orchestrate-multiple-etl-jobs-using-aws-step-functions-and-aws-lambda/
我有多个 Redshift 存储过程 (~15)，有些依赖于以前的 运行 存储过程，而有些可以 运行 异步。
我需要通过适当的故障处理来协调这一点，以防任何后继存储过程失败，然后我可以 运行 那个特定的过程。
我尝试使用 AWS Eventbridge 对此进行编排，但我发现了很多限制。就像触发任何特定的存储过程一样。使用 Eventbridge 规则 5 个目标 运行 组合同步和异步
有什么方法可以 运行 我在 AWS Glue 中使用自定义 canvas 的存储过程来构建编排。将一个存储过程放在一个块中
如何在流程图中建立redshift连接，以便我的存储过程在我的redshift集群中执行？
我不知道 Glue（我对此表示怀疑），但这对 Step Functions 来说是一个很好的案例。许多博客介绍如何使用 Step Functions 设置无服务器数据编排流程并进行适当的错误/异常处理。起点 - https://aws.amazon.com/blogs/big-data/orchestrate-multiple-etl-jobs-using-aws-step-functions-and-aws-lambda/