运行 在 aws glue 中完成多个依赖作业后的作业

Question

我有多个通过 AWS 触发的 Glue 作业 J1、J2、J3 Lamda 和 Lambda 是通过 S3 存储桶上的文件触发的。

顺序如下：-

S3(Bucket B1)--file added--> L1(Lambda triggered)-->J1(Glue Jobs)-->insert data T1 table( RedSfhift)

S3(Bucket B2)--file added--> L2(Lambda triggered)-->J2(Glue Jobs)-->insert data T2 table( RedSfhift)

S3(Bucket B3)--file added--> L3(Lambda triggered)-->J3(Glue Jobs)-->insert data T3 table( RedSfhift)

现在，在完成所有这 3 个作业后，我想触发一个单独的 Glue 作业 (JFinal)，它将处理来自 T1、T2 和 T3 的数据并进行一些计算然后插入 TFinal Table.

现在我们如何触发作业 JFinal。 J1、J2、J3作业是独立的，执行顺序可以不同

Answer 1

AWS Step 函数将是一个很好的解决方案。您必须配置您的 step 机器，您的 3 个作业可以独立 运行，但 JFinal 仍然会等到所有其他作业完成。参考：Step Functions Getting Started