调度不同的 AWS 组件 - Glue 和 EMR
Scheduling over different AWS Components - Glue and EMR
我想知道如何在 AWS 上解决以下问题？ - 还是不可能？
- 用于一些批量 Spark 处理的瞬态 EMR 集群
- 当该集群终止时，然后并且仅在那时使用 Glue Job 进行一些有限的处理
我不相信 AWS Glue 触发器会对环境有所帮助。
或者有人会说，继续使用 EMR 集群吧，这不是一个好的用例？ Glue 可以使用适当的连接器写入 SAP Hana，而 Redshift Spectrum 是使用 Redshift Spectrum 通过 Glue 作业加载 Redshift 的常见用例。
您可以通过 AWS Step Functions 使用“运行 一份工作”服务集成。 Step 函数支持 EMR 和 Glue 集成。
详情请参考link
在就这方面与亚马逊交谈后，他们表示现在首选通过 MWAA 的 Airflow。
我想知道如何在 AWS 上解决以下问题？ - 还是不可能？
- 用于一些批量 Spark 处理的瞬态 EMR 集群
- 当该集群终止时，然后并且仅在那时使用 Glue Job 进行一些有限的处理
我不相信 AWS Glue 触发器会对环境有所帮助。
或者有人会说，继续使用 EMR 集群吧，这不是一个好的用例？ Glue 可以使用适当的连接器写入 SAP Hana，而 Redshift Spectrum 是使用 Redshift Spectrum 通过 Glue 作业加载 Redshift 的常见用例。
您可以通过 AWS Step Functions 使用“运行 一份工作”服务集成。 Step 函数支持 EMR 和 Glue 集成。 详情请参考link
在就这方面与亚马逊交谈后，他们表示现在首选通过 MWAA 的 Airflow。