启动 EMR 并在 运行 一个 JOB 后将其终止(自动)
Launch EMR and kill it after running one JOB (automatically)
我想每天在 Spark EMR 上自动 运行 一份工作,但我需要优化我的预算并仅在需要时才使用 EMR。
那么,有没有办法 运行 一个 EMR (AWS) 只用于一项工作,然后在工作完成后(每 X 天)杀死所有实例。
You can run your cluster as a transient process: one that launches the
cluster, loads the input data, processes the data, stores the output
results, and then automatically shuts down. This is the standard model
for a cluster that performs a periodic processing task. Shutting down
the cluster automatically ensures that you are only billed for the
time required to process your data.
在高级选项下select 最后一步完成后自动终止集群.
我刚刚发现了数据管道服务,我发现该服务允许调度和 运行 激发作业。
我认为这是此用例的最佳解决方案。
https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-manage-recurring.html
我想每天在 Spark EMR 上自动 运行 一份工作,但我需要优化我的预算并仅在需要时才使用 EMR。
那么,有没有办法 运行 一个 EMR (AWS) 只用于一项工作,然后在工作完成后(每 X 天)杀死所有实例。
You can run your cluster as a transient process: one that launches the cluster, loads the input data, processes the data, stores the output results, and then automatically shuts down. This is the standard model for a cluster that performs a periodic processing task. Shutting down the cluster automatically ensures that you are only billed for the time required to process your data.
在高级选项下select 最后一步完成后自动终止集群.
我刚刚发现了数据管道服务,我发现该服务允许调度和 运行 激发作业。 我认为这是此用例的最佳解决方案。 https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-manage-recurring.html