Databricks auto_termination 设置为 60 分钟，我的作业失败了

Question

我有一个在 databricks 中创建的笔记本，我想 运行 从 AWS Lambda 按需完成这项工作。也就是说，当文件到达我的 S3 存储桶时，我想 运行 databricks notebook 作业用于我的 ETL 目的。

databricks 集群已将 autotermination_minutes 参数设置为 60 分钟。有时我的工作不是 运行ning，因为集群在闲置 60 分钟后会自动终止。有什么方法可以在 运行 完成作业之前从 AWS Lambda 重新启动集群？

谢谢

Answer 1

是的，您可以，使用 Databricks Cluster API。 您只需要传递 cluster-id。

这是link https://docs.databricks.com/api/latest/clusters.html#start