杀死空闲的 spark-shells 和 Apache Zeppelins

Kill idle spark-shells and Apache Zeppelins

我有一个工程师和数据分析师团队,他们广泛使用 Zeppelin,但很多时候他们忘记关闭它并释放资源。

在不损害长期 运行 作业的情况下自动终止空闲作业的最佳解决方案是什么?

目前没有自动停止解释器的解决方案。

现在可以使用 Zeppelin 版本 >=0.8:

Before 0.8.0, Zeppelin don't have lifecycle management on interpreter. User have to shutdown interpreters explicitly via UI. Starting from 0.8.0, Zeppelin provides a new interface LifecycleManager to control the lifecycle of interpreters. For now, there're 2 implementations: NullLifecycleManager and TimeoutLifecycleManager which is default.

Interpreter Lifecycle Management