杀死空闲的 spark-shells 和 Apache Zeppelins
Kill idle spark-shells and Apache Zeppelins
我有一个工程师和数据分析师团队,他们广泛使用 Zeppelin,但很多时候他们忘记关闭它并释放资源。
在不损害长期 运行 作业的情况下自动终止空闲作业的最佳解决方案是什么?
目前没有自动停止解释器的解决方案。
现在可以使用 Zeppelin 版本 >=0.8:
Before 0.8.0, Zeppelin don't have lifecycle management on interpreter.
User have to shutdown interpreters explicitly via UI. Starting from
0.8.0, Zeppelin provides a new interface LifecycleManager
to control the lifecycle of interpreters. For now, there're 2 implementations:
NullLifecycleManager
and TimeoutLifecycleManager
which is default.
我有一个工程师和数据分析师团队,他们广泛使用 Zeppelin,但很多时候他们忘记关闭它并释放资源。
在不损害长期 运行 作业的情况下自动终止空闲作业的最佳解决方案是什么?
目前没有自动停止解释器的解决方案。
现在可以使用 Zeppelin 版本 >=0.8:
Before 0.8.0, Zeppelin don't have lifecycle management on interpreter. User have to shutdown interpreters explicitly via UI. Starting from 0.8.0, Zeppelin provides a new interface
LifecycleManager
to control the lifecycle of interpreters. For now, there're 2 implementations:NullLifecycleManager
andTimeoutLifecycleManager
which is default.