Mesos - 动态集群大小

Mesos - dynamic cluster size

在 Mesos 中是否可以拥有动态集群大小 - 总集群 CPU 和 RAM 配额设置?

Mesos 知道我的 AWS 凭据并仅在存在无法适应现有资源的新作业时生成新的 ec2 实例。 (AWS 或其他云提供商)。与此类似 - 当作业完成时,它可能会终止 ec2 实例。

它可以是 Mesos plugin/framework 或一些外部工具 - 任何帮助表示感谢。

谢谢

如果我对您的理解正确,您正在寻找自动缩放 Mesos 集群的解决方案?

例如,一些人会在 AWS 上做的是创建一个 autoscaling group 允许他们根据需要增加和减少 agents/slave 节点的数量。 请注意,何时触发扩展 up/down 通常取决于应用程序(例如,一个应用程序的利用率为 100% 可能没问题,而对于其他应用程序,80% 应该已经触发扩展操作)。

有关使用 AWS 自动缩放组的示例,您可以查看 Mesosphere DCOS Community edition(请注意,如上所述,您仍然需要编写用于缩放缩放组的触发代码)。

我们正在做的是使用 Mesos 监控工具和 HTTP 端点@http://mesos.apache.org/documentation/latest/endpoints/ 来监控集群。

我们有自己的框架,可以从主节点和从节点获取所有相关信息,我们的算法使用该信息来扩展集群。

例如,如果集群 CPU 利用率 > 0.90,我们将启动一个新实例并将该从属服务器注册到主服务器。

据我所知,Mesos 本身不能自动缩放;它需要有人为集群启动 Mesos Agent。一种选择是构建一个脚本并由 Marathon 管理,这个脚本是在比较框架和 Mesos 集群中的待处理任务后 start/stop 代理。